Nikola i Jerolim Vitturi, trogirski plemići dobili su 1487.g.dozvolu od mletačkog dužda da izgrade dvorac kaštela uz more kako bi zaštitili svoje obitelji i težake iz sela Ostrog na grebenu Balovan.
Dvorac je izgrađen u stilu raskošne renesansne palače i završen je 1564.g. Sastoji se od južne rezidencijalne dvokratne građevine sa balkonom i izlazom na more u slučaju opasnosti. Na sjevernoj strani se nalaze dvije obrambene kule i mašikul i pokretni most kao veza s kopnom. U 18 st. je pokretni most zamijenjen kamenim na jedan luk. U sredini dvorca nalazi se dvorište s arkadama dok su na I i II. Katu smještene galerije.
Danas se u obnovljenom dvorcu Vitturi nalaze Muzej Grada Kaštela, Turistička zajednica Grada Kaštela te druge kulturne ustanove. Postaje kulturno središte Grada u kojem se održavaju izložbe, koncerti, kazališne predstave i sl.