W 1478 roku szlachcice z Trogiru, Nikola i Jerolim Vitturi, otrzymali pozwolenie od wenecjańskiego doży, na budowę pałacu – kasztelu na brzegu morza, aby w nim schronić swoją rodzinę i chłopów najemnych ze wsi Ostrog, położonej na grzbiecie góry Balovan. Budowa pałacu, jako bogatej renesansowej budowli, została ukończona w 1654 roku. Z południowej strony był to rezydencjalny dwupiętrowy budynek z balkonem i wyjściem na morze na wypadek napadu wroga. Na północnej stronie znajdują się dwie wieże obronne, tutaj był dawniej most zwodzony, łączący kasztel z lądem. W XVIII wieku most zwodzony zastąpiono kamiennym mostem o jednym przęśle. Pośrodku pałacu znajduje się dziedziniec arkadowy z galeriami na pierwszym i drugim piętrze.
Obecnie w odnowionym pałacu Vitturi znajduje się Muzeum Miasta Kasztela, Wspólnota Turystyczna Miasta Kasztela oraz inne instytucje kulturalne. Staje się on centrum kulturalnym miasta, ponieważ tutaj odbywają się wystawy, koncerty, przedstawienia teatralne itp.