Nel centro circa della Cava d’Ispica, esiste una realizzazione naturale ed umana di enormi proporzioni: il cosiddetto Castello sicano. Posto a ridosso di una parete a strapiombo, la costruzione presenta due colorazioni, in alto della roccia grigia, e in basso giallo-rossiccia.
La fortezza è composta da quattro piani, collegati tra loro da scale interne, nella roccia, e scale esterne, successivamente crollate. Al suo interno le stanze sono di forma rettangolare o quadrangolari, con piccole nicchie alle pareti. Da segni nella muratura se ne desume la presenza di porte e di finestre, che illuminano gli ambienti. Tutti i vani si raccordano con un lungo corridoio, posizionato sulla parete esterna.
La costruzione è monumentale e fu realizzata con strumenti semplici e rudimentali.

Il Fortilitium
Tuttavia, Cava d’Ispica ebbe anche il suo vero castello. Con vari lati a strapiombo, la costruzione militare si collegava con la realtà esterna tramite un ponte levatoio (vi era un fossato). Aveva al suo ingresso una grossa porta in legno, fiancheggiata da altre due, ma di grandezza minore. Parte delle mura
 e delle grotte crollarono a causa del terremoto del 1693 e per successiva incuria.
Il castello possedeva una propria cappella, dedicata alla SS. Annunziata. Negli scavi è stata ritrovata anche la la parte del palazzo marchionale.
Al suo interno il "Fortilitium" aveva la propria sala degli armigeri ed altre stanza. Queste erano attrezzate con assi di legno dove venivano appesi armi ed indumenti.
Era dotato anche di ambienti riservati agli animali. L’ampia scuderia a forma di quadrato (10x10 m) ospitava i cavalli, ma vi erano anche depositi per il fieno ed il foraggio, una mangiatoia e dei magazzini: quasi tutto realizzato nella roccia.

Il palazzo marchionale
Accanto alla fortezza, sul lato sud, è stato riportato alla luce un antico palazzo, oggi detto Marchionale. E’ di datazione incerta. Frammenti di ceramica bizantina, farebbero riferire la costruzione a quel dato periodo storico, ma nell’organizzazione planimetrica più complessa farebbero pensare ad un palazzo d’epoca più tarda. Attualmente è ritenuto il palazzo della famiglia Caruso del XV secolo, poi abitato dagli Statella. Anche questo palazzo fu abbandonato dopo il terremoto della Val di Noto del 1693.
La costruzione ha una forma planimetrica ad elle, con un cortile lastricato con ciottoli. Poco è rimasto di esso: un corridoio con piastrelle e una stanza pavimentata con pietra colorata in rosso pompeiano. La parte destra di esso, invece, presenta gli ambienti di servizio all’abitazione, con granai incassati nella pavimentazione.
Tuttavia, il ritrovamento, nell'angolo Nord-Est, della base di una colonna, fa ritenere che l’impianto del palazzo Marchionale fosse più articolato e imponente.