Se della presenza di un qualche fortilizio ne fa cenno il famoso geografo arabo Edrisi, appartenente alla corte normanna di Palermo, nel "Libro del Re Ruggero", del 1154, non si ha notizia della costruzione dell’attuale castello. Forse fu edificato nel XIII secolo, sulle rovine di una precedente costruzione araba.
Esso face parte di un sistema difensivo che comprendeva quattro diversi monti limitrofi: Colle Eufemia, monte Barbaro, monte Bonifato e monte Inici. Di questo sistema militare sono stati rintracciati i resti di una torre saracena e di un Castello.

Al di sotto del castello sorse il primo nucleo dell’abitato di Calatafimi. Dall’altura fortificata si domina da occidente il centro del paese. Dall’ altro del colle in si gode inoltre di un ampio e meraviglioso panorama, dove si vedono, in lontananza, i resti del tempio di Segesta ed il monte Barbaro.

Il castello, costruito sulla rupe (a 400 metri s.l.m. circa), aveva una forma rettangolare. Era formato da una torre quadrata nell'angolo a sud-est, una grossa sala rettangolare a sud, un cortile interno e locali di varie dimensioni e genere sui lati orientale, occidentale e settentrionale. In caso di assedio, possedeva una grossa cisterna sotterranea, lungo le mura occidentali. Nel corso dei secoli, inoltre, il castello fu maggiormente fortificato con l’aggiunta di una grande torre rettangolare sull'angolo a nord-est.
Le mura che lo circondavano erano poste su tre lati (sud, ovest e  nord) e avevano uno spessore che variava da 100 a 120 centimetri. L’accesso al castello avveniva tramite un corridoio, dove si possono ammirare, tuttora, due arcate ogivali.

Il castello ed il paese facevano parte inizialmente del demanio regio, ma, nel 1336, Federico III di Aragona li concesse in feudo al figlio Guglielmo. Da questo venne ceduto alla famiglia dei Peralta, passando di mano in mano, fino al 1802, quando ritornò al demanio. Il castello fu quindi nei secoli sede dei nobili feudatari, oltre che elemento della difesa militare dell’isola. Nel periodo demaniale, invece, fu residenza dei governatori della città, e poi  utilizzato come sede militare e carcere giudiziario.

Nel 1868 con l'abbandono totale della costruzione, questa iniziò un lento declino, oltre a subire delle manomissioni con la costruzione delle vasche dell'acquedotto cittadino o l’utilizzo come cava di pietra calcarea. Pezzo dopo pezzo, i crolli continui ne hanno distrutto l’integrità. Oggi rimangono della fortezza le due torri, due archi del vestibolo, la lunga galleria sottostante la parte occidentale, i muri di sud e ovest, gli antichi locali adibiti a carcere e alcuni magazzini.
Recentemente, comunque, sono stati fatti lavori di restauro e messa in sicurezza da parte della Soprintendenza di Trapani, negli anni che vanno dal 1992 al 1996.