Come abbiamo visto, con la costruzione, nel 1316, del castello dei Ventimiglia, inizia la progressiva costruzione dell’abitato dell’odierna Castel buono. I continui rifacimenti ne rendono quasi impossibile una rilettura storica dello stesso. La forma quadrangolare, fa supporre una preesistenza d’epoca araba, di forma cubica. Le torri quadrate potrebbero risalire al periodo normanno, mentre la torre circolare a quello svevo. D’altra parte, recenti scavi (nel 1997), attestano delle preesistenze, su cui venne edificata la struttura dei Ventimiglia.
Oltre alle modifiche del castello nel corso dei secoli, bisogna tenere conto del terremoto degli inizi del XIX secolo, che danneggiò l’edificio e, in generale, l’antica struttura difensiva di Castelbuono. Attuali studi individuano alcune strutture risalenti al XIII secolo e altre al XIV secolo. Al Quattrocento risale, presumibilmente, il soffitto in legno decorato della “Sala Magna”, retto da mensole scolpite.

Altre modifiche interne furono eseguite in occasione del trasferimento in loco della reliquia di Sant'Anna, divenuta poi la santa patrona di Castelbuono (nel XV secolo). L'urna, del 1521, che contiene la reliquia, è posta nell'odierna "Cappella Palatina", fatta a forma di busto con rilievi raffiguranti, oltre a scene della vita della santa, anche di quella di San Gioacchino e la nascita di Maria. Sui due altari laterali, campeggiano antichi dipinti. La sala è ampiamente decorata da stucchi, che, su volere di Francesco Rodrigo Ventimiglia, vennero realizzati da Giuseppe e Giacomo Serpotta. Diversi mezzibusti sono posizionati negli stalli del coro, rappresentano sia discendenti della famiglia dei Ventimiglia, sia alcuni santi della Bibbia.
Dal 1920, il castello è proprietà del comune di Castelbuono.

Attualmente nel castello è ospitato il Museo civico. Questo si articola in spazi per mostre temporanee e per collezioni permanenti. In esso si trova una pinacoteca, di arte sacra e di arte moderna e contemporanea . Vi è, in particolare, una scelta degli antichi arredi della Cappella di Sant'Anna.
Tra le mostre temporanee, molte sono state realizzate con la collaborazione dell'associazione "Fiumara d'Arte" di Antonio Presti.