La struttura difensiva più importante del porto di Palermo fu, fino al secolo scorso, il Castello a Mare, situato nel relativo Parco archeologico del Castellammare, vicino la Cala, nella zona a nord del porto palermitano.
La sua costruzione risale al IX secolo in epoca araba, ma molto importante anche in quella normanna. Fu un’importante struttura a servizio della città. Nel XVI secolo, ad esempio, divenne residenza del  vicerè siciliano, mentre poco dopo, fu utilizzato come sede del Tribunale dell’Inquisizione di Palermo, poi trasferito allo Steri.
In epoca borbonica, durante l’insurrezione della città, i cannoni furono rivolti contro Palermo stessa, fino al suo abbandono dopo la partenza delle truppe regie. Oggetto edilizio infausto per la cittadinanza fu in parte smantellato.
Sta di fatto che manteneva una struttura quadrangolare molto ampia, che conteneva anticamente un grande maschio (arabo), la Cappella della Bagnara (normanna), una zona d’ingresso e dei bastioni costruiti nel XV secolo, un palazzetto e una chiesa del Cinquecento (dedicato alla Madonna di Piedigrotta), oltre che due torri esagonali non molto alte ed altre strutture successive, Tutto questo, fino al 1923, quando fu in parte demolito per l’ampliamento del porto e bombardato nella Seconda Guerra Mondiale. Oggi dell’enorme complesso rimane una parte della torre maestra, una torre cilindrica e il corpo d'ingresso.
Nel 2009 è divenuto il nucleo del Parco archeologico del Castellammare, anche per il ritrovamento nell’area di un insediamento d’età araba.