L’importanza del punto d’approdo, già ai tempi dei Cartaginesi, ne fece un luogo da fortificare in tempi antichi. Così vennero edificati Castello di Terra e delle mura iniziali.  Del primo, caposaldo militare cartaginese, se ne può intravedere la conformazione, guardando dal lungomare Dante Alighieri. Altra vestigia punica è, senz’altro, la Porta Oscura. Essa, posta accanto a Palazzo Cavarretta, nel corso dei secoli è stata modificata più volte.
L’importante serie di bastioni difensivi, cinquecenteschi, può essere intuito dalle presenze attuali: il Bastione dell'Impossibile, , a sud.est delle mura, così denominato perché eretto su una zona fangosa; il Bastione Conca, raggiungibile dalle Mura di Tramontana; il Bastione Sant'Anna (detto anche dell'Imperiale) riconoscibile guardando da Viale delle Sirene.
Del XIII secolo è, invece, Porta Botteghelle, che raggiunge la spiaggia di Tramontana.

Il Castello della Colombaia
Denominata anche Torre Peliade o Castello di mare, la Colombaia sorge al margine orientale del porto, edificata su un'isoletta. E’ una torre di quattro piani, che raggiunge i 32 metri circa di altezza. Possiede un ingresso al secondo piano, mentre al pianoterra è situata una cisterna.
Le leggende vorrebbero la sua costruzione da parte dei troiani, ma la documentazione fa risalire la Torre al tempo dei cartaginesi (Prima Guerra Punica), su decisione del generale Amilcare Barca.
Nonostante le vittorie cartaginesi, nel 247 a. C., in una sola notte, il console romano Numerio Fabio Buteone, conquistò la torre, uccidendone tutti i soldati nemici a sua difesa. L’edificio (come la città) decadde e fu abbandonato. Vi facevano il nido solo le colombe, e da qui il nome attuale.
Gli Arabi la utilizzarono come faro del porto. Gli aragonesi la riutilizzarono militarmente irrobustendola e dandole una forma ottagonale. Ampliata nel XV secolo, Carlo V, per difendere la città dai pirati barbareschi, la fortificò ulteriormente. Per volere del viceré Don Claudio Lamoraldo, Principe di Ligny, la Torre subì le ultime modifiche. Era il 1671.
Durante il periodo borbonico la Colombaia, non più militare, divenne un carcere per la detenzione dei patrioti siciliani. Tra questi, Michele Fardella, che divenne il primo sindaco di Trapani, dopo l’unificazione italiana (1861).
La Colombaia è stata utilizzata come carcere fino al 1965 (venne costruito un nuovo carcere per Trapani), dopo di che fu del tutto abbandonata. Essendo proprietà del demanio statale, la soprintendenza regionale dei Beni culturali, non è potuta intervenire per avviare lavori di restauro. Alla fine del 2010, tuttavia, è stato trasferito come proprietà alla Regione siciliana con firma del Presidente della Repubblica. Ora si attende l’inizio di lavori di restauro per la Colombaia.

La Torre di Ligny
Altra torre difensiva di trapani è quella di Ligny, detta anche anticamente Pietra Palazzo. Fu fatta costruire nel 1671 sul margine occidentale del porto di Trapani, per la difesa dai pirati barbareschi. Prende il nome dal capitano generale del Regno di Sicilia, il belga, Claude Lamoral, principe di Ligne, che ne ordinò la costruzione. Il progetto apparteneva all’architetto Carlos De Grunembergh, che compose una torre quadrangolare lievemente restringente verso l’alto.
Posta sugli scogli a prosecuzione della penisola su cui sorgeva l’antico abitato della città di Trapani, fu ad essa collegata stabilmente nel 1806. Su di essa era posta nell’Ottocento una batteria di cannoni. Durante la Seconda Guerra Mondiale, invece, era collocata la difesa antiaerea del porto della Marina militare. E’ stata restaurata nel 1979. Dopo i lavori, dal 1983 fu collocato al suo interno il Museo di Preistoria. In mostra erano manufatti, anfore, ancore, un elmo punico e altre testimonianze preistoriche provenienti dal territorio e dal mare di Trapani. Il museo  presentava, infatti, anche una sezione di archeologia marina.