Porto Empedocle e il vicino comune di Agrigento formano una vasta area di conurbazione dell’abitato.
Questo rapporto tra i due comuni è storico. Porto Empedocle era probabilmente l’attracco dell’antica Girgenti, tanto da meritare il nome di Marina di Girgenti. Nel Quattrocento tutte le coltivazioni di grano della zona facevano capo al suo porto. L’abitato  del paese divenne autonomo come capoluogo di decurionato nel 1853, col nome di Molo di Girgenti. Ma solo nel 1863 la sua denominazione divenne l’attuale, a ricordo dell’antico filosofo agrigentino Empedocle.

Il viceré Vega, tra il 1549 e 1554, diede ordine di restaurare la Torre del caricatore di Girgenti. Questa, probabilmente già esistente prima del periodo angioino, faceva parte del sistema difensivo siciliano delle torri di avvistamento. Il progetto militare si deve all'architetto fiorentino Camillo Camilliani, a scopo difensivo delle coste e dei commerci dagli assalti ripetuti dei corsari saraceni. Per la sua posizione strategica la torre è stata restaurata più volte nel corso della storia. Tra i lavori più importanti va segnalato quello del periodo di Carlo V, tanto che la torre è anche denominata “Torre Carlo V”.

Il primo molo del porto fu costruito a partire dal 1749, oer volontà di Carlo III e del vescovo Lorenzo Gioeni,. L’opera fu portata a termine solo nel  nel 1763.