Su Capo Boeo, sorge la chiesa di San Giovanni Battista costruita dai Gesuiti, nel 1555. La chiesa faceva parte, secondo diversi studiosi, unitamente alla chiesa di S.Maria della Grotta, dell'antica abbazia dei Padri Basiliani.
Sotto di essa si trova la denominata "Grotta della Sibilla". La tradizione vuole che questa sia il sepolcro o l’abitazione della Sibilla Cumana (o della Sibilla Sicula). Essendovi una fonte al suo interno, un’altra leggenda vuole che qui Ulisse, sbarcato sulla vicina costa,  venne a dissetarsi, incontrando la Sibilla, che qui dimorava.

La chiesa di San Giovanni Battista e la grotta sono in comunicazione tramite un lucernaio posto sulla sommità dell’ambiente centrale della grotta, illuminandolo. La stanza centrale ha forma circolare e presenta due concavità minori, a nord e ad ovest. Scavata nella roccia, la grotta, infatti, ha sulla sommità una cupola bassa in muratura con il suddetto lucernaio. Al suo centro è posta una vasca di forma quadrata, non profonda, servita d’acqua, la quale sgorga nell’ambiente settentrionale, anch’esso scavato nella roccia, absidato, e di forma semicircolare. L'ambiente occidentale, di forma irregolare e dal soffitto piano, presenta un taglio sulla destra, forse ricavato da un pozzo, che la leggenda vuole essere il letto della Sibilla. Davanti alla stanza settentrionale è posto un grande altare in pietra con la raffigurazione in marmo di san Giovanni Battista, artisticamente di pregio, databile intorno al Quattrocento.