Carovigno sorge su di una collina, ed è facile scorgervi la poderosa sagoma del Castello Dentice di Frasso, situato in posizione tale da avvistare eventuali nemici e proteggere meglio il borgo; visibile dalla costa, la sua collocazione strategica lo ha sempre messo al centro delle contese tra varie famiglie nobili. Si tratta di un monumento di elevata importanza storico ed artistica, e dall´alto delle sue torri si domina tutta la fascia costiera che si estende da Torre Canne sino a Brindisi.

Il nucleo originale dell’edificio risale al XIII secolo, quando furono riunite con la Torre Angioina, circolare, con la torre Normanna, quadrata, che fu la prima ad essere realizzata; il castello sorge sulla antica zona dell’Acropoli, nei pressi della Chiesa di Sant’Angelo, e sono tuttora presenti antichi resti di murature messapiche. La fase finale della costruzione avvenne nel XV secolo, ad opera della famiglia Del Balzo-Orsini, che diede all’edificio la struttura attualmente visibile; l’ultimo restauro è datato 1906, operato dalla Famiglia Dentice dei Principi di Frasso.

Nei secoli, il Castello è appartenuto alle dinastie dei Normanni, degli Svevi, degli Angioini, degli Aragonesi e degli Spagnoli.  Il Castello ha una struttura a pianta triangolare, con le torri ai vertici: sono presenti una Torre Normanna, una Angioina e, sul lato nord, una torre ‘a mandorla’, adatta a sopportare i tiri d’artiglieria, ed abbastanza insolita per questo tipo di costruzioni in questa zona d’Italia. Si pensa infatti che i costruttori di questa particolare Torre siano stati influenzati dallo stile dell´ architetto senese Francesco di Giorgio Martini, la cui presenza in Puglia è attestata nel 1492 per sopraintendere alla costruzione delle piazzeforti di Taranto, Otranto, Gallipoli e Brindisi. Il nucleo medievale presenta interesse per la caratteristica urbanistica, con alcuni tratti della cinta aragonese (secoli XV-XVI): in essa si aprono la Porta Brindisi, la Porta Nuova e l’Arco del Prete.

Il Castello di Serranova si trova nel borgo di Serranova, una frazione di Carovigno, molto vicina al mare Adriatico. L’edificio fu costruito su un nucleo preesistente risalente al 1350, costituito da una torre quadrangolare; essa possiede un sistema perimetrale di merlature e caditoie, ed ha tuttora l’originario ingresso al primo piano, sul lato mare; l’accesso era possibile tramite l’abbassamento di un ponte levatoio che metteva in comunicazione la torre con una scala ricavata su di un fabbricato indipendente dalla cinta muraria. Il salone risulta molto caratteristico per le sue velature affrescate rappresentanti personaggi del sec. XVII. 
Nella seconda metà del ‘500, per ordine del vicerè Don Parafan De Ribera, alla torre fu annesso un secondo fabbricato, che costituiva il maniero; il Castello fu acquisito dal principe di Taranto Raimondo del Balzo Orsini, e, successivamente, divenne di proprietà del nobile feudatario genovese Ottavio Serra nel 1629: da allora, presso il castello si insediarono altre abitazioni, che originarono il casale di Serranova.
Al castello è annessa la piccola chiesetta del Crocefisso, risalente al XVII secolo, avente struttura a navata unica, con volta a botte, con tre altari e fonte battesimale; sul portale d´ingresso sono riportati gli stemmi della famiglia Imperiali, Principi di Francavilla e Signori di Carovigno nel settecento. Nella cappella è custodito un antico Crocifisso in legno, risalente al’700, che il 3 maggio di ogni anno viene portato in processione dai Carovignesi per scongiurare calamità naturali come siccità o terremoti; la leggenda vuole che il Crocifisso sia arrivato in quella zona dal mare, in seguito ad un naufragio avvenuto vicino Torre Guaceto.