Costruito nella prima metà del IX secolo come fortilizio difensivo dai Longobardi, il Castello subì numerose ristrutturazioni durante il dominio normanno-svevo. Nel 1343, il feudo di San Martino, insieme al Castello, fu acquistato da Giovanni Lagonessa, un membro della famiglia francese Lagonière, che, stabilitasi in Italia, mutò il proprio cognome in "Della Leonessa". Nei secoli successivi, il Castello divenne oggetto di diverse contese per la proprietà, finché, nel XVII secolo, i feudatari di San Martino decisero di trasformarlo in una residenza gentilizia, perdendo così la sua funzione di fortificazione. Con la fine della feudalità nel 1806 e la morte dell'ultimo erede maschio della famiglia Della Leonessa, il Castello passò alla famiglia Pignatelli, che negli anni Settanta del Novecento completò un'opera di ristrutturazione.