Il nome dell'edificio deriva da una delle ultime famiglie che amministrarono il paese, i Pignatelli. Le origini del castello sono molto antiche, con il primo documento che ne attesta l'esistenza risalente al 1096. Tuttavia, dell’aspetto originale non è rimasto nulla, poiché i numerosi feudatari che lo hanno posseduto nel corso dei secoli hanno modificato la struttura per adattarla alle esigenze difensive di ogni epoca. L'aspetto attuale del Castello di Montecalvo Irpino è il risultato di un'importante opera di restauro voluta dai Pignatelli, dopo i danni significativi causati dal terremoto del 1456, e da successivi interventi dei Carafa, che hanno detenuto il feudo per oltre trecento anni, fino agli inizi dell'Ottocento. Tra le caratteristiche ancora visibili vi sono i bastioni settecenteschi, progettati per difendersi dagli attacchi nemici. Oggi, il Castello Pignatelli, recentemente ristrutturato, si può raggiungere attraverso un arco del 1505 situato in via Santa Maria, che conduce a un cortile interno. All'esterno si possono ancora ammirare una torre cilindrica e le cortine murarie che circondano l'intero perimetro.