Il castello, noto soprattutto come Carcere Borbonico di Montefusco, nacque come fortificazione longobarda circondata da mura. Fu successivamente ampliato e rafforzato dai Normanni, che tra il XII e il XIII secolo lo trasformarono in uno dei punti strategici del loro dominio. Importanti lavori di restauro furono effettuati per volere dell’imperatore Federico II. Dopo la dominazione angioina, il castello passò a famiglie aragonesi e venne convertito in sede del Tribunale della Regia Udienza Provinciale del Principato Ultra, con Montefusco che divenne capitale nel 1581. Nel 1851, Ferdinando II di Borbone lo trasformò in carcere politico per i patrioti antiborbonici, dove il duro trattamento dei detenuti gli valse il soprannome di "Spielberg dell’Irpinia". All'interno, si possono ancora osservare il pavimento in ciottoli, le porte pesanti e gli elementi in ferro. Al piano inferiore si trova l'area chiamata "Vaglio", usata per l’ora d’aria dei prigionieri, mentre nella parte superiore vi è una corsia con celle. Una scala conduce alla zona più remota, la corsia inferiore, caratterizzata da una grande sala con finestre alte sbarrate. Il carcere rimase in funzione fino al 1877, poi divenne carcere mandamentale fino al 1923.