Il castello, che prende il nome dagli ultimi feudatari del paese, si erge su una collina attorno alla quale si sviluppò il borgo medievale. La prima menzione risale al 1152, nel *Catalogus Baronum*, come proprietà di Roberto de Tufo, suffeudatario del conte Ruggiero de Aquila di Avellino. Durante il Medioevo, la fortificazione rivestì grande importanza, essendo parte di un sistema difensivo che includeva i castelli di Summonte, Capriglia Irpina, Grottolella, Montefusco, Montemiletto e Manocalzati, tanto da essere citata anche da geografi arabi. Nel corso dei secoli, il castello passò nelle mani di varie famiglie nobili, tra cui i Baldini, i Brancaccio, i Ferilli, i Gesualdo e i Ludovisi. Tra il XVII e il XVIII secolo, l'antica struttura fu trasformata in una residenza signorile. L’edificio, che si affaccia parzialmente sulla piazza principale del paese, è accessibile attraverso un arco situato sotto il campanile annesso alla chiesa di Santa Maria del Carmine, edificata sulla base di una delle robuste torri dell'originaria pianta trapezoidale. Un'altra torre è parzialmente visibile nei pressi di Casa Rega. Grazie a un ampio intervento di restauro, sono state recuperate le due torri rimaste. Il castello era inoltre dotato di cisterne per l'acqua, ancora presenti, e di una neviera. In un avvallamento naturale è stato realizzato un anfiteatro, destinato ad attività culturali e ricreative.