L'edificio, risalente all'epoca normanna, viene menzionato per la prima volta in un documento del 1301. Nonostante le modifiche subite nel corso dei secoli, il fortilizio conserva ancora la cinta muraria, due torri cilindriche agli angoli e un mastio, una torre quadrangolare in stile neogotico conosciuta come "Torrione", situata sulla sommità dello Stretto di Balba, un importante passaggio verso il Sannio. Una lapide all'interno del Castello testimonia la presenza come ospiti di celebri scrittori quali Torquato Tasso (1544-1595), Giambattista Marino (1569-1625) e John Milton (1608-1674).