Il Palazzo Caracciolo, di origine incerta, acquisì la sua forma attuale nel XVI secolo e subì un ampliamento nel Settecento. Dopo l'abolizione della feudalità nel 1806, divenne sede del Municipio di Forino fino al 1876, e in seguito ospitò una scuola e la biblioteca comunale.
Dell'antica struttura, oggi restano solo alcuni elementi: la facciata principale, due delle quattro porte originarie (inclusa quella di accesso da Largo Ponte) e il parco. Alcuni ambienti del palazzo sono gestiti dalla Pro Loco Forino e ospitano mostre di paramenti sacri e oggetti d'artigianato. Durante il periodo natalizio, l'area è animata dal Presepe Vivente.