L'edificio signorile, noto come Palazzo Baronale o Palazzo Campobasso, è datato al primo decennio del 1600, come indicato dalla data incisa sullo stemma sopra il portale d'ingresso, 1614. Fu commissionato da Ugone Pagano, che ricevette il feudo dal barone Cesare. Successivamente passò alla famiglia Lottieri d’Aquino e, nel 1745, era registrato come residenza del Principe della Pietra. Circa trent'anni dopo, l'immobile fu acquisito da Gaetano De Luca di Giovanbattista, un ricco possidente, alla cui morte la proprietà venne divisa tra gli eredi, con la creazione di un nuovo ingresso su Via Damiani. Negli anni Venti del Novecento, una parte del palazzo fu occupata dall'arma dei carabinieri. Nel 1925, un'alluvione devastò l'ala sud dell'edificio, situata sopra il Torrente San Martino. Gran parte del palazzo fu acquistata dagli attuali proprietari nel 1973 e sottoposta a interventi di ristrutturazione negli anni Ottanta.