Il Palazzo Brancaccio fu voluto nei primi decenni del XVII secolo da Don Nicola Maria Brancaccio, Principe di Ruffano, e sorge accanto alla Cappella dell'Annunziata, realizzata contestualmente. Nel 1769, l’intero complesso fu acquisito da Alessandro Maria Scarpa, che lo trasmise in eredità ai suoi tre figli: Francesco, Gregorio e Giuseppe. Quest'ultimo riuscì a riunire le quote dei fratelli, consolidando la proprietà che passò poi al figlio Alessandro Maria Scarpa jr. e ai suoi quattro figli. Questi ultimi, nel corso del tempo, modificarono l’edificio, suddividendolo in quattro sezioni distinte. La facciata del Palazzo è caratterizzata da un imponente portale d’ingresso in pietra finemente intagliata, con un portone in legno massiccio incorniciato. Sei balconi con mensole di pietra e ringhiere in ferro ornano l’esterno. All’interno, il portone conserva incisioni storiche legate al borgo e al suo sistema di giustizia, immagini che, sebbene sbiadite dal tempo, sono ancora visibili e continuano a evocare la storia del luogo.