L'impianto originario dell'edificio risale al XV secolo. Nel XVIII secolo all'antico palazzo dei Leopardi fu aggiunto ad Est quello attiguo della estinta famiglia Giardini. Curò e progettò la trasformazione dell'intera facciata e della zona d'accesso il canonico Carlo Orazio Leopardi, prozio del poeta, architetto per diletto. Il prospetto, curvilineo, realizzato interamente in laterizio, prevedeva un timpano nella parte centrale. Un volume curvilineo di forte valore plastico risolve il raccordo all'angolo est dell'edificio con il muro del giardino intemo. Un vasto atrio introduce allo scalone d'accesso, a doppia rampa ellittica, con soffittature mistilinee. Nelle pareti dello scalone sono incastonati frammenti epigrafici ed architettonici, oggi non più nella collocazione originaria, di notevolissimo interesse storico-artistico per la loro provenienza dal territorio, puntualmente annotata da Monaldo Leopardi, che aveva avviato la raccolta del nucleo più antico dei reperti. In questa casa il 29 giugno 1798 nacquero dal conte Monaldo Leopardi e da Adelaide Antici Giacomo, Taldegardo, Luigi, Francesco, Salesio, Saverio e Pietro. La parte abitativa e la biblioteca sono situate al primo piano. Nel 1816 per Giacomo e per i suoi fratelli fu restaurata l'ala che dà sul giardino denominata "appartamento delle bracce". Il palazzo conserva pregevoli arredi d'epoca ed é tuttora abitato dalla famiglia Leopardi.