Non esiste una data certa di edificazione, tuttavia il magnifico maniero di Bagnoli Irpino è citato già nel 1001. La conformazione strutturale a pianta quadrangolare, fondata sulla roccia calcarea, suggerisce un'origine Normanna. Nel corso del tempo, ha visto avvicendarsi numerosissimi casati, tra cui i D’Aquino e i Cavaniglia (da cui prende il nome), con un periodo in cui appartenne anche a Francesco Sforza (che sarà Duca di Milano). Domina l'abitato di Bagnoli Irpino sul cosiddetto "Colle Serra" ed è contiguo alla graziosa Villa comunale Aulisa, con cui forma un tutt'uno di inestimabile pregio, punto di riferimento per i numerosi turisti e cittadini che frequentano il centro di Bagnoli Irpino soprattutto in estate. Ad oggi, a seguito delle operazioni di restauro conclusesi nel 2017, risulta uno dei castelli meglio conservati d'Europa.