Il Castello di Ferrazzano era di importanza strategica fondamentale per il controllo del territorio circostante. Lo testimoniano anche le mura fortificate, di origine sannitica, che sono state ritrovate nella parte antica del paese . Di origine normanna, il castello baronale Carafa venne distrutto dal terremoto del 1456 ed in seguito, intorno al 1500, fu in parte ricostruito e ampliato da Gerolamo Carafa, che seguì direttamente le linee caratteristiche dell'architettura aragonese, come testimoniano i due torrioni circolari della facciata, riadattati in seguito a scopo difensivo per il posizionamento della armi da fuoco. Terminato solamente nel XVII secolo è il tipico esempio di fortezza trasformata in palazzo signorile. La posizione è studiata per il controllo del territorio, a strapiombo sullo sperone roccioso su cui sorge il paese e che spazia con lo sguardo a sud, ovest e nord. Oggi il complesso si presenta a forma rettangolare, con la facciata principale d'ingresso molto caratteristica e quella posteriore invece relativamente rimaneggiata per le successive costruzioni di rinforzo alle mura. All'interno si ritrovano ancora la cisterna ed i relativi impianti di canalizzazione e di raccolta delle acque piovane, il grande salone, e diversi ambienti poi risistemati diversamente dai diversi proprietari che si sono succeduti. L'ingresso avviene attraverso un ponticello di pietra che sostituisce quello, più antico, levatoio.