Sorge all’interno del centro storico, nei luoghi in cui durante la dominazione longobarda fu costruito l’antico castello. Il palazzo baronale trova posto nell'angolo sud-occidentale dell'antica cinta muraria, con la quale condivide una parte delle mura. Un portale con arco a tutto sesto in pietra, che si raggiunge tramite una bella scalinata in pietra, costituisce l'ingresso principale al palazzo. Questo ingresso si apre sul giardino interno, dal quale si accede ad un secondo portone che permette l'ingresso all'interno del fabbricato. Il lato che si affaccia sulla Piazza del Mercato è diviso su due livelli.

La parte più bassa è composta da una serie di arcate cieche portanti, che si appoggiano alle mura e che sorreggono il piano nobile. Nell'arcata centrale, tramite una stretta scalinata, si raggiunge una semplice porta di dimensioni modeste, probabilmente l'antico ingresso di servizio al palazzo. Il piano nobile si riconosce dal loggiato: questo elemento, tipico dell'architettura rinascimentale, contribuisce a dare signorilità al palazzo.
La vita del castello medievale, inteso come struttura insediativa che diede ospitalità ai diversi feudatari, si interruppe prima del 1500, per dare posto al palazzo baronale tuttora esistente.
Con molta probabilità anche il palazzo subì, come il resto del paese, i danni del terremoto del 1805, che trovò il suo epicentro proprio a Frosolone. Fortunatamente il tragico evento non ne ha causato la distruzione, sorte subita da molte altre costruzioni del paese.

Il castello di Frosolone nel 1305 divenne sede di un Tribunale dell'Inquisizione. Nelle sue stanze infatti fra Tommaso di Aversa, fanatico inquisitore appartenente all'ordine dei Domenicani, giudicò colpevoli di eresia un gruppo di monaci Minoriti, che avevano ricevuto ospitalità da Andrea di Isernia, i quali predicavano la povertà più assoluta: per conseguire questo ideale, la Chiesa avrebbe dovuto abbandonare ogni ricchezza e smania di potere.
Si narra che fra Tommaso non risparmiò alcun mezzo per ottenere dai Fraticelli la pubblica confessione di eresia, per aver fatto causa comune con i Fraticelli Lombardi di fra DolcinIn tutto il Molise quando si parla di Frosolone si pensa a forbici e coltelli, per l'antica tradizione nella produzione di questi utensili, viva ancora oggi. In particolare gli artigiani del luogo diventano veri e propri artisti nella creazione di posateria in acciaio traforato: si tratta di un lavoro certosino attraverso il quale forbici, posate e altri oggetti acciaio sembrano finemente ricamati.