Il Museo è ospitato nel piano nobile di Palazzo Martinetti Bianchi, nato come convento dei Gesuiti nel 1640. Il palazzo dopo la soppressione degli ordini religiosi del 1767, fu acquistato nel 1786 da Pietro Franchi; a questi anni (1796) risale la decorazione della volta ad opera del pittore napoletano Giacinto Diano, che ammiriamo nel salone principale, raffigurante l’Apoteosi di Psiche, caratterizzata da una pennellata corposa, l’uso sapiente dei volumi, lo splendore dei colori e l’abilità compositiva. I Franchi vendettero la proprietà ai Marchesi Martinetti Bianchi nella prima metà dell’ottocento.
Le collezioni sono il frutto di un notevole impegno, iniziato sin dal XIX sec., da parte di illustri studiosi e politici cittadini che, partendo da un nucleo originario composto da opere recuperate dopo la soppressione degli ordini religiosi, si arricchì di donazioni private e acquisti da parte degli Enti locali. L’allestimento è stato progettato seguendo un ordine cronologico.