La création du musée fait suite à plusieurs donations à la ville de Vernon : la famille Brécourt offre 2000 oiseaux naturalisés dès 1862, puis A.-G. Poulain cède ses collections d'archéologie et de beaux-arts en 1927, enfin la ville reçoit une importante collection d'oeuvres de Steinlen en 1964. La décision est donc prise de transformer l'hôtel particulier des Le Moine de Bellisle en musée.

Les bâtiments 

L'existence de la maison à pans de bois qui fait l'angle des rues du Pont et Carnot est attestée dès 1577. Elle est déjà la propriété de M. Le Moine de Bellisle. Un ange orne le poteau cornier de la maison, il a donné son nom à la rue de l'Ange qui aboutit au musée.

Au XVIIème siècle, l'aile en pierre est construite. (photo ci-dessus). Elle est caractéristique du style Louis XIV, avec ses ouvertures hautes et régulières ornées de pierre de taille, ses bandeaux et corniches et surtout ses chaînes de refends latérales qui encadrent la façade.

Après la Révolution, la propriété devient un hôtel puis il abrite la gendarmerie nationale jusqu'en 1964.

A l'intérieur, on remarquera l'escalier monumental orné de portraits historiques, et le cabinet des dessins, seule pièce du musée où les boiseries d'origine ont pu être conservées.