Siedzibą muzeum jest gmach pomisjonarski, którego fundatorem był arcybiskup Michał Radziejowski (1645 - 1705). Budowę seminarium duchownego, prowadzonego przez misjonarzy, rozpoczęto w 1689 r. Autorem projektu był architekt królewski -Tylman z Gameren (1632 - 1706). W 1700 r. fundator erygował seminarium, prace architektoniczne trwały jednak do 1730 r. Funkcje klasztoru i uczelni gmach pełnił do 1820 r., kiedy to seminarium zostało przeniesione do Warszawy, a budynek zajęła Szkoła Wydziałowa, prowadzona przez księży pijarów, oraz Szkoła Nauczycieli Elementarnych.
W późniejszym okresie budynek pełnił różne funkcje (więzienie dla powstańców polskich, cerkiew prawosławna, Szkoła Realna). W czasie II wojny światowej gmach został zniszczony, ocalało jedynie skrzydło południowe, mieszczące kaplicę. W l. 1950 - 1952 odbudowano trzy skrzydła budynku (bez wschodniego, którego piwnice dopiero w 2002 r. po dokonaniu rekonstrukcji i konserwacji zaadaptowano na kawiarnię). Od poł. lat 50. znajduje się tu muzeum, do1995 r. oddział Muzeum Narodowego w Warszawie, obecnie podporządkowane Starostwu Powiatowemu w Łowiczu.