Dům Pod podloubím je zřejmě nejstarší zachovaný měšťanský dům v Zábřehu. Pochází z 2. poloviny 16. století.
Majiteli byli většinou přední zábřežští měšťané, mezi než patřil i Burian Vizovský, otec první manželky Jana Amose Komenského Magdaleny.

O gotickém původu svědčí sklepy i krásně klenutá mázhausová síň. Renesance přinesla přestavbu na honosný měšťanský dům. Majitel dal v druhé polovině 16. století přistavět věž s loubím. Stopy baroka nalezneme v plochých stropech některých místností. Novobarokní štuková výzdoba na fasádě věže pochází z počátku 19. století.
Muzeum bylo v této budově založeno v roce 1932.