Gmach, w którym obecnie znajduje się Muzeum Zabawek i Zabawy powstał w 1872 roku. Utrzymany jest w stylu eklektycznym z przewagą akcentów klasycyzujących. Południowa elewacja od strony placu Wolności ma reprezentacyjny charakter (z monumentalną bramą pośrodku). Wieloosiowa fasada ukształtowana jest symetrycznie, a po jej bokach występują ryzality nakryte trójkątnymi tympanonami.
Pierwotnie budynek przeznaczony był na sklepy, zakłady usługowe i jatki. W 1899 roku uruchomiono w nim „Dom gościnny dla ludu”. W 1929 w zachodnim skrzydle zorganizowano Miejską Pracownię Badania Żywności. Przed rokiem 1939 w budynku znajdowało się: 19 sklepów, 30 jatek oraz sklepów z pieczywem oraz 3 zakłady dzierżawione handlowcom z wolnego przetargu. Po drugiej wojnie światowej przez prawie 20 lat nadal funkcjonowały tu sklepy, a swoją siedzibę miały: Towarzystwo Przyjaciół Dzieci, potem RSW „Prasa-Książka-Ruch”, redakcje „Słowa Ludu” i „Echa Dnia”, Zrzeszenie Prywatnego Handlu i Usług i wiele innych instytucji.
Ponad 10 lat gospodarzem budynku był NSZZ „Solidarność”, który opuścił go w lutym 2002 roku, a rok później miejscy radni podjęli decyzję o przekazaniu gmachu Muzeum Zabawkarstwa. Obiekt był w opłakanym stanie, prawdopodobnie nigdy nie przechodził remontu kapitalnego, nie był też właściwie zabezpieczony. Opracowania projektu modernizacji i adaptacji budynku do potrzeb muzealnych podjął się inż. arch. Paweł Pedrycz.
Uroczyste otwarcie muzeum w nowej siedzibie odbyło się 1 czerwca 2006 roku.
Fragment tekstu Lidii Zawistowskiej „Zabawki w jatkach” [w:] „Spotkania z zabytkami”, 2008, nr 6.