Единственный в мире Музей одной картины мог и не появиться. В 1980-х годах планировалось снести здание, но оно было спасено благодаря удачному включению в архитектурный ансамбль Смотровой площадки при проектировании памятника Первопоселенцу.

Георг Мясников, занимавший должность второго секретаря пензенского обкома и инициировавший создание необычного культурного учреждения, в своих мемуарах утверждал, что здание было домом почмейстера. Однако историки недавно выяснили, что он ошибался. История прояснилась благодаря биографии Алексея Петровича Николаевского, который приобрел это строение в 1860-х годах и жил в нем до своей смерти. Николаевский начал карьеру как квартальный надзиратель, что соответствует современной должности участкового. Впоследствии он был переведен в первую, а затем во вторую полицейскую часть. За 18 лет службы в органах внутренних дел он дослужился до звания полковника и в 1872 году стал начальником пензенской полиции, то есть полицмейстером. Таким образом, здание на улице Кирова, 11 было домом полицмейстера, а не почмейстера. Вероятно, Мясников был введен в заблуждение другими документами, что привело к распространению ошибочной версии.

До конца 1960-х годов дом оставался жилым. По рассказам местных жителей, за музеем когда-то находились сараи и дровники.