9 марта 1797 года усадьба, расположенная между землей бывшего Спасо-Преображенского монастыря и домом Дворянского собрания, была продана казенной палатой на аукционе надворному советнику Григорию Васильевичу Гладкову. В 1807 году он открыл там свой крепостной театр. Мемуарист Ф. Ф. Вигель описывает Гладкова как человека безнравственного и жестокого, но увлеченного театром. Он построил небольшой каменный театр, где выступали его крепостные, от дворецкого до конюха. Гладков предпочитал трагедии и драмы, хотя иногда ставил и комедии, которые шли хуже. Мемуарист вспоминает, что на лицах актеров иногда были видны следы побоев.

После смерти Гладкова в 1821 году театр перешел его детям Василию, Якову и Александру. Они оставили актеров и доходы от театра матери, Анне Яковлевне. Василий Григорьевич Гладков, прозванный Буяновым за жестокость, управлял театром, и мастерство актеров значительно возросло. В. А. Инсарский вспоминал о нем как о «оригинальном» и «замечательном». В. Г. Белинский, учившийся неподалеку, оставил восторженные отзывы о театре, несмотря на его ветхое состояние.

В 1829 году театр закрылся из-за жестокого обращения владельца с актерами. В 1836 году усадьбу купил титулярный советник Иван Николаевич Горсткин, который перестроил театр и начал сдавать его различным труппам. В 1862 году театр арендовал антрепренер П. М. Медведев, который описывал встречу с Горсткиным и его страсть к строительству. Медведев открыл сезон в Пензе, и сборы были успешными.

В театре Горсткина выступал известный трагик Айра Олдридж. После смерти Горсткина в 1876 году театр унаследовал его сын Лев Иванович Горсткин. В 1878-1881 годах здесь играл писатель Владимир Алексеевич Гиляровский под псевдонимом В. А. Сологуб. Далматов вспоминал о Пензе как о месте, где провел лучшие годы.

С 1891 года усадьба принадлежала Петру Ивановичу Дубовицкому, под антрепризой которого в 1890 году дебютировал актер Н. П. Россов в роли Гамлета. В 1894 году усадьбу купил Петр Михайлович Вышеславцев, а в 1910 году ее владельцем стал Николай Петрович Вышеславцев. В театре Вышеславцевых выступали многие известные актеры, включая братьев Адельгейм.

Здание театра не сохранилось, на его месте построен жилой дом.