El 9 de marzo de 1797, la mansión, ubicada entre las tierras del antiguo monasterio de Spaso-Preobrazhensky y la casa de la Asamblea de Nobles, fue vendida en una subasta por la cámara de tesorería al consejero de la corte Grigori Vasilyevich Gladkov. En 1807, él abrió allí su teatro de siervos. El memorista F. F. Vigel describe a Gladkov como un hombre inmoral y cruel, pero apasionado por el teatro. Construyó un pequeño teatro de piedra, donde actuaban sus siervos, desde el mayordomo hasta el mozo de caballos. Gladkov prefería tragedias y dramas, aunque a veces también montaba comedias, que tenían menos éxito. El memorista recuerda que en los rostros de los actores a veces se veían marcas de golpes.

Tras la muerte de Gladkov en 1821, el teatro pasó a sus hijos Vasily, Yakov y Alexander. Ellos dejaron a los actores y los ingresos del teatro a su madre, Anna Yakovlevna. Vasily Grigoryevich Gladkov, apodado Buianov por su crueldad, dirigió el teatro, y la destreza de los actores aumentó significativamente. V. A. Insarsky lo recordaba como "original" y "notable". V. G. Belinsky, que estudió cerca, dejó críticas entusiastas sobre el teatro, a pesar de su estado ruinoso.

En 1829, el teatro cerró debido al trato cruel del propietario hacia los actores. En 1836, la mansión fue comprada por el consejero titular Ivan Nikolaevich Gorstkin, quien reconstruyó el teatro y comenzó a alquilarlo a diversas compañías. En 1862, el empresario P. M. Medvedev alquiló el teatro, quien describió su encuentro con Gorstkin y su pasión por la construcción. Medvedev inauguró la temporada en Penza, y las recaudaciones fueron exitosas.

En el teatro de Gorstkin actuó el famoso trágico Ira Aldridge. Tras la muerte de Gorstkin en 1876, su hijo Lev Ivanovich Gorstkin heredó el teatro. Entre 1878 y 1881, el escritor Vladimir Alekseevich Gilyarovsky actuó aquí bajo el seudónimo de V. A. Sologub. Dalmatov recordaba a Penza como el lugar donde pasó los mejores años.

Desde 1891, la mansión perteneció a Pyotr Ivanovich Dubovitsky, bajo cuya dirección debutó en 1890 el actor N. P. Rossov en el papel de Hamlet. En 1894, la mansión fue comprada por Pyotr Mikhailovich Vysheslavtsev, y en 1910 su propietario se convirtió en Nikolai Petrovich Vysheslavtsev. En el teatro de los Vysheslavtsev actuaron muchos actores famosos, incluidos los hermanos Adelgeim.

El edificio del teatro no se ha conservado, y en su lugar se ha construido un edificio residencial.