El 30 de agosto de 1756, la emperatriz Elizabeth Petrovna emitió un decreto para la creación del teatro estatal profesional ruso. En ese mismo tiempo, surgió en la Universidad de Moscú una compañía de teatro aficionada bajo la dirección de M.M. Kheraskov. En 1759, al combinar la ópera cómica italiana de G.B. Locatelli con el teatro universitario, se creó la primera compañía profesional de Moscú, el "Teatro Ruso" público. El teatro moscovita de la segunda mitad del siglo XVIII estaba vinculado a empresarios privados como N.S. Titov, P.V. Urusov y M.E. Medox.

En 1806, apareció en Moscú la compañía teatral estatal imperial, donde actores dramáticos trabajaban junto a los de ópera y ballet. Después del incendio del Gran Teatro Petrovsky en 1805, la compañía no tenía un edificio propio, y las funciones se llevaban a cabo en varios lugares, como el teatro del príncipe Volkonsky y la Casa Pashkov.

En 1821, el emperador Alejandro I aprobó el proyecto de O.I. Bove para el desarrollo de la Plaza Petrovskaya, donde el comerciante V.V. Vargin adquirió tres parcelas. La casa de Vargin fue construida en 1821 según el proyecto de O.Bove. En 1824, Vargin alquiló parte del edificio a los teatros imperiales, y fue remodelado para teatro. En 1837, el edificio fue comprado por la dirección del Teatro Imperial de Moscú.

La primera función en el nuevo teatro tuvo lugar el 14 de octubre de 1824. Los teatros Grande y Pequeño tenían una compañía común y presentaban dramas, óperas y ballets. Originalmente, la palabra "pequeño" se refería al tamaño del edificio, pero a mediados del siglo XIX, "Grande" y "Pequeño" se convirtieron en nombres propios.

En 1838 y 1840, el edificio del teatro fue remodelado según el proyecto de K.A. Ton, quien creó un nuevo auditorio y escenario. Desde 1840, en este escenario actuó la compañía del Teatro Pequeño, donde actuaron actores famosos como P.S. Mochalov y M.S. Shchepkin. Aquí se representaron obras de Fonvizin, Griboedov, Gogol y otros, pero el nombre más significativo fue el de A.N. Ostrovsky, en honor al cual el teatro se llama "Casa de Ostrovsky".

En 1929, se erigió un monumento a A.N. Ostrovsky frente al teatro. En 1939, se aprobó un proyecto de reconstrucción completa del teatro. En 1991, el Teatro Pequeño fue incluido en la lista del patrimonio nacional de Rusia. En 2010, se convirtió en miembro de la Unión de Teatros de Europa.

Desde 1940, el teatro estuvo cerrado al público, y los trabajos de restauración se llevaron a cabo en 1945 y 1948 bajo la dirección de A.P. Velikanov. La última reconstrucción tuvo lugar de 2011 a 2016 e incluyó la restauración de fachadas e interiores. En 2018, el teatro fue galardonado en el concurso "Restauración de Moscú" por la mejor organización de trabajos de reparación y restauración.