Am 30. August 1756 erließ die Kaiserin Elisabeth Petrowna ein Dekret zur Gründung eines russischen staatlichen Berufstheaters. Zur gleichen Zeit entstand an der Moskauer Universität eine Amateur-Theatertruppe unter der Leitung von M.M. Cheraskov. 1759 wurde die erste professionelle Moskauer Truppe, das öffentliche "Russische Theater", gegründet, indem die italienische komische Oper von G.B. Locatelli mit dem Universitäts-Theater vereint wurde. Das Moskauer Theater der zweiten Hälfte des 18. Jahrhunderts war mit privaten Unternehmern wie N.S. Titow, P.V. Urusow und M.E. Medox verbunden.

Im Jahr 1806 trat die Kaiserliche staatliche Theatertruppe in Moskau auf, wo dramatische Schauspieler zusammen mit Opern- und Ballettkünstlern arbeiteten. Nach dem Brand des Großen Petrowski-Theaters im Jahr 1805 hatte die Truppe kein eigenes Gebäude, und die Aufführungen fanden an verschiedenen Orten statt, wie dem Theater von Fürst Wolkonski und dem Pashkov-Haus.

1821 genehmigte Kaiser Alexander I. das Projekt von O.I. Bowe zur Bebauung des Petrowski-Platzes, wo der Kaufmann V.V. Vargin drei Grundstücke erwarb. Das Haus von Vargin wurde 1821 nach dem Entwurf von O.Bowe erbaut. 1824 vermietete Vargin einen Teil des Gebäudes an die kaiserlichen Theater, und es wurde für das Theater umgebaut. 1837 wurde das Gebäude von der Direktion des Kaiserlichen Moskauer Theaters gekauft.

Die erste Aufführung im neuen Theater fand am 14. Oktober 1824 statt. Das Große und das Kleine Theater hatten eine gemeinsame Truppe und führten Drama, Oper und Ballett auf. Ursprünglich bezog sich das Wort "klein" auf die Größe des Gebäudes, aber bis zur Mitte des 19. Jahrhunderts wurden "Groß" und "Klein" zu Eigennamen.

1838 und 1840 wurde das Theatergebäude nach dem Entwurf von K.A. Ton umgebaut, der einen neuen Zuschauerraum und eine Bühne schuf. Seit 1840 trat auf dieser Bühne die Truppe des Kleinen Theaters auf, in der so bekannte Schauspieler wie P.S. Mochalow und M.S. Schepkin spielten. Hier wurden Stücke von Fonwizin, Griboedow, Gogol und anderen aufgeführt, aber besonders bedeutend wurde der Name A.N. Ostrowski, zu dessen Ehren das Theater "Haus Ostrowski" genannt wird.

1929 wurde vor dem Theater ein Denkmal für A.N. Ostrowski errichtet. 1939 wurde ein Projekt zur vollständigen Rekonstruktion des Theaters angenommen. 1991 wurde das Kleine Theater in die Liste des nationalen Erbes Russlands aufgenommen. 2010 wurde es Mitglied des Verbands der Theater Europas.

Seit 1940 war das Theater für Zuschauer geschlossen, und Restaurierungsarbeiten wurden 1945 und 1948 unter der Leitung von A.P. Velikanov durchgeführt. Die letzte Rekonstruktion fand von 2011 bis 2016 statt und umfasste die Restaurierung der Fassaden und Innenräume. 2018 wurde das Theater Preisträger des Wettbewerbs "Moskauer Restaurierung" für die beste Organisation von Reparatur- und Restaurierungsarbeiten.