La familia Tretyakov adquirió una casa en el callejón Lavrushinsky en 1851, aunque la historia de esta propiedad comienza a finales del siglo XVII. Ya entonces había palacios de piedra que fueron reconstruidos en varias ocasiones, incluyendo durante la época de los Kologrivovs en el siglo XVIII. Entre 1835 y 1839, los comerciantes Shestov llevaron a cabo otra reconstrucción.

Pavel Mikhailovich Tretyakov compró en 1856 las primeras pinturas de artistas rusos: "Encuentro con contrabandistas finlandeses" de Vasily Khudyakov y "La tentación" de Nikolai Shilder, lo que marcó el inicio de su famosa colección. Con el tiempo, el espacio para la creciente colección se volvió insuficiente, y en 1872 añadió un ala adicional al suroeste de la casa para la galería. En la década de 1880, bajo el diseño del arquitecto A. S. Kaminsky, se construyeron nuevos edificios, incluyendo uno en el callejón Maloy Tolmachevsky, así como una cerca con una entrada principal desde el callejón Lavrushinsky.

En 1892, Tretyakov transfirió su colección a Moscú, que incluía 1287 pinturas, 518 dibujos y 9 esculturas de artistas rusos de los siglos XVIII y XIX, así como 75 pinturas de su hermano Sergey. Pavel Mikhailovich se convirtió en el curador vitalicio de la galería. Tras su muerte en 1899-1900, la casa fue reconstruida para las necesidades de la galería, y en 1902 los edificios del callejón Lavrushinsky fueron unificados con una nueva fachada diseñada por V. M. Vasnetsov, creando la apariencia familiar de la Galería Tretyakov.

En 1913, I. E. Grabar se convirtió en el curador de la galería, quien después de la revolución la dirigió. En las décadas de 1920 y principios de 1930, se unieron varias propiedades vecinas a la galería, incluyendo la cerrada iglesia del Santo Nicolás en Tolmachi. En 1936, bajo el diseño de A. V. Shchusev, se construyó un nuevo edificio de dos pisos, que pronto se convirtió en parte de la exposición principal.

Durante la Gran Guerra Patria, las obras de la galería fueron evacuadas a Novosibirsk y Perm, y el edificio sufrió daños por los bombardeos. Para 1944, la mayor parte de las salas había sido restaurada.

A mediados de la década de 1980, comenzó la construcción de un depósito y un nuevo edificio del museo en la esquina con el callejón Bolshoy Tolmachevsky, que resultó ser desafortunado desde el punto de vista arquitectónico. El edificio principal fue renovado manteniendo su apariencia histórica, y los trabajos se completaron en 1995. El conjunto del museo incluye la iglesia de Nicolás el Milagroso en Tolmachi, que se convirtió en el templo-museo donde se guarda la milagrosa icono de la Virgen María de Vladimir.

Hoy, la colección de la galería cuenta con más de 170,000 obras de arte. No solo es uno de los museos más conocidos del mundo, sino también un importante centro científico y de restauración.