En 1796, el arquitecto del conde Alexei Grigorievich Orlov crea un "jardín inglés" y construye en el borde de una alta colina sobre el río un pequeño pabellón, que más tarde se llamó Verano. Una de sus fachadas completaba la parte superior del parque, y desde el balcón de la otra se abría una vista hacia los vastos espacios del sur de Moscú, desde el Kremlin hasta las colinas de Vorobyovy. Frente a la casita, el parque descendía abruptamente, donde se excavó un estanque y se construyeron el pabellón "Baño", la romántica gruta "Misteriosa" y otras atracciones del parque. No todas han sobrevivido. La más conocida fue el "Teatro Aéreo", creado en 1830 y que existió hasta 1834. Era una galería cubierta en forma de semicirculo, donde la escena estaba dispuesta de tal manera que las decoraciones eran reemplazadas por árboles y arbustos.

La casa de verano era de madera y estaba realizada en estilo clásico, con un plano simétrico simple. Cada una de las grandes fachadas estaba adornada con seis columnas del orden corintio, y en las fachadas pequeñas había pérgolas de un solo piso con contraventanas de rejilla.

La inglesa Catherine Wilmot, que visitó el jardín en 1807, anotó: "Está surcado por innumerables senderos, montículos, praderas y acantilados; la variedad de pérgolas y baños alegra la vista. En la arquitectura del parque se utiliza la corteza de abedul, lo que se ve maravilloso, como si las casas de verano y las pérgolas fueran creadas por la propia naturaleza".

Desde 1831, el Jardín Neskuchny pasa a ser propiedad de Nicolás I, aunque inicialmente solo parcialmente. La finca Neskuchnoye fue adquirida por la Oficina de Palacios de Shakhov en noviembre de 1826, y la propiedad de los Golitsyn el zar solo pudo comprarla en 1842. N. P. Golitsyna, conocida como "La Dama de Picas", se negó a vender el terreno y en su testamento indicó que solo podría venderse 5 años después de su muerte. Solo entonces las tres partes se unieron en el actual Jardín Neskuchny. Durante la estancia de la familia imperial en Moscú, su residencia era el vecino Palacio Alexandrinsky, y la Casa de Verano se utilizó hasta 1917 para meriendas al aire libre de los miembros de la familia imperial.

Después de la revolución, la casita se utilizó de diversas maneras, siendo la más prolongada la de casa de creatividad de la Unión de Escritores de la URSS. Antes de la transformación del Parque Gorky, allí había una biblioteca-lectura. Ahora en este lugar se encuentra un estudio fotográfico.