Der Gouverneursgarten befand sich im nordöstlichen Teil des Kremls. Im Norden und Nordosten war sein Gebiet durch die Stadtmauer begrenzt, während es auf anderen Seiten von einem Zaun umgeben war, der entlang des Iwanowskaja Abfahrt verlief und an der Hauptwache, dem Haus des Militärgouverneurs und den Dienstgebäuden anstieß.

Der Kaiser Nikolaus I. ordnete während seines Besuchs in der Stadt von 1834 bis 1836 den Bau eines neuen Hauses für den Militärgouverneur und die Anlage eines Gartens auf dem angrenzenden Gelände an. Um diese Aufgabe zu erfüllen, wurde 1836 der Hofgärtner Pelzel nach Nischni Nowgorod geschickt, dem die Planung des Gartens an diesem Ort übertragen wurde.

Der Garten beim Haus des Militärgouverneurs, wie er in den Archiven genannt wurde, stellte faktisch einen Landsitzpark im englischen Stil dar. Laut dem Plan sollten dort duftende und silberne Pappeln, Linden, Ahorn, Ebereschen, Eichen, Eschen, Fichten, Haselnüsse und verschiedene Gartensträucher gepflanzt werden.

Die Arbeiten zur Umgestaltung des Hangs des Georgievskaya Berges wurden unter der Leitung von Pelzel durchgeführt, der über keine technischen Kenntnisse und Erfahrungen im Bauwesen verfügte. Infolgedessen wurde das System von Rohren und Rinnen, das das Grundwasser aus dem Kreml ableitete, zerstört. Dies führte zu Überschwemmungen durch Grundwasser, was Erdrutsche und die Zerstörung des unteren Teils der Stadtmauer zur Folge hatte. Die Beseitigung der Folgen von Pelzels Aktivitäten zog sich über Jahrzehnte hin und wurde in den 1850er Jahren unter der Leitung des Architekten L.V. Fostikow und in den 1860er Jahren des Architekten D. Nebolzin durchgeführt.

Bis Ende des 19. Jahrhunderts war nur der obere Teil des Gartens hergerichtet, während der untere, bergseitige Teil in einem verwahrlosten Zustand blieb.

Zu Beginn des 20. Jahrhunderts erwogen die Stadtbehörden sogar die Möglichkeit, eine Straße durch den bergseitigen Teil des Gartens entlang der Stadtmauer zu bauen, die die Anlegestellen mit der Iwanowskaja Abfahrt verband.

Nach der Februarrevolution 1917 wurde der Garten für die breite Öffentlichkeit zugänglich.

In der Sowjetzeit wurde der Garten nicht genutzt. In den Nachkriegsjahren wurde sein Gebiet im Rahmen von Hangrutschschutzmaßnahmen neu terrassiert.