Die Kirche, die dem heiligen Märtyrer Georg dem Siegreichen gewidmet war, wurde am 25. Juni 1756 außerhalb der Stadtmauer im Vorort erbaut. Auf Anordnung vom 2. Juli desselben Jahres wurde sie mit der Segnung des Erzbischofs von Kasan und Swijaschsk, Gabriel, geweiht. Der Bau wurde von den Orenburger Kosaken durchgeführt, die einen Teil ihres Geldgehalts auf Befehl des damaligen Gouverneurs Neplyuev und unter der Leitung des Kosakenhetmans Wassili Mogutov verwendeten. Die Kirche war aus Stein, mit steinernen Gewölben und einem Glockenturm, hatte einen Altar und war mit teuren Utensilien ausgestattet. Alle heiligen Gegenstände auf dem heiligen Altar und dem Opferaltar waren aus Silber gefertigt.

Die Kirchenparaden fanden ursprünglich auf dem Kathedralenplatz statt, aber ab 1891 wurden sie auf dem Platz bei der Kapelle abgehalten, die zwischen dem Vorort und der Stadt, in der Nähe des städtischen Feuerwehrturms, lag. Im Jahr 1889 entstand unter den Offizieren und Kosaken die Idee, das wunderbare Überleben der kaiserlichen Familie bei dem Zugunglück auf der Kursk-Charkow-Strecke zu verewigen, indem eine Kapelle mit einem Bild der Heiligen, die am 17. Oktober verehrt werden, am Tag des Unglücks erbaut wurde. Aufgrund des Platzmangels auf dem Kathedralenplatz wurde beschlossen, die Kapelle auf dem Platz im Vorort bei dem Turm zu errichten.

Der Bau der Kapelle wurde bis zum 26. Juli 1891 abgeschlossen, zur Ankunft des Thronfolgers Nikolai Alexandrowitsch, der der hochrangige Hetman der Kosakentruppen Russlands war. Der Thronfolger nahm an der Andacht in der neuen Kapelle teil. Im Jahr 1913 bauten die Kosaken der Orenburger Kosakentruppe neben der Kapelle das Znamennaja-Haus, ein Museum für den militärischen Ruhm der Orenburger Kosaken.

Die Kathedrale, die Kapelle und das Znamennaja-Haus existierten bis in die 1930er Jahre, danach wurden sie vollständig zerstört. Heute stehen an der Stelle der Kathedrale private Wohnhäuser in der Pugatschow-Straße, und an der Stelle der Kapelle befindet sich die Sporthalle der Orenburger Staatlichen Agraruniversität.