La iglesia, dedicada al gran mártir San Jorge, fue erigida fuera de las murallas de la ciudad en Forstadt el 25 de junio de 1756. Por decreto del 2 de julio del mismo año, fue consagrada con la bendición del arzobispo de Kazán y Sviyazhsk, Gavriil. La construcción fue llevada a cabo por los cosacos de Orenburgo, quienes utilizaron parte de su salario en dinero por orden del entonces gobernador Nepluyev y bajo la dirección del ataman cosaco Vasili Mogutov. La iglesia era de piedra, con bóvedas de piedra y un campanario, tenía un altar y estaba decorada con utensilios costosos. Todos los objetos sagrados en el Santo Altar y el altar eran de plata.

Las procesiones religiosas se llevaban a cabo inicialmente en la plaza de la catedral, pero desde 1891 comenzaron a realizarse en la plaza de la capilla, ubicada entre Forstadt y la ciudad, cerca de la torre de bomberos municipal. En 1889, entre los oficiales y cosacos surgió la idea de perpetuar el milagroso salvamento de la familia imperial tras el descarrilamiento del tren en la dirección Kursk-Járkov, construyendo una capilla con un ícono de los santos venerados el 17 de octubre, el día del accidente. Debido a la falta de espacio en la plaza de la catedral, se decidió erigir la capilla en la plaza de Forstadt junto a la torre.

La construcción de la capilla se completó para el 26 de julio de 1891, con la llegada del heredero al trono, el gran duque Nicolás Alexandrovich, quien era el ataman augusto de las tropas cosacas de Rusia. El heredero estuvo presente en la oración en la nueva capilla. En 1913, junto a la capilla, los cosacos del ejército cosaco de Orenburgo construyeron la Casa de la Bandera, un museo de la gloria militar del cosaco de Orenburgo.

La catedral, la capilla y la Casa de la Bandera existieron hasta la década de 1930, después de lo cual fueron completamente destruidas. Ahora, en el lugar de la catedral hay casas residenciales privadas en la calle Pugachovskaya, y en el lugar de la capilla se encuentra el gimnasio de la Universidad Agraria Estatal de Orenburgo.