Zwei Jahrzehnte nach der Gründung von Orenburg gab es in der Stadt etwa zehn Kirchen, was den Bemühungen des ersten Gouverneurs I. I. Neplyuev zu verdanken war. Eine der ersten war die Kirche zu Ehren der Apostel Peter und Paul, die auf Initiative von Neplyuev für die Garnison der Leibeigenen errichtet wurde, als ein Bataillon des Nischni-Nowgoroder Regiments mit dem Segen des Bischofs von Kasan und Swijazhsk, Luka, von Ufa hierher verlegt wurde.

Der Bau der Kirche begann 1757, und 1760 wurde sie geweiht. Die steinerne Kirche mit ihren eleganten Gewölben galt nach der Verklärungskathedrale und der Einführungskathedrale als eine der besten in der Stadt. Doch infolge eines großen Brandes im Jahr 1786 wurde das Gebäude stark beschädigt und blieb lange Zeit in Ruinen. Man plante, es abzureißen, aber der Militärgouverneur Grigori Semjonowitsch Wolkonski verhinderte dies.

Im Jahr 1804 wandte sich Wolkonski mit der Bitte um Wiederherstellung der Militärkirche an Kaiser Alexander I., da ständig Truppen in der Stadt stationiert waren. Der Kaiser erfüllte die Bitte, und aus der Staatskasse wurden Mittel bereitgestellt, mit denen der Gouverneur nicht nur die Kirche wiederherstellte, sondern auch einen steinernen Kreuzerhöhungsanbau anfügte. Hierher wurde die Kirchenausstattung aus der abgebrannten hölzernen Kreuzerhöhungs-Kirche gebracht, die im Einführungskathedrale aufbewahrt wurde. 1809 wurde der Tempel erneut geweiht. Im folgenden Jahr wurden auf Anordnung des Gouverneurs alle Militärs und Beamten der Stadt der Gemeinde der Kirche zugeordnet, und 1831 auch das Kadettenkorps von Neplyuev, das bis 1852 keine eigene Kirche hatte. Der neu geweihte Tempel zeichnete sich durch einen großen gläsernen Eingangsflur aus. Um die Kirche herum befand sich eine Umfriedung, in deren Innerem das Grab des Orenburger Militärgouverneurs Pawel Petrowitsch Suhtelen lag, der 1833 verstorben war.

Im Jahr 1853 wurde der Ikonostase in der Kirche erneuert, neue Malereien hinzugefügt und neue Kirchenausstattung erworben. Die Peter-Pauls-Kirche war einheitlich, wurde aber nach ihrer Übertragung vom Militärministerium zur Diözese zweigeteilt.

Im Jahr 1922 wurde das Gebäude der Kirche dem Haus der Roten Armee für einen Klub übergeben. Anfang der 1940er Jahre wurde der Tempel vollständig abgerissen. Er befand sich an der Ecke der Straßen Sowetskaja und Krasnoznamennaja. Heute befindet sich an dieser Stelle der Platz zu Ehren von Polina Osipenko, einer Pilotin und Heldin der Sowjetunion, wo 1998 zu Ehren des Treffens zweier großer russischer Schriftsteller in Orenburg ein Denkmal für A.S. Puschkin und V.I. Dalj errichtet wurde.