Die Kirche der Himmelfahrt des Herrn wurde 1866 erbaut. Laut den Kirchenakten von 1915 wurde ihr Bau dank der Bemühungen der Kaufleute Ivan Stefanovich Demenkov und Nikifor Gavrilovich Kamenkov sowie durch Zinsen aus der Einlage des Handelsberaters Grigory Ivanovich Shelekhov und Spenden anderer Wohltäter realisiert.

Die Kirche hebt sich durch ihr äußeres Erscheinungsbild und ihre Architektur von anderen Kirchen in Rylsk ab. Ihr Fundament und die Kirche selbst sind in Form eines Körpers gestaltet, der an eine Arche erinnert. Wahrscheinlich wurde dieser Plan zu Ehren des großen Seefahrers gewählt. Die siebenkuppelige Kirche sieht von allen Seiten schön und majestätisch aus. Im Inneren wurde der Ikonostase aus Ziegeln gefertigt und mit geschnitzten Holzelementen wie Fensterrahmen, Bändern, Gesimsen und Halbsäulen verziert. Die Königlichen Tore mit Darstellungen von Engeln waren vergoldet. Das Gebäude wurde verputzt und weiß gestrichen, während die Kuppeln mit verzinntem Stahl bedeckt und blau gestrichen wurden. Die vergoldeten Kuppeln und Kreuze, die in die Höhe ragen, verleihen der Kirche eine besondere Schönheit und Majestät.

In den dreißiger Jahren des 20. Jahrhunderts wurde die Himmelfahrtskirche als Lager für den Stadtbauhof genutzt. Von 1942 bis März 1943 fanden in der Kirche Gottesdienste mit Genehmigung des deutschen Kommandos statt. Nach der Befreiung von Rylsk von den Besatzern wurde die Kirche erneut geschlossen: Die Holzböden wurden abgerissen, die Fensterrahmen und die Königlichen Tore des Altars entfernt. Die Kirche wurde wieder als Lager für Baumaterialien genutzt. 1985 beschlossen die Stadtbehörden, die Kirche zu restaurieren und als Kunstgalerie zu nutzen. Im Zuge der Rekonstruktion war geplant, den Ziegelaltar abzureißen, den Vorraum umzubauen und dort einen Umkleideraum einzurichten, während der Glockenturm als Lager genutzt werden sollte.

Im Oktober 1990 wurde die Kirche der Russisch-Orthodoxen Kirche übergeben, und seit 1991 wurden die Gottesdienste in der Himmelfahrtskirche wieder aufgenommen.