La iglesia de la Ascensión del Señor fue construida en 1866. Según los registros clericales de 1915, su construcción fue posible gracias a los esfuerzos de los comerciantes Iván Stefanovich Demenkov y Nikifor Gavrilovich Kamenkov, así como a los intereses del depósito del consejero comercial Grigori Ivanovich Shelekhov y las donaciones de otros benefactores.

La iglesia se destaca por su apariencia exterior y arquitectura entre otros templos de Rylsk. Su base y el propio templo están diseñados en forma de un cuerpo que recuerda a un arca. Probablemente, este diseño fue elegido en honor al gran navegante. El templo de siete cúpulas se ve hermoso y majestuoso desde todos los ángulos. En el interior, el iconostasio fue hecho de ladrillo y decorado con elementos tallados en madera, como marcos, cintas, cornisas y semicolumnas. Las puertas reales con imágenes de ángeles estaban cubiertas de dorado. El edificio fue enlucido y pintado de blanco, y las cúpulas estaban cubiertas de acero estañado y pintadas de azul. Las cúpulas doradas y las cruces, que se elevan hacia el cielo, le dan a la iglesia una belleza y grandeza especial.

En los años treinta del siglo XX, la iglesia de la Ascensión se utilizó como almacén del comité de la ciudad. Desde 1942 hasta marzo de 1943, se celebraron servicios en la iglesia con el permiso del mando alemán. Después de la liberación de Rylsk de los ocupantes, la iglesia fue cerrada nuevamente: se desmontaron los pisos de madera, se quitaron los marcos y las puertas reales del altar. La iglesia se volvió a usar como almacén de materiales de construcción. En 1985, las autoridades de la ciudad decidieron restaurar la iglesia y utilizarla como galería de arte. Durante la reconstrucción, se planeaba desmantelar el altar de ladrillo, remodelar el vestíbulo para convertirlo en un vestidor, y usar el campanario como almacén.

En octubre de 1990, la iglesia fue entregada a la Iglesia Ortodoxa Rusa, y desde 1991 se reanudaron los servicios en la iglesia de la Ascensión.