Dans les petites villes, il est rare de rencontrer autant de bâtiments anciens qu'à Rylsk. En plus de plusieurs maisons des XVIIe et XVIIIe siècles, on peut y apprécier la beauté des églises orthodoxes : l'église de la Protection, l'église de l'Assomption et l'église de l'Ascension. En périphérie de la ville se trouve un monastère, fondé au XVIIIe siècle, avec un complexe d'églises de la même époque. L'histoire de la cathédrale de la Protection est particulièrement intéressante.

Ce temple a été fondé par Grigori Chelikhov, connu de tous ceux qui s'intéressent à l'histoire russe. Originaire de la terre de Koursk, il a découvert l'Amérique russe (l'Alaska) et a construit cette magnifique cathédrale dans sa ville natale avec ses propres fonds, obtenus grâce à son activité commerciale dans la Compagnie russo-américaine.

Les dômes de la cathédrale s'élèvent au-dessus de la ville, et sans eux, Rylsk serait difficile à imaginer. La haute structure est visible à 10 km de la ville. L'église de la Protection a une forme ronde, avec trois côtés aux murs droits, derrière lesquels se trouvent des colonnes formant des portiques. Du côté est, la colonnade est adjacente au mur de l'autel. Du côté ouest se dresse le clocher sur quatre puissants piliers, formant trois entrées dans le bâtiment à travers deux couloirs en croix. Le porche sud a été ajouté plus tard.

La construction a utilisé des briques, et le bâtiment est réalisé dans le style classique, caractéristique de cette époque. Bien que des structures similaires se rencontrent en Russie, le clocher de l'église impressionne par sa hauteur de 50 mètres et ses nombreux niveaux. À la base du clocher se trouvent quatre piliers, formant les entrées de l'église.

La cathédrale de la Protection impressionne par sa beauté, surtout au coucher du soleil, lorsque les rayons du soleil, passant à travers le clocher, créent un nimbe au-dessus de celui-ci. À l'époque soviétique, le temple n'a pas été abandonné, et aujourd'hui, des services continuent d'y être célébrés.