In kleinen Städten findet man selten so viele alte Gebäude wie in Rylsk. Neben mehreren Häusern aus dem 17. und 18. Jahrhundert kann man hier die Schönheit der orthodoxen Kirchen genießen: der Schutzmantelkirche, der Uspenski-Kirche und der Auferstehungskirche. Am Stadtrand befindet sich ein Kloster, das im 18. Jahrhundert gegründet wurde, mit einem Komplex von Kirchen aus derselben Zeit. Besonders interessant ist die Geschichte der Schutzmantelkathedrale.

Diese Kirche wurde von Grigori Schelichow gegründet, der allen bekannt ist, die sich für die russische Geschichte interessieren. Er stammt aus dem Gebiet Kursk, entdeckte Russisch-Amerika (Alaska) und baute mit seinen Mitteln, die er aus seiner Geschäftstätigkeit in der Russisch-Amerikanischen Gesellschaft erhielt, diese prächtige Kathedrale in seiner Heimatstadt.

Die Kuppeln der Kathedrale erheben sich über die Stadt, und ohne sie wäre Rylsk schwer vorstellbar. Das hohe Gebäude ist aus 10 km Entfernung sichtbar. Die Schutzmantelkirche hat eine runde Form, mit drei Seiten, die durch gerade Wände geschnitten sind, hinter denen Säulen stehen, die Portiken bilden. Auf der östlichen Seite schließt sich die Kolonnade an die Wand des Altares an. Auf der westlichen Seite erhebt sich der Glockenturm auf vier massiven Pfeilern, die drei Eingänge in das Gebäude durch zwei kreuzförmige Korridore bilden. Der südliche Vorbau wurde später angebaut.

Beim Bau wurde Ziegel verwendet, und das Gebäude ist im klassizistischen Stil gehalten, der für diese Epoche charakteristisch ist. Obwohl ähnliche Bauwerke in Russland zu finden sind, beeindruckt der Glockenturm der Kirche mit seiner Höhe von 50 Metern und vielen Ebenen. An der Basis des Glockenturms befinden sich vier Pfeiler, die die Eingänge zur Kirche bilden.

Die Schutzmantelkathedrale beeindruckt mit ihrer Schönheit, besonders bei Sonnenuntergang, wenn die Sonnenstrahlen, die durch den Glockenturm fallen, einen Heiligenschein darüber erzeugen. In der Sowjetzeit wurde die Kirche nicht aufgegeben, und heute finden dort weiterhin Gottesdienste statt.