En pequeñas ciudades rara vez se puede encontrar tal cantidad de edificios antiguos como en Rylsk. Además de varias casas de los siglos XVII y XVIII, aquí se puede disfrutar de la belleza de las iglesias ortodoxas: la iglesia de la Protección, la de la Asunción y la de la Ascensión. En las afueras de la ciudad se encuentra un monasterio, fundado en el siglo XVIII, con un complejo de iglesias de la misma época. La historia de la catedral de la Protección es especialmente interesante.

Este templo fue fundado por Grigori Shelikhov, conocido por todos los que se interesan en la historia rusa. Nacido en la tierra de Kursk, descubrió América Rusa (Alaska) y con sus propios medios, obtenidos de su actividad empresarial en la Compañía Ruso-Americana, construyó esta magnífica catedral en su ciudad natal.

Las cúpulas de la catedral se elevan sobre la ciudad, y sin ellas sería difícil imaginar Rylsk. La alta estructura es visible a 10 km de la ciudad. La iglesia de la Protección tiene forma redonda, con tres lados cortados por paredes rectas, detrás de las cuales se encuentran columnas que forman pórticos. En el lado oriental, la columnata se adhiere a la pared del altar. En el lado occidental se eleva el campanario sobre cuatro masivos pilares, que forman tres entradas al edificio a través de dos pasillos en forma de cruz. El pórtico sur fue añadido más tarde.

En la construcción se utilizó ladrillo, y el edificio está realizado en un estilo neoclásico, característico de esa época. Aunque estructuras similares se encuentran en Rusia, el campanario del templo impresiona por su altura de 50 metros y sus múltiples niveles. En la base del campanario hay cuatro pilares que forman las entradas al templo.

La catedral de la Protección impresiona por su belleza, especialmente al atardecer, cuando los rayos del sol, al pasar por el campanario, crean un nimbo sobre él. En la época soviética, el templo no fue abandonado, y hoy en día continúan los servicios en él.