El comerciante millonario von Filimonov construyó varios edificios grandes en Rylsk. Uno de sus primeros proyectos fue un edificio residencial en la calle Lenin. A finales del siglo XVIII, comenzó a erigir un edificio de tres pisos con columnas sobre altos pilones, un cornisa dentada y un frontón. Más tarde, esta casa fue destinada a un seminario espiritual. A principios del siglo XX, se le añadió un gran cuerpo en un estilo arquitectónico diferente, y ahora la parte antigua del edificio se diferencia notablemente de la nueva. Actualmente, en este edificio se encuentra el Colegio Agrario de Rylsk.

La iglesia de Cirilo y Metodio, que estaba asociada al seminario (hasta 1906, seminario espiritual), se ubicaba en el tercer piso del ala oeste del edificio, construido en 1876. Su superficie era de 205 metros cuadrados, y por fuera se destacaba por su cúpula. Las paredes y techos de la iglesia estaban decorados con magníficos frescos del artista Izhakevich. Sobre el techo se alzaba una cúpula con una linterna y una cruz. La iglesia fue cerrada poco después de la revolución.