Le marchand millionnaire von Filimonov a construit plusieurs grands bâtiments à Rylsk. L'un de ses premiers projets fut un immeuble résidentiel sur la rue Lénine. À la fin du XVIIIe siècle, il a commencé à ériger un bâtiment de trois étages avec des colonnes sur de hauts pylônes, une corniche dentelée et un fronton. Plus tard, cette maison a été transformée en séminaire spirituel. Au début du XXe siècle, un grand corps a été ajouté dans un autre style architectural, et maintenant la vieille partie du bâtiment se distingue nettement de la nouvelle. Actuellement, ce bâtiment abrite le collège agricole de Rylsk.

L'église de Cyrille et Méthode, qui se trouvait au séminaire (jusqu'en 1906, séminaire spirituel), était située au troisième étage de l'aile ouest du bâtiment, construit en 1876. Sa superficie était de 205 mètres carrés, et à l'extérieur, elle se distinguait par son bulbe. Les murs et les plafonds de l'église étaient ornés de magnifiques fresques de l'artiste Ijakievitch. Au-dessus du toit se dressait un dôme avec un bulbe et une croix. L'église a été fermée peu après la révolution.