Der Millionärshändler von Filimonov baute in Rylsk mehrere große Gebäude. Eines seiner ersten Projekte war ein Wohnhaus in der Lenin-Straße. Ende des 18. Jahrhunderts begann er mit dem Bau eines dreigeschossigen Gebäudes mit Säulen auf hohen Pfeilern, einem gezahnten Gesims und einem Giebel. Später wurde dieses Haus in ein geistliches Seminar umgewandelt. Zu Beginn des 20. Jahrhunderts wurde ein großer Anbau in einem anderen architektonischen Stil hinzugefügt, und nun unterscheidet sich der alte Teil des Gebäudes deutlich vom neuen. Heute befindet sich in diesem Gebäude das Rylsker Agrarcollege.

Die Kirche von Kyrill und Methodius, die sich beim Seminar (bis 1906, geistliches Seminar) befand, lag im dritten Stock des westlichen Flügels des 1876 erbauten Gebäudes. Ihre Fläche betrug 205 Quadratmeter, und von außen fiel sie durch die Kuppel auf. Die Wände und Decken der Kirche waren mit prächtigen Fresken des Künstlers Izakevich geschmückt. Über dem Dach erhob sich eine Kuppel mit einer Zwiebelhaube und einem Kreuz. Die Kirche wurde kurz nach der Revolution geschlossen.