Купец-миллионер фон Филимонов построил в Рыльске несколько крупных зданий. Одним из его первых проектов стал жилой дом на улице Ленина. В конце XVIII века он начал возводить трехэтажное здание с колоннами на высоких пилонах, зубчатым карнизом и фронтоном. Позже этот дом был передан под духовное училище. В начале XX века к нему пристроили большой корпус в ином архитектурном стиле, и теперь старая часть здания заметно отличается от новой. Сейчас в этом здании расположен Рыльский аграрный колледж.

Церковь Кирилла и Мефодия, находившаяся при семинарии (до 1906 года, духовном училище), располагалась на третьем этаже западного крыла здания, построенного в 1876 году. Ее площадь составляла 205 квадратных метров, а снаружи она выделялась главкой. Стены и потолки церкви украшали великолепные фрески художника Ижакевича. Над крышей возвышался купол с луковкой и крестом. Церковь была закрыта вскоре после революции.