В небольших городах редко можно встретить такое количество старинных зданий, как в Рыльске. Помимо нескольких домов XVII и XVIII веков, здесь можно насладиться красотой православных храмов: Покровского, Успенского и Вознесенской церкви. На окраине города находится монастырь, основанный в XVIII веке, с комплексом церквей того же периода. Особенно интересна история Покровского собора.

Этот храм был заложен Григорием Шелиховым, известным всем, кто интересуется русской историей. Уроженец курской земли, он открыл Русскую Америку (Аляску) и на свои средства, полученные от предпринимательской деятельности в Российско-Американской компании, построил этот великолепный собор в родном городе.

Купола собора возвышаются над городом, и без них Рыльск было бы трудно представить. Высокое сооружение видно за 10 км от города. Покровская церковь имеет круглую форму, с тремя сторонами, срезанными прямыми стенами, за которыми стоят колонны, образующие портики. С восточной стороны колоннада примыкает к стене алтаря. С западной стороны возвышается колокольня на четырех массивных пилонах, образующих три входа в здание через два крестообразных коридора. Южная паперть была пристроена позже.

При строительстве использовался кирпич, а здание выполнено в стиле классицизма, характерном для той эпохи. Хотя подобные сооружения встречаются в России, колокольня храма поражает своей высотой в 50 метров и множеством ярусов. В основании колокольни находятся четыре пилона, образующие входы в храм.

Покровский собор поражает своей красотой, особенно на закате, когда лучи солнца, проходя через колокольню, создают над ней нимб. В советское время храм не был заброшен, и сегодня в нем продолжаются службы.