Приход церкви в честь Святых Афанасия и Кирилла Александрийских существовал в Пушкарной слободе уже в XVI веке. Рядом с церковью находилось кладбище.

В 1750 году был построен новый деревянный храм. В 1800 году на средства купца Андриана Илларионовича Богомолова на месте деревянного храма возвели каменный, с двумя приделами в трапезной: в честь Владимирской иконы Божией Матери и Святых Мучеников Андриана и Натальи. В 1875 году трапезную расширили и соединили с 25-метровой колокольней, которая до наших дней не сохранилась.

Кирпичная церковь, выполненная в стиле классицизма, представляет собой трёхсветный одноглавый четверик с трапезной, в которой находились Владимирский и Адриано-Наталиевский приделы, и колокольней. Трапезная была расширена в 1875 году. В 1930 году церковь закрыли, колокольню снесли, а здание использовали как склад. В 2007 году храм был отреставрирован.

Церковь Святых Афанасия и Кирилла Александрийских закрыли в 1930 году, и она использовалась как склад пенькозавода. В 1989 году Орловским реставрационным участком была восстановлена главка церкви. В настоящее время фасад храма отреставрирован силами компании «Орелстрой».