После эпидемии чумы в 1770-1771 годах власти, заботясь о санитарии, запретили захоронения в черте города и перенесли кладбища за Камер-Коллежский вал. Одним из таких кладбищ стало Калитниковское, расположенное за Покровской заставой. В 1773 году здесь была освящена деревянная церковь в честь иконы Божией Матери «Всех скорбящих Радость».

Согласно легенде, название местности связано с тем, что московский князь Иван Калита подарил эту землю Крутицкому подворью, но историки опровергли эту версию. Более вероятно, что здесь жили калитники, мастера, изготавливавшие кожаные сумки и кошели, называвшиеся «калитами». От этого слова произошло и прозвище князя.

Все кладбища, созданные в 1771-1772 годах, имели временные деревянные храмы для отпевания. На Калитниковском кладбище была построена Скорбященская церковь, но в 1776 году она сгорела и была заменена новой деревянной церковью с приделом в честь Боголюбской иконы Божией Матери. Работы велись на пожертвования московского оберполицеймейстера Н.П. Архарова.

В 1834-1838 годах по проекту Н.И. Козловского была построена каменная церковь. На месте алтаря старого деревянного храма установлен памятный столб с Боголюбской иконой Божией Матери.

Основное здание церкви выполнено в стиле ампир: кубическая форма с ротондой, куполом и малой главкой. С запада к нему примыкает трапезная с двумя приделами, Николая Чудотворца и Александра Невского. В 1868 году к церкви была пристроена двухъярусная колокольня на средства купца А.А. Челнокова.

В 1881 году купец И.А. Куприянов финансировал пристройку к колокольне для ризницы. Четырехъярусный иконостас был создан в 1905-1912 годах на средства Н.С. Поманского, тогда же появились настенные росписи по проекту архитектора И.Т. Барютина.

В XIX веке Калитниковское кладбище не считалось престижным, так как рядом находились бойни. Позже рядом появился Нижегородский железнодорожный вокзал со складами и цехами. Поэтому здесь почти нет дворянских захоронений, преобладают купцы и мещане. В северо-восточной части кладбища расположен большой пруд. При кладбище был Дом бесплатного размещения для бедных женщин на 80 человек, созданный И.Я. Купреяновым и А.И. Перловым в память об убийстве императора Александра II.

В XX веке церковь иконы Божией Матери «Всех скорбящих Радость» не закрывалась и сохранила убранство начала столетия.