В XIX веке за Покровской заставой находилось старинное село Калитники, названное в честь великого князя московского Ивана Калиты. За селом простирались болота Карачаровское и Сукино. По другой версии, название села связано с соседним Калитниковским ручьем.

В 1771 году, во время эпидемии чумы, было основано Калитниковское кладбище, которое стало самым «сельским» из всех чумных захоронений в городе.

Кладбище берет начало от Симонова монастыря, где в 1771 году был организован чумной карантин. Умерших монахов вывозили за Покровскую заставу для захоронения за пределами города. Со временем здесь появилось общегородское кладбище.

На кладбище в основном хоронили местных крестьян, бедняков и рабочих. Могилы располагались вокруг деревянной церкви Боголюбской иконы Пресвятой Богородицы. Мраморные и каменные памятники появились здесь во второй половине XIX века.

После пожара деревянной церкви в 1834 и 1838 годах на новом месте был построен каменный храм по проекту архитектора Николая Козловского. Он был посвящен иконе Богоматери Всех Скорбящих Радость и имел приделы Николая Чудотворца и Александра Невского в стиле ампир. В 1881 году архитектор В. Веригин перестроил храм, а ограду кладбища создал архитектор Н. Марков.

В советское время Всехскорбященская церковь стала важным храмом обновленцев, где часто служил митрополит Александр Введенский, похороненный за апсидой. Вокруг церкви находятся могилы других священнослужителей и Блаженной старицы схимонахини матушки Ольги, почитаемой верующими.

В советский период на кладбище начали хоронить артистов, музыкантов, ученых и архитекторов. Самым значительным захоронением считается могила народной артистки СССР Евдокии Турчаниновой, сыгравшей более 70 ролей в пьесах Александра Островского. Здесь же покоится художник-авангардист Роберт Фальк, один из основателей объединения «Бубновый валет». В центральной части кладбища расположен монумент-часовня архитектора Афанасия Григорьева, по проекту которого на Пречистенке построен дом Лопухиной, ныне музей Льва Толстого, и усадьба Хрущевых, где находится музей Пушкина.

Здесь также похоронен архитектор Федор Шестаков, создавший Провиантские склады на Крымской площади и колокольню церкви Николая Чудотворца в Толмачах. Могила автора памятника Александру Пушкину на Тверском бульваре, Александра Опекушина, также находится здесь.

Среди других известных личностей, похороненных на Калитниковском кладбище, убитый журналист и бывший разведчик Вадим Бирюков, легендарная советская разведчица Елизавета Зарубина и литературовед Феликс Кузнецов.