Au XIXe siècle, derrière la barrière de Pokrovskaya se trouvait le vieux village de Kalitniki, nommé d'après le grand prince de Moscou Ivan Kalita. Derrière le village s'étendaient les marais de Karacharovsky et de Sukino. Selon une autre version, le nom du village est lié au ruisseau voisin de Kalitnikovsky.

En 1771, pendant l'épidémie de peste, le cimetière de Kalitnikovo a été fondé, devenant le plus « rural » de tous les enterrements de peste de la ville.

Le cimetière prend son origine au monastère de Simonov, où en 1771 une quarantaine de peste a été organisée. Les moines décédés étaient transportés au-delà de la barrière de Pokrovskaya pour être enterrés en dehors de la ville. Avec le temps, un cimetière urbain y est apparu.

Au cimetière, on enterrait principalement des paysans locaux, des pauvres et des ouvriers. Les tombes étaient situées autour de l'église en bois de l'icône de la Vierge Marie de Bogolyubskaya. Des monuments en marbre et en pierre sont apparus ici dans la seconde moitié du XIXe siècle.

Après l'incendie de l'église en bois en 1834 et 1838, un nouveau temple en pierre a été construit à un autre endroit selon le projet de l'architecte Nikolai Kozlovsky. Il était dédié à l'icône de la Mère de Dieu de Tous les Affligés et avait des chapelles de Nicolas le Miraculeux et d'Alexandre Nevski dans le style Empire. En 1881, l'architecte V. Verigin a reconstruit le temple, et la clôture du cimetière a été créée par l'architecte N. Markov.

À l'époque soviétique, l'église de Tous les Affligés est devenue un temple important pour les rénovateurs, où le métropolite Alexandre Vvedensky, enterré derrière l'abside, officiait souvent. Autour de l'église se trouvent les tombes d'autres clercs et de la bienheureuse vieille moniale mère Olga, vénérée par les croyants.

Pendant la période soviétique, des artistes, des musiciens, des scientifiques et des architectes ont commencé à être enterrés au cimetière. La sépulture la plus significative est celle de l'artiste du peuple de l'URSS Evdokia Turchaninova, qui a joué plus de 70 rôles dans les pièces d'Alexandre Ostrovski. On y trouve également le peintre avant-gardiste Robert Falk, l'un des fondateurs de l'association « Valet de Pique ». Dans la partie centrale du cimetière se trouve le monument-chapelle de l'architecte Afanasy Grigoryev, dont le projet a permis la construction de la maison Lopukhina sur Prechistenka, aujourd'hui musée de Léon Tolstoï, et du domaine des Khrouchtchev, où se trouve le musée Pouchkine.

L'architecte Fiodor Shestakov, qui a créé les entrepôts de provisions sur la place Krymskaya et le clocher de l'église de Nicolas le Miraculeux à Tolmachi, y est également enterré. La tombe de l'auteur du monument à Alexandre Pouchkine sur le boulevard Tverskoy, Alexandre Opekushin, se trouve également ici.

Parmi d'autres personnalités célèbres enterrées au cimetière de Kalitnikovo, on trouve le journaliste tué et ancien espion Vadim Biryukov, la légendaire espionne soviétique Elizaveta Zarubina et le littéraire Félix Kouznetsov.