Im 19. Jahrhundert befand sich hinter dem Pokrowski-Tor das alte Dorf Kalitniki, benannt nach dem Großfürsten von Moskau, Ivan Kalita. Hinter dem Dorf erstreckten sich die Sümpfe von Karacharovo und Sukino. Nach einer anderen Version ist der Name des Dorfes mit dem benachbarten Kalitnikovo-Bach verbunden.

Im Jahr 1771, während einer Pestepidemie, wurde der Kalitnikovo Friedhof gegründet, der zum "ländlichsten" aller Pestbegräbnisse in der Stadt wurde.

Der Friedhof hat seinen Ursprung im Simonow-Kloster, wo 1771 eine Pestquarantäne organisiert wurde. Verstorbene Mönche wurden hinter das Pokrowski-Tor gebracht, um außerhalb der Stadt beerdigt zu werden. Im Laufe der Zeit entstand hier ein städtischer Friedhof.

Auf dem Friedhof wurden hauptsächlich lokale Bauern, Arme und Arbeiter beerdigt. Die Gräber lagen rund um die hölzerne Kirche der Gottesmutter von Bogolyubskaja. Marmor- und Steindenkmäler erschienen hier in der zweiten Hälfte des 19. Jahrhunderts.

Nach dem Brand der hölzernen Kirche in den Jahren 1834 und 1838 wurde an neuer Stelle ein steinernes Gotteshaus nach den Entwürfen des Architekten Nikolai Kozlovsky erbaut. Es war der Ikone der Gottesmutter von Allen Trauernden gewidmet und hatte Kapellen für Nikolaus von Myra und Alexander Newski im Empire-Stil. Im Jahr 1881 wurde die Kirche von dem Architekten V. Verigin umgebaut, und die Umzäunung des Friedhofs wurde von dem Architekten N. Markov geschaffen.

In der Sowjetzeit wurde die Kirche von Allen Trauernden zu einem wichtigen Gotteshaus der Erneuerer, in dem oft Metropolit Alexander Wedenjski diente, der hinter der Apsis beerdigt wurde. Rund um die Kirche befinden sich Gräber anderer Geistlicher und der seligen alten Nonne Mutter Olga, die von den Gläubigen verehrt wird.

In der sowjetischen Zeit begann man, Künstler, Musiker, Wissenschaftler und Architekten auf dem Friedhof zu beerdigen. Das bedeutendste Grab ist das der Volkskünstlerin der UdSSR, Jewdokija Turtschaninowa, die über 70 Rollen in den Stücken von Alexander Ostrowski spielte. Hier ruht auch der Avantgarde-Künstler Robert Falk, einer der Gründer der Vereinigung "Bubnowy Walet". Im zentralen Teil des Friedhofs befindet sich das Denkmal-Kapelle des Architekten Afanasij Grigorjew, nach dessen Entwurf das Haus von Lopuchina an der Prechistenka gebaut wurde, das heute das Leo-Tolstoi-Museum ist, sowie das Anwesen der Chruschtschows, in dem sich das Puschkin-Museum befindet.

Hier ist auch der Architekt Fedor Shestakov beerdigt, der die Proviantlager am Krimplatz und den Glockenturm der Nikolaus von Myra-Kirche in Tolmachi geschaffen hat. Das Grab des Autors des Denkmals für Alexander Puschkin am Tverskoy-Boulevard, Alexander Opekushin, befindet sich ebenfalls hier.

Unter den anderen bekannten Persönlichkeiten, die auf dem Kalitnikovo Friedhof beerdigt sind, sind der ermordete Journalist und ehemalige Geheimdienstler Wadim Birjukow, die legendäre sowjetische Spionin Jelizaweta Sarubina und der Literaturwissenschaftler Felix Kuznetsov.