En el siglo XIX, detrás de la puerta de Pokrovskaya se encontraba la antigua aldea de Kalitniki, nombrada en honor al gran príncipe de Moscú Iván Kalita. Detrás de la aldea se extendían los pantanos de Karacharovskoye y Sukino. Según otra versión, el nombre de la aldea está relacionado con el cercano arroyo Kalitnikovsky.

En 1771, durante la epidemia de peste, se fundó el cementerio Kalitnikovskoye, que se convirtió en el más "rural" de todos los entierros por peste en la ciudad.

El cementerio tiene su origen en el monasterio de Simón, donde en 1771 se organizó una cuarentena por la peste. Los monjes fallecidos eran llevados más allá de la puerta de Pokrovskaya para ser enterrados fuera de la ciudad. Con el tiempo, aquí surgió un cementerio de la ciudad.

En el cementerio se enterraba principalmente a campesinos locales, pobres y trabajadores. Las tumbas estaban situadas alrededor de la iglesia de madera de la imagen de la Virgen de Bogolyubskaya. Monumentos de mármol y piedra aparecieron aquí en la segunda mitad del siglo XIX.

Después del incendio de la iglesia de madera en 1834 y 1838, se construyó un templo de piedra en un nuevo lugar, diseñado por el arquitecto Nikolai Kozlovsky. Este fue dedicado a la imagen de la Madre de Dios de Todos los Que Lloran y tenía capillas de Nicolás el Milagroso y Alejandro Nevski en estilo imperio. En 1881, el arquitecto V. Verigin reconstruyó el templo, y la cerca del cementerio fue creada por el arquitecto N. Markov.

En la época soviética, la iglesia de Todos los Que Lloran se convirtió en un importante templo de los renovadores, donde a menudo oficiaba el metropolitano Alexander Vvedensky, enterrado detrás del ábside. Alrededor de la iglesia se encuentran las tumbas de otros clérigos y de la anciana beata, la madre Olga, venerada por los creyentes.

Durante el período soviético, comenzaron a enterrar en el cementerio a artistas, músicos, científicos y arquitectos. La sepultura más significativa es la de la artista del pueblo de la URSS, Yevdokiya Turchaninova, quien interpretó más de 70 papeles en las obras de Alexander Ostrovsky. También descansa aquí el artista vanguardista Robert Falk, uno de los fundadores de la asociación "Bubnovy Valet". En la parte central del cementerio se encuentra el monumento-capilla del arquitecto Afanasy Grigoriev, cuyo proyecto construyó la casa Lopukhina en Prechistenka, actualmente el museo de León Tolstói, y la mansión de los Khrushchyovs, donde se encuentra el museo de Pushkin.

Aquí también está enterrado el arquitecto Fyodor Shestakov, creador de los almacenes de provisiones en la plaza Krymskaya y la campanario de la iglesia de Nicolás el Milagroso en Tolmachi. La tumba del autor del monumento a Alexander Pushkin en el bulevar Tverskoy, Alexander Opekushin, también se encuentra aquí.

Entre otras personalidades conocidas enterradas en el cementerio Kalitnikovskoye están el periodista asesinado y exespía Vadim Biryukov, la legendaria espía soviética Yelizaveta Zarubina y el literato Félix Kuznetsov.