La primera iglesia en el cementerio del pueblo de Kovrovo era de madera y estaba dedicada a la Protección de la Santísima Virgen María. En el siglo XVII, existía un altar en honor a San Juan de Rila, pero al final del siglo la iglesia desapareció. La nueva iglesia en el cementerio de la ciudad de Kovrov fue construida en la década de 1780 y consagrada en honor al gran mártir Juan el Guerrero. Esta iglesia también era de madera, no tenía su propio clero y estaba adscrita a la iglesia de la Natividad de Cristo de la ciudad. Con el tiempo, se deterioró, y a principios del siglo XIX surgió la necesidad de una nueva iglesia. En octubre de 1810, el consejero titular Piotr Borisovich Oshanin y el comerciante de Kovrov Ivan Fyodorovich Aparin se dirigieron a la consistorio espiritual de Vladimir con la solicitud de permitir la construcción de una iglesia de piedra. Oshanin donó 1000 rublos, y Aparin 500. La autoridad diocesana encargó al sacerdote Alexander Mikhailovich Shirokogorov que inspeccionara la antigua iglesia y confirmara la necesidad de la construcción. En su informe, Shirokogorov señaló que la iglesia estaba en ruinas y estropeaba la vista de la ciudad. La consistorio se dirigió al obispo de Vladimir y Suzdal, Ksenofont, para solicitar permiso para la construcción. En febrero de 1811, el obispo dio permiso para construir una iglesia de piedra con un altar, manteniendo la antigua de madera hasta que se completara la nueva. El decreto de construcción fue firmado el 1 de marzo.

El proyecto de la nueva iglesia de piedra fue desarrollado por el arquitecto provincial de Vladimir, Alexander Nikitich Vershinsky. En 1812, fue reemplazado por Yevgraf Yakovlevich Petrov, quien modificó el proyecto después de que comenzara la construcción en la primavera de 1811.

En 1994, la iglesia fue devuelta a la Iglesia. Después de la restauración, se reabrió para los feligreses. Durante los trabajos de restauración, se encontró una lápida de la tumba del rico fabricante Ivan Andreyevich Treumov. Actualmente, esta piedra funeraria está instalada en el noreste del altar de la antigua iglesia del cementerio. En 1946, el conocido diseñador de armas Vasily Alekseevich Degtyaryov fue enterrado en el parque Pushkin. Esta es, quizás, la única atracción del antiguo cementerio. El parque Pushkin no se convirtió en un lugar popular de descanso, y los habitantes de Kovrov a menudo pasan junto a las paredes de la iglesia de Juan el Guerrero, sin saber que caminan sobre la tierra de sus antepasados.

En 2006, se instaló una cruz ortodoxa en el lugar de la capilla de entrada sobre las tumbas de los príncipes Kovrov, un monumento simbólico a muchas generaciones de kovrovianos que encontraron descanso en el cementerio de la iglesia del gran mártir Juan el Guerrero.