Первая церковь на кладбище села Коврово была деревянной и посвящена Покрову Пресвятой Богородицы. В XVII веке при этой церкви существовал придел в честь святого Иоанна Рыльского, но к концу века церковь исчезла. Новый храм на городском кладбище Коврова построили в 1780-х годах и освятили в честь святого великомученика Иоанна-Воина. Эта церковь также была деревянной, не имела собственного причта и была приписана к Христорождественскому храму города. С течением времени она обветшала, и к началу XIX века возникла необходимость в новом храме. В октябре 1810 года титулярный советник Пётр Борисович Ошанин и ковровский мещанин Иван Фёдорович Апарин обратились во Владимирскую духовную консисторию с просьбой разрешить строительство каменной церкви. Ошанин пожертвовал 1000 рублей, а Апарин 500. Епархиальное начальство поручило священнику Александру Михайловичу Широкогорову осмотреть старую церковь и подтвердить необходимость строительства. В своём отчёте Широкогоров отметил, что церковь ветхая и портит вид города. Консистория обратилась к епископу Владимирскому и Суздальскому Ксенофонту за разрешением на строительство. В феврале 1811 года епископ дал разрешение на строительство каменной церкви с приделом, оставив старую деревянную до завершения строительства новой. Храмозданная грамота была подписана 1 марта.

Проект нового каменного храма разработал владимирский губернский архитектор Александр Никитич Вершинский. В 1812 году его сменил Евграф Яковлевич Петров, который изменил проект после начала строительства весной 1811 года.

В 1994 году храм был возвращён Церкви. После реставрации он вновь открыт для прихожан. Во время восстановительных работ был найден памятник с могилы богатого фабриканта Ивана Андреевича Треумова. Сейчас этот надгробный камень установлен у северо-востока алтаря бывшего кладбищенского храма. В 1946 году в парке Пушкина был похоронен известный конструктор-оружейник Василий Алексеевич Дегтярёв. Это, пожалуй, единственная достопримечательность бывшего кладбища. Парк Пушкина не стал популярным местом отдыха, и ковровчане часто проходят мимо стен Иоанно-Воиновской церкви, не зная, что идут по земле своих предков.

В 2006 году на месте входной часовни над могилами князей Ковровых был установлен православный крест, символический памятник многим поколениям ковровчан, нашедших покой на кладбище при церкви святого великомученика Иоанна-Воина.