В 1779 году село Сергачево получило статус уездного города и было переименовано в Сергач. В это же время епархиальные власти распорядились преобразовать Владимирскую церковь в собор и перенести городское кладбище за пределы города. Кладбище было удалено на полторы версты от собора, что огорчило жителей, так как их усопшие родственники оказались вне церковной ограды, а средств на строительство нового храма у них не было. Решение этой проблемы предложила владелица села Чуфарова Анна Гавриловна Нормацкая. На Чуфаровском кладбище находились две деревянные церкви, и она решила подарить одну из них жителям Сергача. Это была церковь в честь святителя Иоанна Милостивого с приделом святого Иоанна Дамаскина.

Уже в 1834 году, благодаря усилиям священника Иоанна Иоанновича Пустынского, на городском кладбище начали строить каменный храм вместо старой деревянной церкви в честь святителя Иоанна Милостивого. Храм был окружен каменной стеной с караулкой у входа. Средств на строительство у горожан не было, но Иоанн нашел решение: на свои деньги он построил сарай, где наладил производство кирпича, который продавал, а вырученные средства направлял на строительство храма. Весь город принимал участие в строительстве: одни мяли глину, другие обжигали кирпич, третьи собирали дрова. Так общими усилиями был воздвигнут храм. Известно, что сам отец Иоанн скончался 4 января 1848 года и был похоронен на этом же кладбище, напротив алтаря созданной им церкви.