Каменная церковь на кладбище, посвященная Иоанну Милостивому, была построена в 1830-х годах благодаря стараниям благотворителей и заботам уважаемого священника, память о котором жива до сих пор. Здание отличалось красивой архитектурой и достойной внутренней отделкой.

Ранее на новом кладбище, расположенном в полутора верстах от города, стояла деревянная церковь. Со временем она обветшала. Эта церковь была подарена Анной Гавриловной Нормацкой, владелицей села Чуфарово, так как у жителей Сергача не было средств на строительство кладбищенского храма.