Часовня-усыпальница была построена в 1818 году по благословению епископа Нижегородского и Арзамасского Моисея Платонова на средства помещика Евграфа Лебедева. Здание представляло собой каменное сооружение квадратной формы с двумя окнами и решетками на северной и южной сторонах, а вход располагался с западной стороны. Часовня была увенчана куполом с крестом и возведена над могилой священнослужителя церкви, посвященной иконе «Софии, Премудрости Божией», Петра Дмитриева.

Петр Дмитриев родился в 1734 году в селе Каменки в семье диакона, служившего в местном храме. С юных лет он посвятил свою жизнь служению Богу, став пономарем в этом храме. Для уединенных молитв и поста Петр уходил в лес за несколько верст от села, где у него была выкопана пещера в глухом овраге рядом с родником, известным как «Золотой ключ». Сельчане часто приходили к нему за духовными советами и утешением, а также его почитали приезжие из других городов. Петр Дмитриев активно помогал жителям села Каменки в строительстве каменной церкви в честь иконы «Софии, Премудрости Божией».

Петр Дмитриев скончался в 1814 году в возрасте 80 лет и был похоронен у храма, о котором заботился. Через четыре года на его могиле была построена часовня, где перед образами святых горела неугасимая лампада и еженедельно проводились панихиды.

В 1930-е годы часовня была разрушена. Ее восстановление началось по благословению Митрополита Георгия Нижегородского и Арзамасского с молебна и крестного хода православных верующих 17 июня 2012 года.