Нижегородский историк и краевед И.А. Милотворский, описывая маршрут Ивана Грозного через Нижегородскую губернию во время его похода на Казань в 1552 году, отмечал, что царь сделал «девятый стан» на берегу реки Пьяны, в четырех верстах от старинного села Черновского. Исследователь также указывал, что в двух верстах от Черновского находится деревня Ниловка, названная в честь одного из Ермоловых, вместо прежнего названия «Никольское». Милотворский утверждал, что в Ниловке есть небольшая деревянная часовня, где хранятся иконы из бывшего здесь когда-то мужского Никольского монастыря, который, вероятно, был упразднен в 1764 году. На месте монастырского храма и была построена эта часовня.

Согласно письменным источникам, все движимое имущество из монастырских зданий и церквей было перенесено в Арзамас, где к тому времени был основан новый женский монастырь с тем же названием, Никольский. В Ниловке остались только иконы, которые были помещены в часовню. Помимо опубликованных материалов Нижегородской губернской архивной комиссии, достоверные сведения о Никольском монастыре приводили и «Нижегородские епархиальные ведомости». В газете от 15 мая 1892 года сообщалось: в приходской деревне Ниловке, ранее называвшейся Никольское, есть небольшое деревянное здание, где хранятся иконы. Ранее вблизи деревни Ниловки находился Никольский мужской монастырь, а на месте, где сейчас стоит это здание, был монастырский храм. Неизвестно, когда и по какой причине монастырь был закрыт; все движимое имущество из монастыря и церкви было перевезено в Арзамас, где был основан новый женский монастырь того же имени; в Ниловке остались лишь несколько икон, которые и находятся в этом здании.