Музей был торжественно открыт 7 мая 1967 года. В 1979 году его перенесли в старинное каменное здание на улице Ленинской, принадлежавшее купцу Высокосову. В 1980 году расширили старые экспозиции и создали новые. В 1984 году музей получил звание народного, а в 1988 году был удостоен почетной грамоты от областного управления культуры. В 1992 году он стал государственным.

В том же 1992 году к старому зданию дома купца Высокосова, построенному в конце XIX века, пристроили новую часть, аналогичную по форме. Здесь открылся новый музей. К весне 1990 года музей стал филиалом Арзамасского краеведческого музея. За значительный вклад в сохранение истории региона и заслуги перед сергачским народом, по решению губернатора Нижегородской области Немцова Б. Е. от 22 февраля 1994 года, Сергачскому краеведческому музею присвоили имя его основателя Громова В. А.

Краеведческий музей имени В. А. Громова служит не только хранилищем экспонатов, но и культурно-просветительным центром, местом общения для жителей Сергача и окрестных районов. Здесь проводятся разнообразные мероприятия: от традиционных экскурсий и встреч с известными людьми для школьников и городской интеллигенции до театрализованных представлений с участием местных артистов. Экскурсии проводятся не только по постоянным экспозициям и тематическим выставкам, но и выездные по заявкам школ и организаций города.

В музее находятся 7 экспозиционных и 2 выставочных зала. Тематика экспозиций включает геологическое прошлое, промыслы Сергачского уезда, уголок крестьянской избы, интерьер дворянской комнаты, Русь православную, «Дорогами войны», «Славна земля Сергачская», «Медвежий угол Нижегородчины». Сотрудники музея занимаются научно-исследовательской деятельностью, публикуются в различных изданиях, оказывают методическую помощь в подготовке рефератов и дипломных работ, собирают информацию о селах и зданиях города. Они активно сотрудничают с районной библиотекой, РКЦД, ДХШ, ДМШ и другими учреждениями.