Здание было возведено в 1786-1788 годах для проживания вице-губернатора, согласно первому регулярному плану города, и формировало восточную часть главной административной площади кремля. Изначально планировалось, что эта сторона будет застроена единым фасадом, подобным Присутственным местам, где дом вице-губернатора должен был составлять южную половину, а соседний губернаторский дом, северную. Эти здания должна была соединять арка, через которую предполагался проезд к Спасо-Преображенскому собору. Однако реализован был только вице-губернаторский дом, а арка осталась незавершенной.

Проект дома приписывают первому нижегородскому губернскому архитектору Я.А. Ананьину, хотя до сих пор не найдено ни одного чертежа с его подписью. Здание имело узкую П-образную форму с небольшим расширением в центре со стороны двора. К основному корпусу примыкал одноэтажный хозяйственный корпус, образуя замкнутое пространство двора, въезд в который осуществлялся через арку с северной стороны. Это видно на плане кремля 1798 года. После пожара в 1809 году в корпусе Присутственных мест они были перенесены в это здание и оставались там до 1917 года. Лишь в зимние месяцы 1812-1813 годов, во время Отечественной войны 1812 года, в доме размещались чиновники трех московских департаментов Правительствующего Сената. В первой половине XIX века дом неоднократно ремонтировался, но в основном сохранил свой первоначальный внешний вид. В 1825-1827 годах нижегородский губернский архитектор И.Е. Ефимов расширил корпус, добавив несколько помещений к южному и дворовому фасадам и организовав дополнительный третий этаж за счет высоты второго. При этом он сохранил архитектурный декор и общий двухэтажный вид главного фасада, обращенного на площадь. На плане кремля 1853 года дом имеет четкую П-образную форму с замкнутым двором.

С 1917 года здание используется как административное. В 1996 году в нем разместился арбитражный суд Нижегородской области.