Скромное здание флигеля скрыто в глубине участка и не видно с улицы. Его заслоняют два основных усадебных флигеля, расположенные вдоль красной линии улицы, формируя парадный двор городской усадьбы.

Между тем, строение 3 является частью хорошо сохранившегося исторического владения, известного еще с конца XVII века, когда здесь находился двор, предположительно принадлежавший купцу Г.И. Парфенову. В нынешней средней части Главного дома сохранились два помещения рубежа XVII и XVIII веков: белокаменная палата с кирпичным сводом и примыкающие к ней сени с внутристенной лестницей на второй этаж, от которой остались лишь незначительные фрагменты стен. В XVII веке участок на Николоямской улице, где расположена усадьба, входил в «черную» Алексеевскую слободу, жители которой несли повинности с занимаемой земли.

Флигель на Николоямской, 51, стр. 3 был построен в 1800-х годах почти на одной оси с главным домом как нежилой служебный корпус, завершивший формирование усадебного комплекса.

Во время пожара 1812 года все постройки усадьбы сильно пострадали, но были восстановлены к 1817 году. Тогда же служебный флигель был переоборудован под баню и прачечную, и эта функция сохранялась до 1917 года. После Октябрьской революции усадьба была приспособлена под коммунальные квартиры и учреждения.

Флигель сохранил свои исторические размеры. Прямоугольное здание расположено вдоль восточной границы владения, а к его западному фасаду примыкает переход в главный дом. Фасады сохранили историческую структуру, а объем завершен белокаменным профилированным карнизом в стиле ампир. Вход в здание находится с южной стороны, но исторические интерьеры не сохранились.

Среди владельцев усадьбы был богатый купец С.П. Васильев, который в середине XVIII века провел серьезные перестройки, добавив к правому торцу дома две палаты и, вероятно, надстроив второй этаж. Позднее усадьба перешла к купцу П.Я. Пищальникову, владельцу соседнего участка № 53, который заменил старые службы каменными флигелями и переделал фасад Главного дома в классическом стиле. При Пищальникове был построен служебный флигель. Современный вид владение приобрело при купце А.А. Скороспелове. Сегодня усадьбу занимает Сейсмологический центр института геоэкологии РАН.

Служебный флигель является выявленным объектом культурного наследия.