Ансамбль зданий на Николоямской улице, д. 51, часто называют усадьбой Скороспелова, поскольку именно при купце А.А. Скороспелове владение приобрело свой нынешний облик. В тамбуре левой двери усадебного дома на полу выложена мозаика с датой «1871», что, вероятно, указывает на завершение перестройки. Однако история усадьбы началась гораздо раньше.

Эксперты всегда отмечали необычное расположение дома: он стоит не параллельно красной линии улицы, а в глубине двора. Это обычно свидетельствует о древности здания, его существовании до регулирования московских улиц и появления современных красных линий застройки в 1770-е годы.

Главный дом усадьбы состоит из строений разных эпох. В его основе лежит каменная палата конца XVII века. В середине XVIII века дом был значительно перестроен купцом С.П. Васильевым, который также финансировал строительство знаменитой колокольни Спасо-Андроникова монастыря, разрушенной в 1930-е годы. Из подвала дома можно попасть в коридор с каменным сводом.

Некоторые историки считают, что дом № 51 соединен подземным ходом с Алексеевской церковью, расположенной напротив, хотя в наше время этот ход завален. Флигели появились, когда в конце XVIII века усадьбу унаследовал купец П.Я. Пищальников, владевший соседним участком по Николоямской улице, д. 53. Древние усадебные службы были заменены каменными флигелями, которые расположили торцами к красной линии улицы, симметрично относительно главного дома. Несмотря на разные размеры (западный флигель вытянут в глубину участка сильнее, чем восточный), эти строения внесли порядок в композицию усадьбы и организовали парадный двор.

Двухэтажный западный флигель позднее был перестроен, отражая вкусы новых владельцев и следуя модным тенденциям, тогда как восточный сохранял свои основные черты.

В 1853 году новый владелец С.В. Морозов расширил дом пристройками, украсил парадную анфиладу искусственным мрамором, расписал потолки, установил камины и покрыл пол наборным паркетом. Это убранство в значительной степени сохранилось.

Западный флигель также был обновлен: его фасады украсили лепным декором в барочном стиле.

Западный флигель, как и главный дом с восточным флигелем, является объектом культурного наследия федерального значения.