Улица получила название Николоямская благодаря церкви святителя Николая Чудотворца, которая находилась здесь с начала XVII века и была построена ямщиками Рогожской ямской слободы. В 1959 году храм был уничтожен, но его современник, главный дом усадьбы Скороспелова, до сих пор стоит на этом месте.

Краеведы всегда отмечали необычное расположение дома: он находится в глубине двора и боком к улице, что указывает на его древность. В средней части дома сохранились два помещения конца XVII, начала XVIII века: белокаменная палата с кирпичным сводом и примыкающие к ней сени с внутристенной лестницей на второй этаж, от которой остались лишь фрагменты стен.

Здание представляет собой «слоеный пирог» из строений от XVII до XIX века, так как каждый новый владелец вносил изменения в его архитектуру. Значительные перестройки были произведены в середине XVIII века купцом С.П. Васильевым, который финансировал строительство колокольни Андроникова монастыря. При нем к правому торцу дома добавили две палаты и, вероятно, надстроили второй этаж. Тогда дом напоминал соседний № 49: компактный кубический объем с рустованным первым этажом, барочные наличники и пилястры с резными капителями, а также белокаменная межэтажная тяга и сложный карниз.

Позднее усадьба перешла к купцу П.Я. Пищальникову, который заменил старые службы каменными флигелями и переделал фасад в классическом стиле. Современный вид дом приобрел при купце А.А. Скороспелове, который в начале 1870-х годов добавил к левому торцу парадную лестницу и вестибюль, а также установил чугунную ограду вдоль улицы. В интерьерах сохранились следы многочисленных переделок: фрагменты барочных и псевдоготических наличников, мраморные камины и подоконники, лепные карнизы, живописные плафоны и дубовые двери.

В настоящее время в здании размещается Сейсмологический центр института геоэкологии РАН.