Дом расположен на углу Большой Ордынки и Серпуховской площади, но один из его адресов относится к Валовой улице, которая продолжается на запад к площади. Этот дом напоминает о том, что историческая форма Серпуховской площади была овальной. Его планировка изогнута, как часть этого овала.

Серпуховская площадь была спроектирована на рубеже XVIII и XIX веков вместе с соседней Калужской площадью на месте Земляного вала и ворот. В классическую эпоху обе площади предполагалось построить в форме правильных фигур, круга и овала. Согласно утверждённому плану, частные владельцы, купившие свободные участки, должны были возводить на площадях свои дома.

В 1806 году на северной стороне Серпуховской площади, недалеко от угла с Большой Ордынкой, был построен двухэтажный дом в классическом стиле. Первый этаж предназначался для торговли, поэтому здесь были сделаны широкие витринные окна, а простенки между ними украшены рустом. На тот момент соседние участки ещё не были застроены, и дом стоял одиноко на пустом месте перед будущей площадью. В центре площади возвышалась перестроенная в триумфальные ворота старая крепостная башня Серпуховских ворот середины XVII века.

Дом пережил пожар Москвы в 1812 году, и началось восстановление города. В 1818 году рядом, между уже существующим домом и углом Большой Ордынки, построили здание с фасадом в 8 окон. Его оформление повторяло стиль первого дома, и вместе они выглядели как единое строение. Первый этаж имел четыре больших витринных окна и дверь с двумя маленькими окнами по сторонам. Для симметрии в правой части дома вместо витрин сделали большие ниши с парами обычных окон. Эта фасадная декорация сохранилась до наших дней.

В конце XIX века, при владельце Скворцове, над зданием надстроили третий этаж, и верхние два этажа получили новое оформление фасада. В таком виде дом дошёл до нашего времени. Со стороны двора сохранились перестроенные открытые галереи, по которым входили в квартиры, и на которых были устроены туалеты.

С 1894 года в этом доме работала «Фотография», принадлежавшая фотографу Павлу Алексеевичу Пономарёву. И сейчас со стороны Большой Ордынки действует фотография, наследница заведения Пономарёва. Она несколько раз меняла своё местоположение, но оставалась в пределах дома.

В настоящее время здание находится на реставрации, а на первом этаже работают несколько заведений.