В начале XIX века владение находилось в собственности купца Филимона Ивановича Вахромеева. На его территории располагались каменные палаты XVII века, которые были снесены после пожара 1812 года, когда всю местность между Крестовоздвиженским и Ваганьковским переулком перепланировали. В 1826 году участок перешел к титулярному советнику А. Смирнову, который в 1830-х годах продал его французскому подданному Эпафродиту Лаврентьевичу Морель-Дорбелю. Имя и фамилия француза были несколько изменены москвичами, и в истории он остался как Е.Л. Маринг-Дарбель. В 1844 году по проекту архитектора Н.И. Козловского в Крестовоздвиженском переулке был возведен двухэтажный дом с арками и антресолью. Первый этаж был отведен под магазин Товарищества бумагопрядильной мануфактуры, совладельцем которой являлся Маринг-Дарбель.

В 1870-х годах владение перешло к поручице Е.Н. Хвощинской, а в 1879 году его приобрел московский купец I гильдии и богатый домовладелец В.В. Варгин. Варгин перестроил дом и оштукатурил фасад под руководством архитектора И.С. Семенова. Дом оставался в его собственности до Октябрьской революции 1917 года.

В 1925 году здесь было открыто почтовое отделение № 19 и Управление коммунальными домами связи Московского округа. В это время здание подверглось внутреннему переустройству, за которым следил архитектор И.С. Турин, а заключение подписал архитектор И.П. Машков. В 1927 году на территории почтового отделения был построен коммунальный дом «Московский почтовик» по проекту архитектора В. Глазова.

Сегодня со стороны переулка на уровне последнего этажа установлены маленькие окна-стеклопакеты, что, безусловно, нарушило гармонию фасада.