В 1870-е годы банкир Лазарь Соломонович Поляков приобрел три владения между Тверским бульваром и Большой Бронной. В Москве его прозвали «Московским Ротшильдом». Поляков был выходцем из еврейской семьи города Орши и начал свою карьеру в финансовом мире с железнодорожного строительства. Приехав в Москву как весьма обеспеченный человек, он создал здесь свою финансовую империю, включавшую четыре коммерческих банка, два земельных банка, страховое общество, Московское товарищество резиновой мануфактуры, Московское лесопромышленное общество, а также Товарищество для торговли и промышленности в Персии и Средней Азии. Кроме того, он владел значительной недвижимостью вокруг Тверского бульвара и на прилегающих улицах. Однако с 1900-х годов его бизнес находился в постоянном кризисе.

На владении 10 по Большой Бронной, где располагалась старая усадьба Волконских-Осташевского, Поляков построил доходные дома. В 1913 году на небольшом участке этой усадьбы, выходящем на Бронную, архитектор Б.М. Великовский создал небольшой особняк для внука Лазаря Соломоновича. Дом был небольшим, с башенкой, а фасады украшены разнообразными выступами-эркерами, что придает динамичность композиции, характерную для модерна. Однако декор фасадов больше склоняется к неоклассике. Центральное место в доме занимает большой торжественный зал.

Внук Лазаря Соломоновича так и не смог пожить в этом доме. После смерти Полякова остались запутанные дела, и с 1914 года его дети и внуки предпочли жить за границей. После революции особняк был национализирован и долгое время использовался как детский сад.