История дома номер 27 начинается с середины XVIII века. В 1750-х годах участок принадлежал статскому советнику и полковнику Василию Борисовичу Толстому, который происходил из старшей неграфской линии Толстых, известных также как Ундорские. Усадьба была спроектирована в стиле раннего московского классицизма: в центре двора располагался деревянный главный дом, по бокам, хозяйственные постройки. Перед домом находился большой двор, а за ним, сад с кузницей и оранжереями.

В 1773 году пожар уничтожил постройки усадьбы и повредил соседние владения. 4 сентября того же года Толстой обратился в Московскую полицмейстерскую канцелярию с просьбой о разрешении на новое строительство. Архитектор П.Ф. Бортников, работавший в полицмейстерской канцелярии, вероятно, и построил новый дом для Толстого.

После пожара в центре двора возвели новый каменный двухэтажный особняк. По красной линии улицы симметрично расположились изба для прислуги и погреб. Позади дома находились кухня и баня, а далее простирался сад с уцелевшими деревянными постройками. Главный дом украсили ионическим пилястровым портиком и пилястрами, обрамляющими окна. Садовый фасад был более сложным: под карнизом располагались сухарики, окна имели сложные наличники, а центр фасада украшали полукруглые окна и ажурный балкон. По легенде, с этого балкона Наполеон наблюдал за горящей Москвой в 1812 году.

От первоначального интерьера сохранились планировка и фрагмент росписи в одной из залов. Василий Борисович был женат на Дарье Никитичне Змеевой. Их дочь Анна вышла замуж за графа Ф.А. Остермана, а сын Николай погиб от рук пугачевцев. Александр стал симбирским губернатором и дедом декабриста В.П. Ивашева, а Лев, дедом поэта Ф. Тютчева.

В 1791 году дом перешел к старшей дочери Марфе Васильевне Толстой. После ее смерти в 1808 году усадьбу купили купцы Борисовские, владевшие ею до 1906 года. Они занимались торговлей сахаром и чаем, а также владели полотняной фабрикой в Переславле-Залесском.

В 1871 году Мария Ивановна Борисовская с мужем перестроили особняк, добавив парадную лестницу и световой фонарь. В начале 1880-х годов дела Борисовских ухудшились, и в 1906 году они продали дом Московско-Курской железной дороге.

После революции дом разделили на квартиры, а часть сада была утрачена из-за строительства железной дороги. В 1970 году здание отреставрировали и передали НИИ Теплобетон, а в 2010 году, Дому культуры "Гайдаровец".