До конца XVII века село Игнатовское-Знаменское находилось во владении рода Хитрово. Последний представитель этой семьи, окольничий А.С. Хитрово, передал усадьбу Нарышкиным. В период своего расцвета поместье принадлежало генерал-майору Василию Сергеевичу Нарышкину (1740-1800), который был женат на графине Анне Ивановне Воронцовой, двоюродной сестре Екатерины Романовны Дашковой. В Игнатовском часто жил их сын Иван Васильевич Нарышкин, камер-юнкер двора и предводитель дворянства Тарусского уезда.

Летом 1825 года в Игнатовское на несколько дней приехал племянник хозяев, молодой граф Михаил Дмитриевич Бутурлин (1807-1876). Именно о нем А.С. Пушкин сказал: «Мой Онегин, это ты cousin». Тогда Бутурлин еще не знал, что его судьба будет тесно связана с этими местами: он обоснуется здесь с семьей после разорения, а его женой станет Катя Нарышкина, которая тогда была еще ребенком.

В первой четверти XIX века Михаил Дмитриевич писал о поместье: «По старинному русскому помещичьему быту при селе Знаменском (менее 200 крестьян) числилось до 60 дворовых душ. Из них годных для прислуги едва ли была половина, а остальные были старики и малолетние».

Поселившись в Знаменском, М.Д. Бутурлин занялся садоводством. Он вспоминал: «Кроме воздушного фруктового сада, возобновленного после прежнего, погибшего почти что дочиста от лютых морозов с 1835 на 1836 г., я только поддерживал остальное, а вновь завел несуществовавшую почти цветочную часть и развел орнаментальные плантации на голом совершенно дворе, перед вновь выстроенным домом».

Для создания «цветочной части» Бутурлин сначала нанимал садовников из Москвы и других мест, но в итоге признал, что никто из них не сравнится с его дворовым самоучкой Семеном Максимовичем. В период Нарышкиных в Игнатовском была устроена оранжерея для фруктовых деревьев и цветов.

В середине XIX века для перестройки дома использовали материал старого нарышкинского особняка конца XVIII века. В итоге был создан существующий ныне камерный позднеклассический ансамбль, состоящий из небольшого каменного одноэтажного дома на высоком подклетном этаже и флигеля.

Дом обращен к парадному двору четырехколонным тосканским портиком с треугольным фронтоном, в тимпан которого вписано редкое для архитектуры того времени треугольное окно. На фасадах дома отсутствуют украшения и лепнина, а внутреннее оформление свидетельствует о том, что здание предназначено для удобной повседневной жизни на природе, а не для парадных приемов.

В начале XX века владельцем Игнатовского стал инженер П.Н. Перцов, который перестроил флигель в стиле неоклассицизма. Появился деревянный мезонин с полукруглым окном, полукруглым портиком и балконом.

Грубоватая стилизация придает архитектурному ансамблю новое эмоциональное звучание, создавая ощущение неожиданной «переклички» разных эпох художественных симпатий и идеалов.

В настоящее время усадьба занята постройками и землями хозяйства, относящегося к собственности Игнатовского дома-интерната для престарелых и инвалидов. В старинном парке сохранились деревья, возраст которых, вероятно, превышает 500 лет.