Старинная усадьба князя Сергея Николаевича Голицына находилась на углу Знаменки и Малого Знаменского переулка с 1776 года. Она была уничтожена пожаром 1812 года и не восстановлена в прежнем виде.

На плане от 19 мая 1861 года бывший большой участок был разделен на две части: одна из них перешла к коллежской советнице Александре Васильевне Каминской, которая построила на месте сгоревших зданий новые каменные корпуса. Следующим владельцем стал потомственный почетный гражданин Николай Павлович Малютин, который 29 января 1877 года продал усадьбу жене врача Ольге Ивановне Бетлинг. У нее на Знаменку выходил торцом сарай, а остальная часть участка использовалась как общественный дровяной склад.

21 февраля 1896 года Малютина продала имение губернскому секретарю Павлу Николаевичу Лесли. Через год он решил снести каменные заборы и построить вдоль Знаменки четырехэтажное каменное здание. Однако, не завершив строительство, Павел Николаевич передал участок московскому купцу Ивану Евдокимовичу Пономареву.

Иван Евдокимович Пономарев, родившийся 12 октября 1837 года и скончавшийся 18 сентября 1900 года, был владельцем нескольких мануфактур и человеком решительным и предприимчивым. В 1899 году архитектор Константин Федорович Буров построил здесь двухэтажный дом с угловым эркером. Особняк получился оригинальным, в стиле классицизированной эклектики. Угловая часть, срезанная под углом 45 градусов, украшена прямоугольным эркером с картушем-раковиной над центральным окном и узкими щелевидными окнами по бокам. Фасад по Знаменке разнообразен: десять окон второго этажа оформлены по-разному, два из них украшены картушами с раковинами, а предпоследнее окно справа увеличено по ширине и над ним расположен треугольный фронтон с маской. Фасад по Малому Знаменскому переулку имеет шесть окон.

Дом был оборудован по последнему слову техники: паровое отопление, ванны, раковины, клозеты и писсуары. Строительство велось очень быстро, но хозяин не успел пожить в новом доме, так как скончался 18 сентября 1900 года. Годом ранее, 4 сентября 1899 года, в разгар строительства и согласования проектов, он составил завещание, оставив усадьбу супруге Людмиле Васильевне Пономаревой и детям Нине, Алексею и Софье поровну. В 1904 году наследники продали особняк потомственному почетному гражданину Григорию Мартыновичу Арафелову из Баку, владельцу «Нефтепромышленного и торгового общества Г.М. Арафелов и Ко», занимавшемуся добычей, переработкой и торговлей нефтью и нефтепродуктами.

Торец одной из служебных построек во дворе, обращенный к Знаменке, до 2000 года украшал рельефный портик с немецкой надписью «ARCHITECTURA», масонскими символами в филенках и львиной маской с полукруглым бассейном.

В 1913 году архитектор А.Т. Измиров перестроил для Г. Арафелова старое здание по Малому Знаменскому переулку, придав ему неоампирный декор. Во фронтоне с тех пор находится монограмма последнего владельца. Во дворе в хозяйственных постройках располагалась небольшая текстильная фабрика Арафеловых.

После революции в 1920-е годы усадьбу занимали секции Коммунистической (Социалистической) академии при ВЦИК. Сегодня здесь находится Академическая библиотека по естественным наукам.