Большой Ржевский переулок находится между Новым Арбатом и Поварской улицей. В начале XVIII века здесь начали селиться дворяне, чиновники и военные. Образовались два типа застройки: крупные дворянские усадьбы загородного типа, которые постепенно превратились в классицистические ансамбли, и небольшие городские усадьбы с преимущественно деревянными постройками для служилого дворянства.

На месте современного дома № 5 в первой половине XVIII века располагались два двора разных владельцев. В 1749 году канцелярист Андрей Алексеевич Жуков, владевший южным двором, выкупил соседнее домовладение и объединил их. После его смерти участок был продан соседу, дворянину Василию Дмитриевичу Березникову, который присоединил его к своему владению. Так образовалась крупная усадьба, занимавшая центральное положение в квартале и выходившая на Борисоглебский и Большой Ржевский переулки. Деревянные постройки усадьбы были уничтожены в пожаре 1812 года.

В 1817 году новый владелец, комиссионер 8-го класса М.Н. Орлов, разделил участок на две части и построил одноэтажный деревянный дом на каменном фундаменте с ризалитом со стороны двора, который сохранился до наших дней. В 1829 году дом был расширен пристройками, а западная часть участка долгое время оставалась пустой.

Первые чертежи главного фасада датируются 1837 годом и выполнены в стиле московского ампира. Главным украшением дома был четырехколонный ионический портик на рустованном подиуме, соединенный металлическими решетками и завершенный карнизом и аттиком.

В 1864 году фасад был реконструирован, портик заменили филенчатыми пилястрами, а окна обрамили наличниками.

Объемно-планировочная структура дома сохранялась до 1880 года, когда во дворе появилась новая пристройка. В 1888 году архитектор Адольф Николаевич Кнабе построил для жены губернского секретаря А.Т. Назаровой двухэтажный каменный корпус, выходящий фасадом на переулок. Корпус пристроили к северному фасаду усадьбы на месте снесенных флигелей. Вдоль западной границы появился каменный хозяйственный корпус, который в 1920-е годы был надстроен и приспособлен под жилье, а в 1970-е разобран.

Фасад главного дома приобрел пышный декор, характерный для эклектики середины XIX века, но сохранился с утратами. Пилястровый портик завершался аттиком и фронтоном, над которым возвышались декоративные вазы и фонарь, украшенный пилястрами и аркадой. Стены были гладко отштукатурены и завершались карнизом с фризом, местами декорированным триглифами и метопами. Окна обрамляли наличники с "ушками" и сандриками разной формы, а над двумя центральными окнами располагалась розетка.

В 1904 году Назарова подарила здание Симоновской школе Московского благотворительного общества, что добавляет ему историческую ценность.