На четной стороне Камергерского переулка находится примечательный жилой дом. Хотя он расположен в середине переулка, его адрес привязан к Большой Дмитровке. Дом напоминает о бывшем Георгиевском монастыре, который был упразднен в 1816 году после пожара 1812 года. Главный храм монастыря стал приходским и позже превратился в домовой храм Императорских театров. После революции храм продолжал функционировать до мая 1930 года, когда администрация Большого театра решила снести его для строительства мастерских. Попытки сохранить здание, перестроив его, не увенчались успехом. Некоторое время оно использовалось таксопарком, а затем было снесено, и на его месте построили школу № 179.

В 1816 году на территории монастыря началось строительство помещений для священнослужителей Архангельского и Благовещенского соборов. Два корпуса вытянулись вдоль Камергерского: угловое двухэтажное здание с молочной лавкой и одноэтажное Г-образное строение. В 1897 году архитектор Иван Кондратенко полностью перестроил комплекс. На Дмитровке появилось здание с толстыми эркерами, где в 1904 году находилась "Художественная фотография" Д. И. Песчанского, служившая местом для собраний и хранения литературы и оружия. Здесь печатались открытки с карикатурами зубного доктора Чемоданова.

Доходный дом на Камергерском, с адресом Большая Дмитровка, д. 5/6, стр. 3, включает в себя перестроенные кельи Георгиевского монастыря 1806 года. Планировка дома обусловлена необходимостью включения старого строения, и капитальная стена, ранее служившая дворовым фасадом, до сих пор выделяется. Первый этаж занимали магазины, а остальные, квартиры для сдачи в аренду. Подвалы здания, старые и сводчатые, до сих пор хранят свои тайны. В этом дворе сохранился еще один остаток монастырского ансамбля, перестроенный Игуменский корпус.

В 1940-1950-х годах интерьеры дома были изменены, сохранилось лишь оформление кафе "Артистическое", существовавшего с 1903 года. В этом доме 16 мая 1886 года родился поэт В.Ф. Ходасевич, а в 1947-1953 годах здесь жил композитор С.С. Прокофьев. Он скончался 5 марта 1953 года, в день смерти Сталина. Дирижер Геннадий Рождественский вспоминал, как несколько человек, включая композитора Карена Хачатуряна и пианиста Лазаря Бермана, пробрались к дому, чтобы почтить память Прокофьева. Похоронная процессия была затруднена из-за многотысячной толпы, и гроб несли на руках студенты-добровольцы.

24 июня 2008 года в доме открылся музей С.С. Прокофьева, занимающий два этажа. Экспозиция включает воссозданную обстановку квартиры композитора и рассказывает о его значительных произведениях и событиях последних двадцати лет жизни. В мемориальном кабинете представлены подлинные вещи и мебель Прокофьева.

Здание признано объектом культурного наследия регионального значения.