Здание, построенное в 1915-1917 годах по проекту архитектора А.Н. Соколова, было создано в сотрудничестве с известным физиком-экспериментатором П.Н. Лебедевым, основателем первой в России научной физической школы. Хотя Лебедев не дожил до завершения строительства, его консультации на этапе планирования помогли Соколову создать здание, идеально подходящее для научных экспериментов.

Необходимость строительства Физического института возникла после событий 1911 года в Московском университете. Тогда около ста профессоров и доцентов, включая В.И. Вернадского, С.А. Чаплыгина, А.А. Эйхенвальда, Г.И. Россолимо, К.А. Тимирязева и П.Н. Лебедева, покинули университет в знак протеста против действий министра просвещения Л.А. Кассо, который возложил на университетскую администрацию полицейские функции. Уход из университета лишил их возможности проводить научные эксперименты, так как университет был практически единственным местом в Москве для таких исследований.

Ученые и преподаватели, подавшие в отставку, основали Общество Московского научного института, на базе которого появился Физический институт. В январе 1917 года он открылся в новом здании на Миусской площади. После национализации в 1917 году здесь располагался Институт биологической физики под руководством академика П.П. Лазарева. 22 апреля 1922 года, накануне операции по извлечению пуль, оставшихся после покушения Фанни Каплан, сюда был привезен В.И. Ленин для рентгенологического исследования. Пуля в области шеи легко прощупывалась и могла быть удалена без сложностей, в то время как другая пуля в области левого плеча не мешала и не требовала удаления.

После рентгеновских снимков Ленин отправился с академиком Лазаревым осматривать институт, но осмотр не удался, так как Ленин заинтересовался материалами по Курской магнитной аномалии и попросил академика подробно его ознакомить с ними.

В 1931 году академик Лазарев, проживавший в здании Института, был арестован по политическому обвинению. 25 апреля 1934 года Совнарком постановил перевести Академию наук СССР из Ленинграда в Москву. В единственном на тот момент здании разместился Физический институт АН СССР (ФИАН), который возглавил будущий Президент АН СССР С.И. Вавилов.

В настоящее время здание находится в собственности Российской Федерации и управляется ФГУ "Федеральный исследовательский центр Институт прикладной математики им. М.В. Келдыша Российской Академии наук". Завершение реставрационных работ, направленных на укрепление фундамента и несущих стен, запланировано на 2019 год.