Здание песочного цвета с двенадцатью массивными колоннами на фасаде, расположенное в конце Знаменки, сразу привлекает внимание прохожих. Композиция над колоннадой, изображающая герб СССР в окружении знамен и военных символов, кажется, указывает на эпоху его постройки. Однако это обманчивое впечатление: в действительности здание гораздо старше и помнит времена Екатерины II.

В 1790-х годах генерал С.С. Апраксин объединил два участка на Знаменке и построил здесь свой дом, длинное двухэтажное здание, проект которого, по мнению исследователей, принадлежит Ф.И. Кампорези. Во время Отечественной войны 1812 года в этом доме располагался интендантский штаб французских войск. Стендаль, служивший в штабе, оставил воспоминания о доме. Именно отсюда он отправился на поиски своей бывшей возлюбленной, актрисы Мелани Гильбер, которая уехала в Россию до войны, успешно играла здесь, вышла замуж и стала Гильбер-Барковой. В хаосе оккупированного города Стендаль не нашел её, но позже узнал, что она была в Петербурге и, по слухам, не была счастлива в браке.

После ухода французов дом быстро восстановили, и он временно стал театром: в 1814 и 1818 годах здесь выступала труппа Московского императорского театра, а затем разместился крепостной театр Апраксина. После смерти владельца здание перешло в казну и снова изменило назначение: его приобрел Александринский сиротский институт, который принимал детей военных и чиновников, умерших во время эпидемии холеры 1830 года. Здание было перестроено, на фронтоне главного фасада появился двуглавый орёл, а боковой фасад украсила композиция с фигурой богини Минервы, выполненная скульптором И.П. Витали. Позже институт стал Кадетским корпусом, а в 1850 году, Александровским военным училищем. Среди преподавателей были С.М. Соловьев, В.О. Ключевский, В.И. Герье, а среди выпускников, писатель А.И. Куприн, композитор А.Н. Скрябин, генерал Белой армии Н.И. Юденич и советский маршал М.Н. Тухачевский. Училище описано в романе Куприна «Юнкера».

Во время Октябрьской революции и боёв в Москве в октябре и ноябре 1917 года училище стало одним из центров сопротивления юнкеров большевикам.

В советское время здание сохранило военное назначение: сначала здесь разместился Реввоенсовет, затем народный комиссариат обороны, который позже сменило соответствующее министерство. В 1944 и 1946 годах была проведена масштабная перестройка и надстройка по проекту архитекторов М.В. Посохина и А.А. Мндоянца, в результате чего здание приобрело современный облик.