Гимназия была основана супругами А. С. и А. Д. Алфёровыми. Идея создания учебного заведения обсуждалась А. С. Алфёровой с А. И. Чупровым, и официально гимназия была учреждена в 1896 году. Первоначально для неё арендовали квартиру в доме С. М. Фроловой на Плющихе, но официальным адресом значилась квартира А. Н. Авдеевой в Кривоарбатском переулке. К 1902 году гимназия насчитывала 230 учениц и стала полноценной восьмиклассной гимназией Министерства просвещения, предоставляя образование на уровне мужских гимназий.

В 1904 году был приобретён участок для строительства нового здания гимназии на Мухиной горе, рядом с церковью Благовещения. Средства на строительство были собраны благодаря благотворителям, среди которых был С. А. Муромцев. К. Т. Солдатёнков оставил гимназии в наследство учебники и книги. Проект здания разработал И. А. Иванов-Шиц, и оно было завершено в 1906 году на Большом Благовещенском переулке. В здании также была предусмотрена квартира для директора и его семьи. Александра Самсоновна, страдавшая сердечным заболеванием, получила лифт для удобства. Однажды лифт застрял, и она провела урок математики через решётку лифта.

Обучение в гимназии было платным, но в каждом классе 2-3 ученицы учились бесплатно, и их фамилии не разглашались. Социальное неравенство не ощущалось, а гимназисток отличала внутренняя воспитанность и благородство. Одна из учениц вспоминала, что в гимназии не терпели списывания и обмана. Гимназия пользовалась популярностью среди московской интеллигенции, и среди её учениц были дочери известных семей, таких как Голицыны и Шаляпины.

Основатели гимназии, которых ученицы называли «Шурки», имели разные подходы к преподаванию. Александра Самсоновна, строгая преподавательница математики, вызывала уважение и любовь. Александр Данилович, преподававший русский язык и литературу, вдохновлял учениц своей страстью к предмету. Рабочий день начинался с чтения главы из Евангелия.

В гимназии действовал театр под руководством А. Д. Алфёрова, и некоторые выпускницы стали актрисами Малого театра. Ученицы издавали газету и создавали «Общество благоустройства». Летом они путешествовали с преподавателями по разным городам.

Некоторые современники считали, что в гимназии чрезмерно соблюдали правила благонравия. В спектаклях удалялись «опасные места», а юношам запрещали вход на мероприятия. Марина Цветаева училась в гимназии, но вскоре перешла в другое учебное заведение из-за строгих порядков.

С осени 1914 года на средства гимназисток был открыт госпиталь для раненых. В 1916 году было создано «Общество бывших учениц», а весной 1917 года гимназия присоединилась к «Московской организации учащихся».

Последний выпуск гимназии состоялся в 1918 году, а к 1919 году она стала 75-й школой. Летом того же года в селе Липки была организована трудовая колония для учеников, где А. Д. и А. С. Алфёровы были арестованы и расстреляны. Школа позже сменила номер на № 11, а после войны стала 31-й, сохраняя алфёровский дух. Сейчас в здании гимназии находится Хамовнический суд.