Название этого места, вероятно, связано со словом «ольха»: здесь протекал ручей Ольховец, а также сохранилась Ольховская улица. В 1687 году на этом месте упоминался деревянный храм, а в 1714 году был построен каменный на средства Петра I и царевны Прасковьи Ивановны, дочери Ивана V. Строительство затянулось из-за запрета на каменные работы по всей России, кроме Петербурга. Впоследствии здание перестраивалось.

Именно здесь в 1799 году крестили А.С. Пушкина.

В первой четверти XIX века были перестроены верхние ярусы колокольни. В 1837 году основная часть церкви была полностью разобрана, и началось строительство нового величественного здания по проекту архитектора Е.Д. Тюрина, завершенное в 1845 году. Огромный храм и сегодня возвышается над Елоховской площадью. Колокольня, украшенная колоннами по углам ярусов, является одной из самых высоких в Москве.

В 1889 году трапезная была надстроена архитектором П.П. Зыковым. После революции и закрытия кремлевских церквей, храма Христа Спасителя и церкви Богоявления в Дорогомилове, Елоховский храм получил статус соборного, а неподалеку разместилась канцелярия митрополита Сергия (Страгородского). Попытки закрыть Богоявленский собор предпринимались, но ни одна из них не увенчалась успехом. После войны он официально стал патриаршим собором и кафедрой Патриархов Московских и всея Руси, что сохранялось до 1991 года.

Все центральные богослужения Русской православной церкви и ее важнейшие события в советскую эпоху проходили именно здесь. В 1943 и 1990 годах в соборе происходила интронизация новых Патриархов Московских и всея Руси. Двое из них были здесь же похоронены: патриарх Сергий в 1944 году и патриарх Алексий II в 2008 году. Их надгробия находятся в северном и южном приделах соответственно.

В 1991 году статус патриаршего собора перешел к кремлевскому Успенскому собору, после чего Богоявленский Елоховский собор стал кафедральным.