Идея строительства стальной магистрали в направлении Ярославля во многом принадлежала профессору математики МГУ Федору Чижову, который впоследствии стал крупным теоретиком промышленно-торгового развития России. Для создания первой российской частной железной дороги от Москвы до Сергиева Посада он привлёк группу московских купцов. Важную роль в этом проекте сыграл купец Иван Федорович Мамонтов, отец известного мецената Саввы Мамонтова.

В 1859 году император Александр II утвердил решение о строительстве железной дороги от Москвы до Сергиева Посада с условием её продления до Ярославля в течение трёх лет, поскольку дорога только до Сергиева Посада считалась «роскошью» и не могла нести серьёзную транспортную нагрузку.

Выбор места для станции был непростым. Рассматривались варианты у Сухаревой башни и Крестовской заставы, а также возможность отправки поездов с вокзала Петербурго-Московской железной дороги. В итоге было решено строить вокзал на Каланчёвской площади.

Проект вокзала изначально разработал архитектор М.Ю. Левестам, но его проект не был одобрен. Окончательный проект создал архитектор Р.И. Кузьмин. Это было небольшое двухэтажное здание с башенкой в центре, напоминающее вокзал Петербурго-Московской железной дороги. Вокзал был тупиковым, с раздельными платформами для прибытия и отправления поездов. Троицкая железная дорога открылась в 1862 году. Для освящения вокзала был приглашён митрополит Филарет, который впервые увидел железную дорогу и поезд. Специально для него паровоз совершил несколько манёвров по станции.

В начале 1870-х годов, с продлением дороги до Ярославля, вокзал был перестроен. Фасад, выходящий на Каланчёвскую площадь, сохранился, но боковые корпуса были надстроены, что создало негармоничную композицию.

В 1898 и 1899 годах дорога была продлена до Архангельска, и вокзал стал тесным. Архитектор Л.Н. Кекушев разработал новый проект перестройки, а затем архитектор Ф.О. Шехтель придал вокзалу совершенно новый облик. Фасад был выполнен по мотивам павильона Русского Севера, созданного художником К.А. Коровиным для Нижегородской ярмарки 1896 года. Здание включило элементы древнерусской архитектуры, переработанные Шехтелем. Высокая кровля, широкий фриз из глазурованной плитки, майоликовые вставки и другие элементы создают уникальный эпический образ. Башни вокзала удачно расположены, что обеспечивает разное восприятие здания с разных точек Каланчёвской площади.

С 1907 года вокзал стал называться Северным. 20 июня 1929 года от него отправился первый московский электропоезд.

В 1966 году вокзал приобрёл современный вид, сохранив элементы первоначального здания и более поздние перестройки. Внутри сохранились массивные колонны, которые раньше стояли на перроне отправления поездов.