Первый железнодорожный вокзал Москвы был возведён в конце 1840-х годов по проекту известного архитектора Константина Тона. Открытие движения поездов по Петербургско-Московской железной дороге состоялось 1 ноября 1851 года.

Вокзал был выполнен в русско-византийском стиле, характерном для работ К. Тона, таких как Оружейная палата, Большой Кремлёвский дворец и храм Христа Спасителя. Архитектурные элементы вокзала перекликались с постройками Петербургско-Московской железной дороги, создавая единый ансамбль.

Вокзал был тупиковым: его центральная часть выходила на Каланчёвскую площадь, а за ней располагались пути и платформы, накрытые металлическим дебаркадером. Со стороны площади дебаркадер был скрыт фасадом вокзала. Двухэтажная центральная часть завершалась башней с часами, выполненной в стиле западноевропейских ратуш и башни Городской Думы в Петербурге. В центральной части находились залы ожидания, а вдоль путей, залы для пассажиров разных классов, багажные отделения и помещения для императорской семьи. Перед отправлением поезда звучали три звонка: первый приглашал пассажиров занять места, второй сообщал об окончании посадки, третий сигнализировал об отправлении.

В 1855 году вокзал и железная дорога были названы Николаевскими в честь императора Николая I, который инициировал строительство дороги между Санкт-Петербургом и Москвой.

В XIX и первой половине XX века вокзал не подвергался значительным изменениям, кроме небольших перепланировок и реконструкций. Исключением стало изменение названия: с 1923 года он стал Октябрьским, а с 1937, Ленинградским.

В 1974 году вокзал впервые претерпел серьёзную реконструкцию: на месте дебаркадера был построен большой зал для пассажиров, появились новые кассовые залы и другие помещения. Незатронутой осталась лишь часть здания, выходящая на Каланчёвскую площадь.

Ленинградский вокзал, единственный в Москве, который не относится к Московской железной дороге и подчиняется, как и полтора века назад, железной дороге Санкт-Петербурга.