К концу XIX века Общество Рязанско-Уральской железной дороги управляло крупнейшей частной железной дорогой, которая соединяла 12 густонаселенных губерний. Эта дорога проходила через Черноземье и Поволжье до Урала, связывая такие города, как Смоленск, Тамбов, Саратов и Астрахань, но не имела выхода к Москве. В мае 1897 года Правление дороги получило разрешение на строительство необходимой линии, ведущей к Москве через Павелец.

Строительство линии было завершено в рекордные сроки, однако открытие вокзала задержалось из-за длительного выбора места для его размещения. До 1900 года поезда Рязанско-Уральской дороги переводились со станции Загорье (ныне Бирюлёво) на станцию Царицыно Московско-Курской железной дороги и далее на Курский вокзал. Вокзал планировалось разместить в районе нынешнего телецентра на Шаболовке, у Крестьянской заставы или на Зацепе. Перед началом строительства Общество Рязано-Уральской дороги должно было реконструировать старый Краснохолмский мост через Москву-реку и обустроить площадь перед вокзалом.

Вокзал, построенный по проекту архитектора Красовского, первоначально назывался Саратовским, так как Саратов был центром Рязано-Уральской железной дороги. В то же время он именовался и Павелецким, оба названия встречаются в справочниках того времени. Здание вокзала было выполнено в соответствии с архитектурными канонами того времени: симметричное двухэтажное здание с центральной трёхэтажной частью и мансардами над выступающими боковыми корпусами. Стены были облицованы декоративным кирпичом, цоколь, тёсаным камнем, а вестибюль и карнизы в залах украшены лепниной. Вокзал открылся для пассажиров 15 октября 1900 года.

С постройкой вокзала район Зацепа оживился, началось строительство жилых домов и магазинов, появился трамвай. Для хлебных грузов, которые были основными для Рязано-Уральской железной дороги, за вокзалом были возведены большие элеваторы. Товарная станция стала обслуживать заводы и фабрики Дербенёвской набережной.

В 1980-е годы вокзал был реконструирован, его внешний вид практически не изменился, хотя внутренние помещения были серьёзно перестроены.

Рядом с вокзалом находится павильон «Траурный поезд В.И. Ленина», где хранится паровоз У-127 и товарный вагон № 1691. Паровоз У-127, повреждённый в Гражданскую войну, был восстановлен на субботнике в 1923 году, тогда же В.И. Ленин был избран его почётным машинистом. В январе 1924 года этот паровоз доставил в Москву траурный поезд с телом Ленина. В 1937 году паровоз был установлен на вечную стоянку как «символ всенародной скорби», в 1941 году его эвакуировали в Ульяновск, а затем вернули в Москву. Сегодня паровоз У-127 имеет не только мемориальное значение, но и является ценным памятником истории подвижного состава Российских железных дорог, это один из двух сохранившихся пассажирских паровозов дореволюционной постройки.