Здание расположено в районе с богатой историей. До XIX века на месте Ярославского вокзала находился известный Красный пруд, рядом с которым была усадьба, принадлежавшая первым московским правителям, великим князьям и царям. Дорога из Московского Кремля в Сокольники, центр великокняжеской и царской охоты, проходила через улицы Покровскую и Старую Басманную, поворачивая на Красное село. В XVII веке в составе усадьбы была построена башня-каланча, давшая название площади, которое сохранялось до 1932 года, когда его сменили на Комсомольскую площадь.

В середине XIX века Каланчевская площадь Москвы стала частью крупного инженерного проекта Российской Империи. В 1842 году император Николай I утвердил проект первой российской железной дороги, соединяющей Петербург и Москву. Каланчевская площадь была выбрана местом для Петербургского (Ленинградского) вокзала. Строительство продолжалось до 1851 года под руководством графа П.А. Клейнмихеля, а главным архитектором стал К.А. Тон.

В рамках благоустройства Каланчевской площади и территории вокзала было решено построить здание Таможни. Первоначально планировалось использовать одно из соседних зданий, но подходящего не нашлось, и было принято решение о строительстве нового. Программа включала создание комплекса с парадными помещениями, служебными квартирами и двухъярусным подвалом для товаров. Первый проект Таможни разработал в 1845 году архитектор И.Т. Таманский, но он не был реализован.

В 1847 году император поручил К.А. Тону подготовить новый проект, который был утвержден в 1848 году. Строительство началось в 1850 году и завершилось в 1853 году. Обсуждалась возможность строительства аналогичного жилого корпуса для симметрии площади, но он не был реализован.

Здание Таможни имеет форму перевернутой буквы "П", с трехэтажным главным корпусом и двумя боковыми ризалитами. Несмотря на связь с вокзалом, оно отличается в деталях. Петербургский вокзал, выполненный в стиле "псевдороссики" К.А. Тона, представляет собой двухэтажное здание с арочными окнами, разделенными колоннами.

Таможня выполнена в стиле позднего классицизма с рустованным нижним ярусом и объединением верхних этажей коринфскими пилястрами. К.А. Тон стремился объединить разные этапы архитектурной истории Москвы в едином комплексе вокзала и Таможни.

В здании проводится поддерживающий ремонт.