В 18 веке почтовые ворота Пензы располагались на её окраине, рядом с будущей улицей Каракозова. Отсюда начинался длинный и опасный путь в Москву. В 1981 году на этом месте был установлен необычный монумент, включающий пирамидальный каменный обелиск, сторожевую будку и шлагбаум, в память о почтовой заставе. Когда-то здесь находилась настоящая почтовая станция с постоялым двором и конюшней, куда свозилась вся городская корреспонденция, чтобы затем гонцы развозили её по стране. Согласно правилам, такие заставы должны были располагаться через каждые 40-50 вёрст, но иногда ямщики могли проехать гораздо больше, не встретив никого. Эти станции служили также местом отдыха: путники могли передохнуть, а кучеры сменить лошадей. Государственную корреспонденцию перевозили в специальных каретах, запряжённых тройкой. Срочные сообщения доставляли без остановок: на каждой станции гонец пересаживался в новый дилижанс и продолжал путь. В таких случаях ямщики работали в паре, сменяя друг друга. В 19 веке планировалось, что здесь будет заканчиваться улица Московская, изначально возникшая как дорога в Москву. Однако в 1874 году строительство станции Пенза-I и железная дорога отделили эту часть города от центра, и архитектурные планы так и не были реализованы.