Памятник поэту был установлен накануне 70-летия со дня его смерти. Местом для него выбрали вход в парк «Орлёнок», напротив дома на улице Ф. Энгельса, 13, где Осип Мандельштам проживал с женой в период трехлетней ссылки в Воронеже в 1934-1937 годах. Именно здесь он создал свои «Воронежские тетради».

Скульптор Лазарь Гадаев создал памятник, который был открыт 4 сентября 2008 года. Проект памятника, разработанный Лазарем Гадаевым и архитектором Александром Гагкаевым, участвовал в конкурсе 2007 года на лучший монумент Мандельштаму, проходившем в Москве. Однако победителем стал проект архитектора Александра Бродского и скульпторов Дмитрия Шаховского и Елены Мунц. Поэтому доработанный памятник Гадаева, из которого убрали стопку книг у ног поэта, был установлен в Воронеже, а не в Москве.

Монумент, высотой 2 метра, выполнен из бронзы. Поэт изображен стоящим, с высоко поднятой головой и рукой, прижатой к груди.

Это третий памятник Мандельштаму, установленный в России. Первый был воздвигнут во Владивостоке, а второй в Санкт-Петербурге, но тогда он не имел официального статуса памятника.