В 1839 году в Севастополе был открыт памятник Александру Ивановичу Казарскому, командиру известного брига «Меркурий». 26 мая 1829 года он отказался сдаться и победил в бою с двумя турецкими линейными кораблями, вернувшись к своим. За этот подвиг Казарский был произведен в капитаны второго ранга и флигель-адъютанты, награжден орденом Святого Георгия 4-й степени и получил изменения в родовом гербе, на который добавили изображение пистолета, символизирующего готовность последнего моряка выстрелить в бочку с порохом.

Идея создания памятника принадлежала адмиралу Михаилу Петровичу Лазареву, командующему Черноморской эскадрой. Средства на монумент собрали жители Севастополя и моряки Черноморского и Балтийского флотов. Проект памятника разработал известный русский художник и архитектор Михаил Петрович Брюллов. Закладка памятника на Мичманском (ныне Матросском) бульваре состоялась в 1834 году, а его торжественное открытие прошло в 1839 году.

Памятник высотой 5,5 метров изображает древнегреческую трирему, установленную на кубе, который покоится на постаменте в форме усеченной пирамиды. На постаменте выбита надпись «Казарскому. Потомству в пример», автором которой, по некоторым данным, является император Николай Первый. Также на постаменте размещены горельефы Казарского, богов Меркурия, Ники и Нептуна, военные атрибуты и два маскарона в виде львов. Постамент выполнен из инкерманского камня, а трирема, куб и литые элементы, из чугуна.

В начале прошлого века Мичманский бульвар перешел под управление Морского собрания, и для его посещения требовалось специальное разрешение. В советское время бульвар несколько раз переименовывали, и сейчас он известен как Матросский бульвар. За десятилетия памятник сильно обветшал, но все же сохранился и был восстановлен в наше время.