Старое городское кладбище, основанное в 1790 году, расположено на окраине города вдоль реки Ингул и разделено на несколько частей. Основная часть, православное кладбище, где также хоронили католиков и протестантов. К северу от него находится старообрядческое кладбище, а на юге, вдали, расположены еврейское, караимское и магометанское кладбища. Ранее еврейское и караимское кладбища находились на Песках, но затем их перенесли, и на этом месте построили трамвайный парк.

Николаевское городское кладбище было очень зелёным, с множеством красивых надгробий и склепов. В центре кладбища стоит церковь Всех Святых, построенная в 1807-1808 годах благодаря усилиям военно-морских чиновников, адмиралтейских служителей, купцов, мещан и разночинцев Николаева. В 1858 году церковь была перестроена и расширена на средства бывшего церковного старосты, купца первой гильдии К.Н. Соболева.

В 1876 году, благодаря стараниям купца первой гильдии И.Ф. Бартенева и при поддержке бывшего главнокомандующего Черноморского флота и портов генерал-адъютанта Н.А. Аркаса, церковь была обнесена чугунной оградой. Церковь имеет два престола: во имя Всех Святых и святого Апостола-Евангелиста Иоанна Богослова. В том же году на средства Н.А. Аркаса в церковной ограде была построена двухэтажная часовня для отпевания усопших.

Рядом с церковью находятся несколько могил исторических деятелей. Справа от входа установлен мраморный надгробный памятник в готическом стиле над фамильным склепом Аркасов. Здесь похоронены адмирал Н.А. Аркас, генерал З.А. Аркас, их жены, сын Н.А. Аркаса, Н.Н. Аркас, композитор и этнограф. В 1936 году сюда был перенесён прах М.Л. Фалеева после разорения его склепа.

Также справа располагались могилы членов экипажа героического брига "Меркурий". Первая из них принадлежит командиру брига, флигель-адъютанту, капитану 1 ранга Александру Ивановичу Казарскому, который в 1829 году с честью выдержал бой с двумя турецкими кораблями. Памятник Казарскому выполнен из черного полированного гранита в виде вертикальной плиты высотой около 3 метров. На лицевой стороне, обращенной к церкви, вверху выгравирована дата "14 мая 1829г.", день знаменитой морской битвы. Внизу на пьедестале под стеклом изображён бриг "Меркурий" под всеми парусами, а посредине лаконичная надпись бронзовыми буквами: "Казарский".

На обратной стороне памятника вверху находится рельефный бронзовый медальон с портретом Казарского, окружённый лавровым венком. Внизу изображён бронзовый герб Казарского в виде брига и пистолета, символизирующих решение взорвать бриг вместе с турецкими кораблями. Эти атрибуты были пожалованы Казарскому в герб указом Николая I. Проект памятника разработал архитектор А.А. Авдеев, и он был одобрен царем в 1865 году. Сооружение памятника осуществлялось силами и средствами Черноморского флота. В несколько повреждённом виде памятник сохранился до наших дней, его спасла от разорения кладбищенская ограда.

Рядом с памятником Казарскому находится могила бывшего штурмана "Меркурия" И.П. Прокофьева, который первым предложил сцепиться с турецким кораблем и взорвать бриг. К сожалению, скромный надгробный памятник был снят, и вместо него установлен помпезный мраморный памятник с ангелом, украденный с другой могилы, даже не затерев следы прежней надписи.

Здесь же были похоронены другие члены экипажа брига, пожелавшие быть погребёнными рядом с их командиром. Однако сейчас эти могилы исчезли, а их место покрыто безликим асфальтом.

Недалеко от церкви находятся склепы братьев Донских, известных в Николаеве заводчиков. Оба памятника представляют собой огромные пирамиды с крестом наверху. В склепе, ближнем к церкви, похоронены родители братьев Донских, жена А.Ф. Донского и их дети. В фамильном склепе Л.Ф. Донского, расположенном поодаль, похоронен сам Лука Федорович и его потомки. Крест с надгробия Л.Ф. Донского сброшен и разбит у подножия.

Вдали от церкви находятся ещё два интересных памятника. Один из них, склеп профессора В.Н. Каразина, основателя Харьковского университета и человека, выдавшего правительству список декабристов. Каразин приехал в Николаев к сыну, служившему в Черноморском флоте, и здесь заболел и умер. В настоящее время в склепе Каразина, расписанном сатанинскими знаками, по ночам сатанисты устраивают свои оргии.

Второй надгробный памятник посвящён защитникам Севастополя 1853-1855 годов, умершим от ран в Николаевском морском госпитале. Такие памятники устанавливались на братских могилах: в районе Соляных, на городском кладбище и в других местах. Памятник представлял собой высокую четырёхгранную пирамиду с крестом на вершине, опирающимся на ядро. Подножие памятника было выложено пушечными ядрами. С четырёх углов памятник окружали пушечные стволы, врытые в землю, между которыми натянуты якорные цепи. Один из таких памятников стоял ещё перед войной в Соляных, а другой, даже в послевоенное время на кладбище. Детали памятника были растащены.

На городском кладбище, особенно в районе церкви, много могил исторических личностей. Однако само кладбище находится в удручающем состоянии: все склепы вскрыты и зияют грабительскими лазами, захоронения внутри разгромлены, а останки некоторых выброшены наружу.