В 1657 году в Харькове была построена первая деревянная церковь Успения Пресвятой Богородицы, находившаяся в крепости чуть южнее современного Успенского собора. Она была небольшой, холодной и бедной, с нехваткой богослужебных книг и бумажными иконами. С ростом города и появлением новых храмов Успенская церковь уже не могла вместить всех прихожан. В 1685-1687 годах на её месте возвели первый каменный собор, который стал первым в Харькове. Как и большинство соборов, он имел крестово-купольную конструкцию, а его крыша и пять глав были покрыты дубовым гонтом. Рядом стояла каменная шатровая колокольня с двумя "коморами" и погребом, сдаваемыми в аренду, что приносило доход церкви. 3 марта 1733 года пожар уничтожил собор, оставив лишь каменные стены. Через год его восстановили, покрыв купола белой жестью и вызолотив крест, но вскоре в здании появились трещины. В 70-х годах XIX века его разобрали, чтобы построить новый собор, соответствующий статусу Харькова как торгового и промышленного центра Слободско-Украинской губернии. Старый храм не отвечал духу екатерининской эпохи.

При проектировании нового храма взяли за образец храм св. Климента в Москве, построенный в 1762-1770 годах. Его особенностью было квадратное очертание в плане и отсутствие полукруглых абсид. Центральный световой барабан купола опирался на четыре пилона, а угловые купола не сообщались с внутренним пространством. Внешний облик собора отражал переход от барокко к классицизму. Фасады были сдержанными, с лепными украшениями, напоминающими о барокко. Интерьеры отличались пышностью, в том числе резной золоченый иконостас, выполненный по эскизу Растрелли.

Строительство собора длилось двенадцать лет и завершилось в июне 1783 года. Новый собор был значительно больше старого и имел четыре престола: главный Успенский, южный в честь Казанской Божьей Матери, северный в честь Святой Екатерины и еще один на хорах в честь Петра и Павла. Гордостью собора были иконы Елецкой Божьей Матери и святителя Николая. После завершения собора встал вопрос о строительстве новой колокольни, решение о котором приняли в 1819 году. В колокольне устроили храм в честь Александра Невского, в память о победе в Отечественной войне 1812 года. Строительство началось 8 мая 1821 года и продолжалось с перерывами до 1833 года. В 1837 году работы возобновили под руководством архитектора К.А. Тона. В 1841 году на колокольне установили позолоченный крест весом 400 кг и высотой 5 м. Работы завершили в 1844 году, и колокольня стала самой высокой в городе, с 12 колоколами и часами, заказанными в Париже. Колокольня, соединенная с храмом, стала главной доминантой центра города, сочетая стили барокко и классицизма.

После революции 1917 года собор и колокольня использовались не по назначению и подверглись разрушениям. В 1973 году началась реставрация, в ходе которой укрепили фундаменты и стены, восстановили барабаны и купол, обновили отделку. В 1986 году в здании открылся Дом органной и камерной музыки.

29 октября 2004 года распоряжением главы Харьковской областной администрации Е.П. Кушнарева комплекс Успенского собора передали в ведение УПЦ, но решение было оспорено в суде. В 2006 году крест на колокольне восстановили. В 2009 году собор передали Харьковской Епархии УПЦ, и до 2010 года в нем проходили концерты и службы. В 2016 году после открытия нового органного зала собор полностью перешел в ведение Епархии.