Калинников родился в семье чиновников и получил образование в Орловской духовной семинарии, где начал изучать музыку и некоторое время руководил хором. Его младший брат, Виктор Сергеевич, также стал композитором.

В 1884 году он поступил в подготовительные классы при Консерватории, но из-за отсутствия средств на обучение вскоре был отчислен. Однако ему удалось попасть в Музыкально-драматическое училище Московского филармонического общества, где он обучался игре на фаготе и композиции до 1891 года. Среди его учителей были С. Н. Кругликов, А. А. Ильинский и П. И. Бларамберг. Калинников также посещал лекции В. О. Ключевского в Московском университете.

Из-за отсутствия стабильного дохода Калинникову приходилось играть в театральных оркестрах на скрипке, фаготе или литаврах и переписывать ноты. Его поддерживал музыкальный критик Семён Кругликов, а Пётр Чайковский, высоко оценив его талант, рекомендовал его на должность дирижёра Малого театра в 1892 году. В это время Калинников также давал частные уроки теории музыки и пения.

Осенью 1893 года у него появились симптомы туберкулёза, и он переехал в Крым, где провёл оставшиеся годы жизни, продолжая сочинять музыку. Он скончался 29 декабря 1900 года (11 января 1901 года) и был похоронен на Поликуровском кладбище в Ялте. На его надгробии выгравированы ноты главной темы его Первой симфонии g-moll.

Стиль Калинникова продолжает традиции русской музыкальной классики, включая композиторов «Могучей кучки» и П. И. Чайковского. Его самое известное произведение, Первая симфония g-moll, написанное в 1895 году и посвящённое Кругликову, впервые прозвучало на концерте Русского музыкального общества в Киеве и быстро стало популярным как в России, так и за рубежом.

В увертюре Калинникова «Былина» звучит тема, начальные такты которой совпадают с мелодией гимна СССР, что вызвало предположения о том, что Александров не является истинным автором современного гимна России. Точное время создания увертюры, обычно относимое к 1893 году, неизвестно: при жизни композитора она не исполнялась и была восстановлена по оркестровым партиям, сохранившимся в Государственном центральном музее музыкальной культуры. Впервые она была исполнена по радио 26 июля 1950 года оркестром под руководством С. Горчакова, а партитура издана в 1951 году. Нет никаких сведений о том, что автор советского гимна мог ознакомиться с «Былиной» в архиве.