Kalinnikov nació en una familia de funcionarios y recibió educación en el seminario espiritual de Orel, donde comenzó a estudiar música y dirigió un coro durante un tiempo. Su hermano menor, Viktor Sergeevich, también se convirtió en compositor.

En 1884, se matriculó en las clases preparatorias de la Conservatorio, pero debido a la falta de fondos para su educación, fue expulsado poco después. Sin embargo, logró ingresar a la Escuela de Música y Drama de la Sociedad Filarmónica de Moscú, donde estudió fagot y composición hasta 1891. Entre sus maestros estaban S. N. Kruglikov, A. A. Ilyinskiy y P. I. Blahramberg. Kalinnikov también asistió a las conferencias de V. O. Klyuchevsky en la Universidad de Moscú.

Debido a la falta de ingresos estables, Kalinnikov tuvo que tocar en orquestas teatrales con violín, fagot o timbales y transcribir partituras. Fue apoyado por el crítico musical Semión Kruglikov, y Piotr Chaikovski, al reconocer su talento, lo recomendó para el puesto de director del Teatro Pequeño en 1892. En ese momento, Kalinnikov también daba clases particulares de teoría musical y canto.

En otoño de 1893, comenzó a mostrar síntomas de tuberculosis y se mudó a Crimea, donde pasó los últimos años de su vida, continuando con la composición de música. Falleció el 29 de diciembre de 1900 (11 de enero de 1901) y fue enterrado en el cementerio Polikurovsky en Yalta. En su tumba están grabadas las notas del tema principal de su Primera Sinfonía en sol menor.

El estilo de Kalinnikov continúa las tradiciones de la música clásica rusa, incluyendo a los compositores del "Grupo de los Poderosos" y a P. I. Chaikovski. Su obra más conocida, la Primera Sinfonía en sol menor, escrita en 1895 y dedicada a Kruglikov, se presentó por primera vez en un concierto de la Sociedad Musical Rusa en Kiev y rápidamente se volvió popular tanto en Rusia como en el extranjero.

En la obertura "Bylina" de Kalinnikov suena un tema cuyos compases iniciales coinciden con la melodía del himno de la URSS, lo que ha llevado a suposiciones de que Alexandrov no es el verdadero autor del actual himno de Rusia. La fecha exacta de creación de la obertura, generalmente atribuida a 1893, es desconocida: durante la vida del compositor no se interpretó y fue restaurada a partir de las partes orquestales que se conservan en el Museo Central Estatal de Cultura Musical. Se interpretó por primera vez en la radio el 26 de julio de 1950 por una orquesta dirigida por S. Gorchakov, y la partitura fue publicada en 1951. No hay información de que el autor del himno soviético pudiera haber tenido acceso a "Bylina" en el archivo.