Kalinnikov est né dans une famille de fonctionnaires et a reçu une éducation au séminaire théologique d'Orel, où il a commencé à étudier la musique et a dirigé une chorale pendant un certain temps. Son frère cadet, Viktor Sergeïevitch, est également devenu compositeur.

En 1884, il s'inscrit dans les classes préparatoires du Conservatoire, mais en raison de l'absence de moyens financiers, il est rapidement exclu. Cependant, il réussit à entrer à l'École de musique et de drame de la Société philharmonique de Moscou, où il étudie le basson et la composition jusqu'en 1891. Parmi ses enseignants figuraient S. N. Kruglikov, A. A. Ilyinsky et P. I. Blahramberg. Kalinnikov assistait également aux conférences de V. O. Klioujev à l'Université de Moscou.

En raison de l'absence de revenus stables, Kalinnikov devait jouer dans des orchestres de théâtre au violon, au basson ou aux timbales et recopier des partitions. Il était soutenu par le critique musical Semyon Kruglikov, et Piotr Tchaïkovski, ayant hautement apprécié son talent, le recommanda pour le poste de chef d'orchestre du Petit Théâtre en 1892. À cette époque, Kalinnikov donnait également des cours particuliers de théorie musicale et de chant.

À l'automne 1893, il présente des symptômes de tuberculose et déménage en Crimée, où il passe les dernières années de sa vie, continuant à composer de la musique. Il décède le 29 décembre 1900 (11 janvier 1901) et est enterré au cimetière de Polikourovo à Yalta. Sur sa tombe sont gravées les notes du thème principal de sa Première symphonie en sol mineur.

Le style de Kalinnikov continue les traditions de la musique classique russe, y compris les compositeurs du « Groupe des Cinq » et P. I. Tchaïkovski. Son œuvre la plus connue, la Première symphonie en sol mineur, écrite en 1895 et dédiée à Kruglikov, a été jouée pour la première fois lors d'un concert de la Société musicale russe à Kiev et est rapidement devenue populaire tant en Russie qu'à l'étranger.

Dans l'ouverture de Kalinnikov « Byline », on entend un thème dont les premières mesures coïncident avec la mélodie de l'hymne de l'URSS, ce qui a suscité des suppositions selon lesquelles Alexandrov ne serait pas le véritable auteur de l'hymne actuel de la Russie. La date exacte de création de l'ouverture, généralement attribuée à 1893, est inconnue : de son vivant, elle n'a pas été exécutée et a été restaurée à partir des parties orchestrales conservées au Musée central d'État de la culture musicale. Elle a été jouée pour la première fois à la radio le 26 juillet 1950 par un orchestre dirigé par S. Gorchakov, et la partition a été publiée en 1951. Il n'y a aucune information indiquant que l'auteur de l'hymne soviétique ait pu consulter « Byline » dans les archives.