Nikolai nació el 28 de febrero de 1872 en el pueblo de Beketovo, en la provincia de Vorónezh, en una familia de administradores de fincas. Desde 1892 hasta 1901 estudió en la Escuela Superior de Bellas Artes de la Academia Imperial de Artes, comenzando en 1896 con I.E. Repin. En 1911, Petrov presentó sus obras en una exposición internacional en Roma, y en 1916 recibió el título de académico de pintura.

En la revista "Niva" de 1911, en el número 13, su obra "Balcón" se describe como "un encantador paisaje, lleno de frescura y de una especial y dulce intimidad familiar". En el número 39 de 1913 se menciona su trabajo: "En sus pinturas, el artista N. Petrov recrea ante nosotros la antigua vida de los terratenientes, conocida por nuestra generación a través de las novelas de Goncharov. En la pintura 'El viejo terrateniente' se siente algo típicamente goncharoviano: ante nosotros está el mismo Oblomov, dormitando en el sofá con su invariable pipa...".

Nikolai Filippovich Petrov vivió inicialmente en San Petersburgo, pero en 1910 se mudó a Penza. Desde 1910 hasta 1918 fue director de la Escuela de Bellas Artes de Penza, y luego enseñó allí hasta 1936.

En 1936, el artista regresó a Leningrado, donde ocupó el cargo de subdirector de la Academia de Bellas Artes de toda Rusia. Desde 1937 hasta 1939, dirigió el departamento de pintura. Nikolai Filippovich Petrov falleció el 9 de diciembre de 1941 en el Leningrado sitiado.