Николай родился 28 февраля 1872 года в селе Бекетово Воронежской губернии в семье управляющего имением. С 1892 по 1901 год он обучался в Высшем художественном училище при Императорской Академии художеств, начиная с 1896 года у И.Е. Репина. В 1911 году Петров представил свои работы на международной выставке в Риме, а в 1916 году получил звание академика живописи.

В журнале «Нива» за 1911 год, в 13-м номере, его работа "Балкон" описывается как «прелестный пейзаж, полный свежести и особой милой семейной интимности». В 39-м номере за 1913 год о его творчестве говорится: «В своих картинах художник Н. Петров воссоздает перед нами старинную помещичью барскую жизнь, знакомую нашему поколению по романам Гончарова. В картине “Старый барин” ощущается что-то типично гончаровское: перед нами сам Обломов, дремлющий на диване с неизменной трубкой…».

Николай Филиппович Петров сначала жил в Санкт-Петербурге, но в 1910 году переехал в Пензу. С 1910 по 1918 год он был директором Пензенского художественного училища, а затем преподавал там до 1936 года.

В 1936 году художник вернулся в Ленинград, где занял должность заместителя директора Всероссийской академии художеств. С 1937 по 1939 год он возглавлял кафедру живописи. Николай Филиппович Петров скончался 9 декабря 1941 года в блокадном Ленинграде.