Иван Васильевич принадлежал к дворянскому роду Гудовичей. Его отец, Василий Андреевич Гудович, занимал должность малороссийского генерального подскарбия, а после ликвидации гетманства стал тайным советником.

Иван Гудович получил образование в университетах Кёнигсберга и Лейпцига. Свою службу он начал в 1759 году в звании прапорщика Инженерного корпуса, затем стал флигель-адъютантом начальника оружейной канцелярии П. И. Шувалова.

Во время краткого правления императора Петра III Иван сделал стремительную карьеру благодаря поддержке своего брата Андрея Васильевича Гудовича, который был близким офицером императора. В 1761 году Иван стал генеральс-адъютантом дяди императора, генерал-фельдмаршала принца Георга Шлезвиг-Голштинского. После прихода к власти Екатерины II в 1762 году его арестовали, но через три недели освободили и вскоре повысили в должности.

С 1763 года Иван командовал Астраханским пехотным полком, с которым отправился в Польшу для поддержки избрания королём Станислава Понятовского. Впервые он участвовал в боевых действиях в Русско-турецкой войне 1768, 1774 годов, отличившись в сражениях под Хотином, Ларгой и Кагулом. В 1770 году он командовал отрядом в Валахии, разбил войска сераскира и занял Бухарест. Затем руководил штурмами Журжи и разбил турок при Одалунах. В 1772 году Иван заболел и покинул армию, но в 1774 году вернулся и участвовал в завершающих сражениях войны на Дунае.

После заключения Кючук-Кайнарджийского мира в 1774 году Иван стал командующим дивизией в районе Очакова и на реке Южный Буг, а затем в Херсоне. В 1776 году он женился на младшей дочери последнего малороссийского гетмана Кирилла Разумовского.

В 1785 и 1796 годах Иван был генерал-губернатором рязанского и тамбовского наместничеств, одновременно инспектором армии по инфантерии и кавалерии. В Русско-турецкую войну 1787, 1792 годов он по собственной просьбе был отправлен в действующую армию и назначен командующим отдельным корпусом. Он захватил укрепления Хаджибея и крепость Килия, а затем командовал Кубанским корпусом и начальником Кавказской линии, взяв Анапу.

При Гудовиче к России были присоединены территории Тарковского шамхальства и Дербентского ханства. Под его руководством построены крепости Усть-Лабинская, Кавказская и Шелководская. Он участвовал в подавлении Есауловского бунта на Дону.

В 1796 году, после назначения графа В. А. Зубова командующим войсками для похода в Персию, Иван подал в отставку, считая себя обойдённым. Вместо этого ему дали увольнение на два года и пожаловали 1800 крепостных в Подольской губернии. При Павле I он получил назначение на место Зубова и был произведён в графское достоинство.

С 1798 года Иван стал военным губернатором сначала киевским, затем подольским. В 1799 году он был главнокомандующим армией для действий на Рейне, но в 1800 году за критику военной реформы был уволен.

В 1806 году его вернули на службу и назначили главнокомандующим войсками в Грузии и Дагестане, где он принял меры по борьбе с чумой. В Русско-турецкую войну 1806, 1812 годов он одержал победу над турецкими войсками в битве близ крепости Гумры, за что был произведён в генерал-фельдмаршалы. После неудачного штурма Эривани он отвел войска в Грузию, но болезнь вынудила его оставить Кавказ.

С 1809 года Иван был главнокомандующим в Москве, а с 1810 года членом Государственного совета и сенатором. Его отличала твёрдость, которая в старости превратилась в своенравие. Он был известен как противник очков и троечной упряжи, заставляя людей снимать очки и выпрягать одну лошадь у заставы.

Управление Москвой шло не лучшим образом, и Иван полностью доверился своему брату Михаилу, который был корыстолюбивым человеком. В результате всё было продажным и на откупе. В 1812 году, за месяц до вторжения французов, Иван был уволен по состоянию здоровья. Последние годы он провёл в своём имении, занимаясь музыкой и охотой.

Иван Васильевич обладал крупными поместьями, в которых проживало около 13 тысяч крестьян. Он скончался в 1820 году и завещал похоронить себя в Софийском соборе в Киеве, но его останки были перенесены в Успенский собор Киево-Печерской лавры. После взрыва собора в 1941 году могила была утрачена.