Иван Сергеевич Ярыгин родился 7 ноября 1948 года в селе Усть-Камзас Кемеровской области в семье кузнеца, где было много детей. Позже семья переехала в посёлок Сизая Красноярского края. В детстве Иван не занимался борьбой, а увлекался футболом, играя на позиции вратаря. После окончания школы он отправился в Абакан, чтобы выучиться на шофёра, и играл в футбол за местный мясокомбинат, где подрабатывал. Во время одной из игр его заметил тренер местной секции вольной борьбы В. И. Чарков и предложил попробовать свои силы в борьбе.

В 1966 году, достигнув призывного возраста, Ярыгин переехал в Красноярск, где начал тренироваться под руководством Д. Г. Миндиашвили, который уже имел опыт подготовки успешных борцов. Миндиашвили договорился с военкоматом, чтобы Иван остался служить в Красноярске и мог продолжать тренировки. Во время службы в Красноярском радиотехническом училище ПВО Ярыгин выиграл первенство Вооруженных Сил СССР по самбо и получил звание мастера спорта. После службы он полностью сосредоточился на вольной борьбе и быстро вошёл в число лучших атлетов в этом виде спорта.

В 1968 году Ярыгин выиграл молодёжные первенства России и СССР по вольной борьбе. Подготовка к чемпионату СССР 1970 года проходила под руководством Владимира Гусева и Александра Охапкина. В том же году он стал призёром чемпионата РСФСР и чемпионом СССР.

В 1971 году на Спартакиаде народов СССР Ярыгин уступил Владимиру Гулюткину из Киева, но затем выиграл чемпионат Европы в Катовице, вновь став кандидатом в олимпийскую сборную. Было решено отправить его на Олимпийские игры в Мюнхен, так как он находился в отличной физической форме.

На Олимпиаде в Мюнхене в 1972 году Ярыгин установил рекорд, выиграв все схватки за 8 минут 40 секунд, уложив соперников на лопатки. Он также досрочно завершил все поединки на чемпионате Европы 1972 года в Катовице и на чемпионате мира 1973 года в Тегеране. Ярыгин стал единственным в истории вольной борьбы спортсменом, победившим всех соперников на трёх главных соревнованиях: Олимпийских играх, чемпионате мира и чемпионате Европы.

После Олимпиады у Ярыгина наступил спад, и он проиграл несколько крупных соревнований. Решив завершить карьеру, он вернулся в село Сизая и устроился лесорубом. Жизнь в тайге и физическая работа на свежем воздухе вернули ему уверенность. В 1974 году на первом абсолютном чемпионате СССР по вольной борьбе Ярыгин легко победил всех соперников, многие из которых были крупнее его.

За его мощный и агрессивный стиль борьбы его прозвали «Иван Грозный».

В июле 1976 года на Олимпиаде в Монреале Ярыгин завоевал вторую золотую медаль. Накануне соревнований он сломал два ребра, но скрыл это от врачей и тренера, преодолев боль и выиграв Олимпиаду. Ему доверили нести флаг сборной СССР на закрытии Олимпиады.

Ярыгин выиграл международный турнир в Тбилиси и Кубок мира. В 33 года он стал главным тренером сборной СССР по вольной борьбе и занимал эту должность с 1982 по 1992 год.

С 1993 по 1997 год Ярыгин был президентом федерации спортивной борьбы России и членом бюро международной федерации объединённых стилей борьбы. Он был почётным гражданином Красноярска и Шушенского района и кавалером Золотого знака ФИЛА.

Иван Ярыгин погиб 11 октября 1997 года в автокатастрофе на трассе Махачкала, Кисловодск в Ставропольском крае, столкнувшись с припаркованным грузовиком. Похоронен в Москве на Троекуровском кладбище.