Иван Павлович Бардин родился 10 ноября 1883 года, а 13 ноября его рождение было зарегистрировано православной церковью. Он появился на свет в семье портного Павла Дмитриевича Бардина и его жены Дарьи Михайловны в селе Широкий Уступ Аткарского уезда Саратовской губернии, ныне это Калининский район Саратовской области. В детстве Иван тяжело переболел холерой, и часть его семьи погибла во время эпидемии.

Бардин получил начальное и среднее образование в ремесленном и земледельческом училищах. В 1902 году, по настоянию семьи, он поступил в Ново-Александрийский институт сельского хозяйства и лесоводства, но был исключён за участие в студенческом революционном движении 1905 года.

В 1906 году он поступил в Киевский политехнический институт, сначала на агрономическое, а затем на химическое отделение, которое окончил в 1910 году, специализируясь на металлургии чугуна и стали под руководством профессора В. П. Ижевского. Это пробудило у него глубокий интерес к чёрной металлургии.

Бардин работал на заводах в США, где трудился по 12-14 часов в день и досконально изучил производство. В 1912 году на Юзовском заводе он встретился с известным русским доменщиком М. К. Курако, что окончательно определило его жизненный путь. Бардин трудился на металлургических заводах: Юзовском, Енакиевском, «Югсталь», Макеевском и имени Ф. Э. Дзержинского в Каменском.

Представитель Сибирского филиала Государственного института проектирования металлургических заводов предложил Бардину работу на строительстве нового завода, и он согласился. Одной из причин его согласия была возможность воплотить мечту М. К. Курако, построить металлургический завод с большими доменными печами на базе коксующегося каменного угля высокого качества.

Первоначально планировавшийся завод на базе Тельбеского месторождения решили перенести в район Кузнецка, и Тельбесстрой был переименован в Кузнецкстрой. В 1929 и 1937 годах Бардин был главным инженером Кузнецстроя и одним из руководителей строительства КМК имени И. В. Сталина. Строительство было завершено за три года, а выпуск продукции увеличился с 400 тысяч тонн до почти 1,5 миллионов в год. Бардин также основал выставку и музей истории комбината.

В 1932 году за свои технические разработки Бардин был удостоен звания академика. С 1937 года он занимал руководящие посты в чёрной металлургии, активно участвуя в разработке технической политики.

С 1939 по 1960 год Бардин был директором ИМетАН. В Академии наук СССР он был заместителем председателя Совета по координации научной деятельности. В 1940 и 1946 годах возглавлял коллектив учёных, разрабатывавших проект строительства ЧМЗ.

С 1942 по 1960 год Бардин был вице-президентом АН СССР. В годы Великой Отечественной войны он руководил работами академии, возглавлял Уральский филиал АН СССР и основал несколько свердловских НИИ для мобилизации ресурсов восточных районов СССР.

В 1943 и 1958 годах он преподавал в МИС имени И. В. Сталина и до 1960 года руководил кафедрой экономики и организации металлургического производства. С 1944 по 1960 год Бардин был директором ЦНИИчермет, который с 1960 года носит его имя.

С 1955 года он возглавлял советский комитет по проведению Международного геофизического года и был членом Главной редакции 2-го издания Большой советской энциклопедии. Бардин также был депутатом Совета Союза ВС СССР 1-го и 5-го созывов.

7 января 1960 года на заседании в Госплане СССР у Бардина после доклада внезапно остановилось сердце. Он похоронен на Новодевичьем кладбище. В его биографии стоит отметить, что он усыновил 11 детей своих репрессированных коллег.