Он был крепостным крестьянином князя Алексея Борисовича Голицына, но в Москве занялся торговлей и подрядными работами, что позволило ему накопить значительные средства и стать купцом.

Около 1770 года он принял старообрядчество федосеевского толка и был перекрещён ярославским крестьянином Ильёй Ивановым, сменив своё имя с «Василий» на «Илья».

Его деятельность приобрела большое значение в 1771 году, когда в Москве вспыхнула чума, вызвавшая панику и опасения, что жители разбегутся по другим городам, распространяя заразу. 1 сентября 1771 года был издан указ, призывающий жителей организовать заставы и карантины вокруг Москвы, чтобы контролировать выезд из города. Ковылин и его товарищ по расколу, купец Зеньков, решили использовать эту возможность и предложили организовать карантин за свой счёт. Получив разрешение, они арендовали участок земли у крестьян села Черкизова, через который проходила дорога на Владимир, и установили заставу, построив несколько домиков для задержания выходящих из Москвы. Впоследствии вокруг этого посёлка образовалось московское Преображенское кладбище.

На средства Ковылина и Зенькова был построен целый городок с часовнями и каменными жилыми корпусами, который долгое время оставался их частной собственностью.

Организаторы заставы заботились о задержанных, снабжая их всем необходимым, ухаживали за заболевшими и хоронили умерших с церковными обрядами, в отличие от большинства случаев в Москве, где умерших просто зарывали в землю. Это произвело сильное впечатление и помогло Ковылину привлечь многих в старообрядчество, где в карантине постоянно происходили перекрещивания. Московские власти в то тяжёлое время не имели возможности следить за нарушениями законов, и самоотверженная деятельность Ковылина обеспечила ему покровительство властей. Он активно работал над укреплением раскольничьей общины, перенёс дома умерших на занятую землю и убедил многих оставшихся в живых остаться там жить.

Ковылин был выбран настоятелем общины и пользовался огромным влиянием, умело привлекая колеблющихся строгими и страстными поучениями, а скептически настроенных, толкованием религиозных требований, позволяющим разнузданность. В первый год он обустроил посёлок, приобрёл множество старых икон и ввёл устав, полученный с Ветки. Ковылин привлекал богатых жертвователей и ладил с властями, так что при Екатерине II община процветала.

Император Павел I был неблагосклонен к общине, и его указы могли привести к её уничтожению, но Ковылин сумел задержать их применение в Москве.

С воцарением Александра I лучшие времена вернулись. В первый год его правления Ковылин через князя А. Б. Куракина добился указа 15 октября 1801 года, благоприятного для раскольников, что принесло ему известность и почёт среди старообрядцев. Он также добился признания Преображенского кладбища гражданским учреждением, подчинённым только полиции, что обеспечило его процветание. К концу жизни Ковылина кладбище насчитывало до 10 000 прихожан, а на его территории проживало до 1500 человек.

Ковылин умер в 1809 году в глубокой старости, окружённый уважением общины. Он был похоронен на Преображенском кладбище, которому завещал свои капиталы. Его могила сохранилась в центре старой части кладбища, за Никольской часовней. Память о нём осталась в названии Ковылинского переулка в районе Преображенское.

Современники описывали его как высокого человека с красивым телосложением, белым продолговатым лицом, весёлым и пронзительным взглядом, длинной бородой, украшенной сединами. Он был выдающимся человеком по своим административным способностям и энергии. Однако даже старообрядцы признавали, что строгостью жизни он не отличался, провозглашая принцип: «тайно содеянное тайно и судится» и позволяя себе и другим распущенность, следя лишь за тем, чтобы соблазн не становился явным. Ковылин также оставил после себя несколько посланий по вероисповедным вопросам, но они не представляют особого интереса.