В 1895 году в селе Кувшинное была возведена новая каменная Пятницкая церковь с тремя престолами. Согласно данным из «Справочной книги о церквах, приходах и причтах Курской епархии», к 1908 году в приход церкви, помимо села Кувшинного, входили деревни Алябьева, Беломестное, Чуйкова, Хвостова, Еремина и Майкова, где проживало 1166 человек. С 1883 года священником в церкви служил Василий Михайлович Хорошилов, с 1894 года дьяком был Димитрий Григорьевич Попов, а с 1854 года псаломщиком, Иван Георгиевич Шафранов.

В приходе функционировали две земские школы: в деревнях Алябьева и Хвостова. Попечителем обеих школ был дворянин Александр Сергеевич Перфильев из Карасёвки, а законоучителем, священник Алексей Хорошилов. Учительницей в алябьевской школе была дворянка Лидия Васильевна Толмачёва, а в хвостовской, Олимпиада Ивановна Новосельская.

О внешнем виде и внутреннем убранстве храма можно судить по страховой карточке от 5 июля 1910 года, хранящейся в Российском государственном историческом архиве в Санкт-Петербурге. Согласно карточке, Спасо-Пятницкая церковь была каменной, снаружи не оштукатуренной, но покрашенной масляной краской. Крыша была покрыта железом, окрашенным в зелёный цвет. Длина церкви вместе с колокольней составляла 15 саженей (32 метра), ширина, 10 2/3 сажени (около 23 метров), а высота до карниза, 3 ½ сажени (7,5 метров). Церковь имела одну большую главу и 26 больших окон, а также трое наружных двустворчатых дверей. Внутри она была оштукатурена и имела шесть внутренних двустворчатых дверей. Иконостас длиной 30 аршин (более 21 метра) и высотой 15 аршин (10,5 метров) был оценён в 2000 рублей. Церковь не отапливалась.

Колокольня церкви была двухъярусной, высотой до карниза 4 ½ сажени (9,6 метра). Ближайшим к церкви строением был дом священника, расположенный на юго-востоке на расстоянии около 100 саженей (чуть более 200 метров).

К 1910 году церковь оставалась в хорошем состоянии и вместе с иконостасом и колокольней была оценена в 10000 рублей.

При церкви строилась сторожка длиной 20 аршин (14 метров), шириной 10 аршин (7 метров) и высотой 4 аршина (2,8 метра). Её деревянные стены были покрыты железом. В сторожке было 12 окон и 4 двери. Планировалось завершить строительство до конца 1910 года, а её страховая оценка составила 1000 рублей.

После выхода декрета СНК РСФСР от 23 января 1918 года «Об отделении церкви от государства и школы от церкви», Пятницкая церковь продолжала действовать на основании договора жителей села Кувшинного с Советом рабочих, крестьянских и красноармейских депутатов Курского уезда.

Несмотря на протесты, особенно активные в 1930 году, Пятницкая церковь в селе Кувшинное была закрыта по решению президиума Курского облисполкома от 23 июня 1939 года. Некоторое время здание использовали как зернохранилище, а затем оно было заброшено.

Так как церковь находилась рядом с кладбищем, местные жители не забывали о ней. В начале 1950-х годов храм был снесён по решению властей.