В середине XVII века, в период восстановления Карачева после польского разорения в Смутное время, был построен новый деревянный храм на посаде, за древней осыпью. Он был посвящен Святителю Николаю, особо почитаемому на Руси, с приделом Святого Иоанна Воина. Исторические источники сообщают, что храм был возведен совместными усилиями причта и прихожан. Рядом с храмом находилось приходское кладбище и церковные усадебные места, а также храм владел пашней в верховьях речки Горе-Грязи. В 1806 году придел Святого мученика Иоанна Воина был заменен приделом Святого Пророка Илии. Это произошло после события 1805 года, когда во время засухи в городе прошел Крестный ход с молебном о дожде, и перед храмом небо внезапно затянулось дождливыми тучами, из которых полил обильный дождь. Лето оказалось урожайным, и в честь этого горожане решили построить придел Святого Пророка Илии, так как до Смутного времени в городе существовал храм Пророка Илии, уничтоженный поляками вместе с городом. На этом месте и был возведен храм Святителя Николая.

В 1860 году деревянный Никольский храм был заменен новым каменным пятиглавым храмом у большой Орловской дороги. Его строительство началось в 1855 году под руководством крестьянина деревни Масловка Гавриила Васильевича Болдырева и завершилось в 1860 году, когда храм был освящен по благословению Преосвященного Поликарпа. Изначально храм был без трапезной части, с тремя престолами: во имя Святителя Николая, Святого Пророка Илии и в честь иконы Божией Матери «Утоли моя печали». В 1862-1863 годах были пристроены трапезная часть и каменная колокольня, а также добавлены два престола: во имя Святителя Тихона Задонского и Святого мученика Иоанна Воина.

В 1871 году из-за трещин в капитальных стенах, вызванных непрочным грунтом, была перестроена верхняя часть храма, и вместо пяти глав появился один купол.

После большевистского переворота 1917 года начались гонения на Православие, и храмы один за другим закрывались советской властью. Храм Святителя Николая также был закрыт в 1927 году по решению местных властей, и более 60 лет здесь не звучало слово Божие. В советские годы колокольня была разобрана, а в храме до Великой Отечественной войны находился кинотеатр. Во время войны здесь был немецкий лагерь для советских военнопленных, а в послевоенные годы, мебельный магазин и склад гражданской обороны.

В мае 1994 года, после долгого запустения, здесь впервые состоялось Богослужение при большом стечении народа. В 2006 году завершилась роспись центральной части храма. Сейчас ведутся работы по восстановлению фасада храма.