История строительства Крестовоздвиженской церкви начинается в XVI веке. На Федосеевом погосте, впервые упомянутом в 1572 году, стояла деревянная церковь. С 1656 года этот погост, как и деревня Аббакумово, принадлежал Троице-Сергиеву монастырю. За это время деревянная церковь несколько раз горела, отстраивалась заново и ветшала. Известно, что 18 января 1700 года был выдан антиминс, в котором упоминалось, что церковь освятили как "Воздвижение Честнаго Креста Господня в приселке Аббакумово". Это говорит о том, что после пожара церковь была восстановлена и освящена под тем же названием. На колокольне долгое время находился колокол с надписью: "1700 год к Воздвижению на погосте".

После Отечественной войны 1812 года в России началось активное строительство храмов. Село Аббакумово, ныне Костерево, не стало исключением. Местные крестьяне и купцы решили построить каменную церковь. Для этого собирали булыжник для фундамента, а на местных глинах наладили производство кирпича. В имении графа Воронцова, в селе Андреевском, был нанят опытный зодчий, который разработал план строительства и руководил работами. Летом 1814 года на глазах у селян вырос большой барабан с 12 окнами и сферическим куполом. Эти 12 окон символизировали 1812 год. На одной из стен здания был прикреплен деревянный щит с именами героев Липенской волости, погибших за Отечество.

Церковь была освящена в 1815 году. В ней находилась главная икона "Воздвижение Креста Господня", выполненная мастером Сазиковым, выпускником Владимирской художественной школы. Изначально в храме было три престола: Воздвижение Креста Господня, Троицкий и Казанской иконы Божией Матери. Позже, после строительства нового Троицкого храма, остался только центральный престол. В 1870 году трапезную расширили, а в 1879 году надстроили колокольню. После Октябрьской революции были попытки закрыть церковь, но она продолжала функционировать в советское время.