Церковь в Козохове была возведена в 1804 году лейб-гвардии поручиком Алексеем Ивановичем Кологривовым. Это одноглавая церковь с двумя престолами: Казанской Божией Матери и Воздвижения Креста Господня. Колокольня была построена одновременно с церковью. До этого деревянной церкви на этом месте не существовало.

В Козоховской церкви хранится местная икона Казанской Божией Матери, отличающаяся древностью и великолепным письмом. Она украшена драгоценным окладом и была пожертвована прежними владельцами Козохова, семьей Кологривовых, которые почитали её как чудотворную и считали родовой реликвией. В честь этой иконы Кологривовы и возвели каменную церковь, разместив её среди местных святынь. В церкви нет других местно чтимых чудотворных икон.