Село Анненково было основано в период с 1704 по 1706 год на земле, принадлежащей дворянам Ивану Ивановичу, Афанасию Ивановичу и Сафону Анненковым, которые были детьми алаторского дворянина Ивана Федоровича Анненкова. Первые жители села были переселены из алаторских имений Анненковых. В 1743 году Иван Иванович Анненков построил каменную церковь в честь иконы Казанской Пресвятой Богородицы, с приделами, посвящёнными святым Петру и Павлу, а также Николаю Чудотворцу. Существует легенда о подземном ходе, соединяющем церковь с барским домом Анненковых. Одна из жительниц села вспоминает, как в молодости вместе с подругами, услышав о подземных ходах, они решили их найти. На окраине усадьбы девушки обнаружили ступеньки, ведущие вниз, и начали спускаться. Чем дальше они продвигались, тем труднее становилось дышать, и вскоре они решили вернуться. Сейчас вход в подземный ход завален, а состояние усадьбы оставляет желать лучшего.