La principale attraction architecturale de Tchemizovka est l'ancienne cloche de l'église. Le temple du village a été construit grâce aux efforts de la propriétaire Viglia Tchemesova en 1747. Selon d'autres sources, la construction a été achevée en 1751, et il y a aussi des informations selon lesquelles le temple a été construit en 1745 et consacré en 1748. L'église était en bois, froide et avait un autel, dédié à saint Nicolas le Miracleux. En 1829, elle a été déplacée à un nouvel emplacement, et en 1846, grâce aux efforts des paroissiens, une cloche en pierre a été ajoutée au bâtiment. Le temple de Tchemizovka desservait les villages voisins de Lomovka, Petrovka, Nikolaevka, Ivanovka, Khoroshevka et Daryevka. Le personnel de l'église comprenait un prêtre et un psalmiste, qui vivaient dans des maisons ecclésiastiques. Sous le régime soviétique, le 20 août 1934, l'église a été fermée et réaménagée en silo à grains. Elle est restée abandonnée jusqu'à la fin du XXe siècle, lorsqu'elle a été détruite par un incendie causé par l'imprudence des habitants locaux qui brûlaient de l'herbe sèche. Actuellement, il ne reste que les fondations de l'ancienne église. Cependant, la cloche et le monument au-dessus du caveau de la propriétaire de Baranovka, Elena Alexandrovna Mikhailova-Raslovleva, de la famille von Lipkhart, sont restés en excellent état et se trouvent toujours derrière l'autel de l'église.