Главной архитектурной достопримечательностью Чемизовки является старая церковная колокольня. Храм в селе был возведен стараниями помещицы Вигилии Чемесовой в 1747 году. По другим источникам, строительство завершилось в 1751 году, а также есть сведения, что храм был построен в 1745 году и освящен в 1748 году. Церковь была деревянной, холодной и имела один престол, посвященный святителю Николаю Чудотворцу. В 1829 году её перенесли на новое место, а в 1846 году, благодаря усилиям прихожан, к зданию пристроили каменную колокольню. К приходу чемизовского храма относились близлежащие деревни Ломовка, Петровка, Николаевка, Ивановка, Хорошевка и Дарьевка. В церковный штат входили священник и псаломщик, которые проживали в церковных домах. При Советской власти 20 августа 1934 года церковь была закрыта и переоборудована под зернохранилище. Она оставалась заброшенной до конца XX века, когда была уничтожена пожаром, возникшим из-за неосторожности местных жителей, сжигавших сухую траву. В настоящее время от старинной церкви сохранился только фундамент. Однако колокольня и памятник над склепом барановской помещицы Елены Александровны Михайловой-Расловлевой фон Липхарт сохранились в отличном состоянии и по-прежнему находятся за церковным престолом.