Основанная во второй половине XVIII века, помещичья православная русская деревня изначально называлась Андреевка, в честь барина. Также она была известна как Елховская, по имени ключа Елховый, который пользовался популярностью среди местных жителей. Деревня входила в состав Твердиловской волости и относилась к Покровскому церковному приходу. В 1847 году местные жители построили деревянную церковь с колокольней в честь Архангела Михаила. После отмены крепостного права в 1861 году, с помощью земства, в деревне было возведено каменное здание православной школы, и она получила статус села. Церковь просуществовала менее ста лет и была закрыта в 1930 году. Купола сняли, колокольню разрушили, а здание использовали как склад для сельскохозяйственной продукции и инвентаря, пока его не разобрали на строительные материалы.

В 2000 году на месте утраченной церкви в селе Елховка установили памятный поклонный крест. Православный приход храма Архангела Михаила был вновь образован в селе Елховка Бузулукского района 18 ноября 2015 года. На собрании жителей было принято решение о проектировании и строительстве нового храма в селе Елховка.