По распространённой, в том числе в дореволюционных источниках, версии, село Козловка было основано в 1854 году. Однако это неверно, так как уже в 1845 году в Козловке, где было 120 дворов и проживало 601 мужчина и 518 женщин, прихожане построили временную православную церковь во имя Николая Чудотворца. Храм был деревянным, холодным и без колокольни. В его причт входили священник, дьячок и пономарь. Вероятно, Козловка была основана в начале XIX века на почтовом тракте между Новоузенском и Саратовом. В канун отмены крепостного права в селе насчитывалось 170 домохозяйств, где жили 530 мужчин и 560 женщин.

В 1860 году на средства прихожан была освящена новая церковь Николая Чудотворца, построенная по проекту 1857 года. Деревянное здание с колокольней и железной крышей вмещало до 450 человек и было окружено деревянной оградой, за которой находилась сторожка. В 1868 году в Козловке открылась смешанная земская школа, для которой в 1869-1870 годах построили отдельное просторное здание.

В 1891 году была открыта смешанная школа грамоты, позже преобразованная в одноклассную женскую церковно-приходскую школу с собственным зданием. К концу XIX века в Козловке было 329 дворов, 874 мужчины и 926 женщин. Вблизи пруда находился выселок Козловочка с 4 домохозяйствами, 27 мужчинами и 18 женщинами. Надел земли был в общем владении жителей села и выселка. Помимо церкви и двух школ, в селе работали шесть ветряных мельниц, волостное правление и военно-конский участок. В 1901 году было решено построить новый храм вместо ветхой церкви. Руководил строительством известный самарский архитектор Т. С. Хилинский. Здание заложили в 1902 году, а в 1903 году завершили фасад и покрыли железом колокольню. В том же году построили дома для священника и псаломщика, а также открылась бесплатная народная библиотека-читальня, учреждённая новоузенским уездным земством.

Строительство церкви завершилось в 1904 году. Приходская школа закрылась в августе 1907 года. 26 сентября 1909 года состоялось торжественное освящение храма во имя Николая Чудотворца. Новое деревянное здание на 1500 человек было однопрестольным, с колокольней и железными крышей и оградой. В 1910 году в Козловке было 377 дворов, 1069 мужчин и 1063 женщины. Продолжали работать церковь, земская школа, пять ветряных мельниц, волостное правление и военно-конский участок.

С приходом Советской власти Козловка стала центром одноимённого сельсовета Питерской волости. В период коллективизации был создан колхоз, а церковь Николая Чудотворца закрыли и затем разрушили.