В 1899 году на средства прихожан был возведен каменный храм с тремя престолами, освященный в честь святителя Николая Чудотворца. В храме также были приделы, посвященные Казанской Божией Матери и преподобному Иоанну Рыльскому. К церкви примыкала каменная колокольня с железной крышей.

При храме работала церковно-приходская школа, а приход поддерживал несколько земских школ. В деревнях Щербачевка, Бардаковка и Нижняя Паровая располагались двухклассные школы, а в Красном Клине, земская одноклассная. С 1900 года священник Гавриил Алексеевич Вишневский исполнял обязанности законоучителя в этих школах.

С 1937 года Николаевская церковь в селе Ржава перестала функционировать из-за "отказа клира от работы". 2 сентября 1940 года приход был упразднен. На 1 января 1953 года в селе Ржава числилась зарегистрированная религиозная община. Богослужения в храме периодически прекращались из-за отсутствия священника. В 1975 году церковь вновь закрылась, но в 1990-х годах приход был возрожден и действует по сей день.