En 1810, à Klioujevka, sur l'initiative du propriétaire terrien Mikhaïl Andrianovitch Oustinov, une église en pierre a été construite. Le temple avait un clocher et deux autels : le principal était dédié à Nicolas le Miracleux, et le secondaire, à l'archange Michel. Un ossuaire a été érigé au cimetière du village, qui était rattaché à l'église de Nicolas. Le clergé se composait d'un prêtre et d'un psalmiste, qui vivaient dans des maisons près de l'église. À l'époque soviétique, le temple a été fermé, mais a échappé à la destruction et a été préservé jusqu'à nos jours.

Le 7 juillet 2013, une source a été consacrée dans le village, qui, selon la tradition, jaillissait autrefois sous l'autel de l'église de Nicolas. La cérémonie de consécration a été menée par le curé de l'arrondissement de Bazarno-Karaboulak et de Novobourassk, le prêtre Nicolas Protasov, et le recteur de l'église de Pokrov à Novobourassk, le prêtre Ioann Kovatch. La source rénovée est présentée sous la forme de trois clés, symbolisant le Seigneur Jésus-Christ, la Très Sainte Mère de Dieu et le Séraphin de Sarov. L'eau des clés s'écoule en forme de croix, et le sommet de la source est décoré d'un kiosque avec une icône du vénérable Séraphin, apportée du monastère de Séraphimo-Diveevo.