El pueblo de Burgun-Madzhary fue fundado en 1743 cerca de las ruinas de la antigua ciudad tártara de Madzhary y originalmente se llamaba Caucásico Usvyat.

Desde 1764, estas tierras pertenecieron al fiscal general del Imperio Ruso A. A. Vyazemsky. En 1794, el general retirado P. M. Skarzhinsky compró a la viuda del príncipe Vyazemsky 14 mil desiatinas de tierra y las plantó con viñedos, cuyas vides fueron traídas de Francia. El vino producido aquí recordaba al borgoña. Desde entonces, el pueblo comenzó a llamarse Burgun-Madzhary.

Los primeros habitantes construyeron en el pueblo una iglesia de madera, que para mediados del siglo XIX se había deteriorado. En 1854, en el centro del pueblo, se erigió una nueva iglesia de piedra en honor a la Santísima Trinidad. En la década de 1930, el templo fue cerrado y convertido en un granero, perdiendo su cúpula, ventanas y puertas. Sin embargo, desde 1939, se reanudaron los servicios religiosos, y sacerdotes de Budyonnovsk y Levokumsky comenzaron a atender a los fieles.

A principios de la década de 1990, con la bendición del metropolitano de Stavropol y Bakú, Gedeón, y por iniciativa del jefe de la administración del pueblo M. Klimov, el ataman de la sociedad cosaca V. Kozlov y el feligrés M. Shemetov, comenzaron los trabajos de restauración del templo. En 1992, Mikhail Shemetov fue ordenado sacerdote, y en 1996 fue nombrado rector de la iglesia de la Santísima Trinidad, donde sirve hasta el día de hoy. La iglesia de la Santísima Trinidad es el único monumento arquitectónico del siglo XIX en el distrito de Levokumsky.