Das Dorf Burgun-Madzhary wurde 1743 in der Nähe der Ruinen der alten tatarischen Stadt Madzhary gegründet und hieß ursprünglich Kaukasischer Usvyat.

Seit 1764 gehörten diese Ländereien dem Generalprokurator des Russischen Reiches A. A. Wjasemsky. 1794 erwarb der im Ruhestand befindliche General P. M. Skarzhinsky von der Witwe des Fürsten Wjasemsky 14.000 Desjatinen Land und bepflanzte sie mit Weinbergen, deren Reben aus Frankreich gebracht wurden. Der hier produzierte Wein erinnerte an Burgunder. Seitdem wurde das Dorf Burgun-Madzhary genannt.

Die ersten Bewohner bauten im Dorf eine Holzkirche, die bis zur Mitte des 19. Jahrhunderts baufällig wurde. 1854 wurde im Zentrum des Dorfes eine neue Steinkirche zu Ehren der Heiligen Dreifaltigkeit errichtet. In den 1930er Jahren wurde die Kirche geschlossen und in ein Getreidelager umgewandelt, verlor ihre Kuppel, Fenster und Türen. Doch seit 1939 wurden die Gottesdienste wieder aufgenommen, und Priester aus Budjonovsk und Levokumsky begannen, die Gläubigen zu betreuen.

Zu Beginn der 1990er Jahre, mit dem Segen des Metropoliten von Stawropol und Baku Gideon und auf Initiative des Dorfverwalters M. Klimov, des Ataman der Kosakenvereinigung V. Kozlov und des Gemeindemitglieds M. Shemetov, begannen die Arbeiten zur Wiederherstellung der Kirche. 1992 wurde Michail Shemetov zum Priester geweiht, und 1996 wurde er zum Pfarrer der Heiliggeistkirche ernannt, wo er bis heute dient. Die Heiliggeistkirche ist das einzige architektonische Denkmal des 19. Jahrhunderts im Levokumsky-Distrikt.