Церковь Успения Божией Матери была первым храмом в Вышенской пустыни, что и дало обители название Свято-Успенская. Согласно отводной грамоте старицы Марфы Иоанновны, храм изначально находился в старом монастыре на противоположном берегу реки Выши и был перенесён на новое место в 1625 году. Деревянная церковь сгорела в пожаре, и при игумене Досифее её отстроили заново из камня. Строительство завершилось в 1761 году, а освящение прошло в следующем году. В храме было два придела: во имя святителя Николая Мирликийского и преподобного Сергия Радонежского. С XIX века здесь находилась монастырская святыня, чудотворная Казанская икона Божией Матери. В 1774 году, вскоре после возведения каменной церкви, она была разграблена отрядами Пугачёва. К концу XIX века храм стал тесен для прихожан.

Как отмечалось в "Историко-статистическом описании Тамбовской епархии", изданном в начале XX века, "церковь эта прочна по зданию, но невзрачна по виду и неправильна по архитектуре". После освящения нового Христорождественского собора в 1890 году Успенская церковь оставалась неиспользуемой до закрытия Вышенской обители в 1923 году. Большевики передали храм "Детскому городку имени III Интернационала", устроив в нём театр, сняв иконостас и закрасив настенную живопись. Позже здание использовалось психбольницей, разместившейся на территории монастыря. Местные жители рассказывают, что однажды купола храма разобрали, а железо пустили на вёдра для кормления свиней.

К началу 1990-х годов церковь находилась в плачевном состоянии. В 1996 году её купол неожиданно обрушился, а в следующем году здание вернули монастырю. Успенский храм стал первым в обители, где начались восстановительные работы. Его освятили 21 июня 1998 года, и с этого времени в Свято-Успенском Вышенском монастыре возобновились регулярные богослужения. 29 июня 2002 года в Успенский храм из церкви преподобного Сергия Радонежского в селе Эммануиловке были перенесены мощи святителя Феофана Затворника Вышенского. Они находились здесь до 2009 года, когда их поместили в восстановленный и освящённый Казанский собор.