История полтавской святыни уникальна. После Полтавской битвы царь Петр I распорядился основать мужской монастырь в честь победы над шведами, с двумя церквями: верхней, посвященной апостолам Петру и Павлу, и нижней, Сампсоновской, в честь Сампсона Странноприимца. Однако указ не был реализован.

В 1840 году И. С. Судиенко, тайный советник, пожертвовал 100000 рублей на строительство церкви на поле Полтавской битвы. В 1841 году был утвержден проект архитектора И. И. Шарлеманя, доработанный в 1848 году. Храм в честь Сампсона Странноприимца заложили в 1852 году и освятили в 1856 году на средства Судиенко. Первая церковь была небольшой, в византийском стиле, с центральным куполом и четырьмя декоративными главками. Напротив нее построили два каменных домика для причта.

В 1887 году при церкви открыли школу для мальчиков, где учителем был иеромонах Харитон Карпиленский. В 1888 году в школе училось более 30 учеников, и в 1889 году ее преобразовали в церковно-приходскую. Богослужения стали ежедневными, так как ученики и их родственники посещали храм. В 1892 году на средства епископа Илариона построили новое здание школы на 50 учеников, а в 1899 году открыли трехклассную учительскую школу.

Церковь стала тесной, и в 1890 году обер-прокурор Синода К. П. Победоносцев поддержал расширение храма. Архитектор Синода Никонов составил проект перестройки. К 200-летию Полтавской битвы по проекту С. В. Носова достроили колокольню, установили мраморный иконостас, расписали интерьер, а на фасаде разместили картину с изображением Петра I. В 1909 году при церкви открылся первый музей Истории Полтавской битвы, который действовал до 1918 года.

Церковь пострадала в годы гонений и была закрыта в 1948 году, но в 1990 году передана православной общине. В 2003 году восстановили колокольню в ее первоначальном виде.