Село Андреевское, расположенное на реке Пекше, входило в состав Матренинской волости. Впервые его название упоминается в документах середины XVIII века, а до этого оно было известно как деревня Бузино. В 1703 году стольник Андрей Федорович Нарышкин построил здесь деревянную церковь святого апостола Андрея Первозванного, что и дало селу его нынешнее имя. Позже новым владельцем Андреевского стал граф Роман Илларионович Воронцов, который решил обустроить здесь усадьбу под руководством архитектора Николая фон Берка. Одновременно на родовом кладбище Воронцовых по проекту архитектора А. Трофимова началось строительство каменной домовой церкви в честь святого апостола Андрея Первозванного. Церковь строилась с 1777 года и была освящена в 1779 году. Главный престол был посвящен святому Андрею Первозванному, а второй, святым князьям Борису и Глебу.

Архитектура церкви сочетает элементы барокко и раннего классицизма. Это трехчастный пятиглавый храм трапезного типа, вытянутый по оси восток-запад. Центральная часть выполнена в виде двухэтажного четверика с высоким сферическим куполом, окруженного фронтонами с пятью восьмигранными барабанами и луковичными главками. С востока расположена полукруглая апсида с классической конхой, а с запада, небольшая трапезная, над которой раньше возвышалась трехъярусная колокольня. Церковь украшена рустованными пилястрами, полуколоннами, карнизами, фронтонами и фигурными наличниками окон. Вокруг храма была церковная ограда с двумя каменными воротами, ведущими к усадебному дому и в сторону дороги на Владимир.

После Романа Илларионовича усадьбой владел его сын Александр Романович. Его сестра, Екатерина Романовна Дашкова, часто гостила у него и посещала богослужения в этом храме. Службы проводились несколько раз в год по просьбе графа священниками из Воскресенского храма села Матренино. Александр Романович скончался 2 декабря 1805 года и был похоронен в усадебном храме. В 1865 году князь Семен Михаилович Воронцов установил мраморное надгробие, выполненное скульптором Руфиони, и чугунную ограду над могилой. В советское время надгробие было уничтожено, но в 2012 году его восстановили по фотографиям и описаниям на средства Фонда потомков Воронцовых. С 1861 года Воронцовы передали храм в приходское использование, взяв на себя расходы по его содержанию.

После Октябрьской революции начались гонения на служителей храма святого апостола Андрея Первозванного. В 1930-х годах храм закрыли, а имущество экспроприировали. Колокольня была разрушена, главки с крестами сняты, а в помещении церкви сначала устроили клуб, где проводились танцы и показывали кино для отдыхающих в доме отдыха, а затем разместили гараж и мастерскую для ремонта машин противотуберкулезного детского санатория "Болдино", который занял здание бывшей усадьбы с середины 1970-х годов.

В 1990 году в селе образовалась православная община, и храм вскоре вернули верующим и отреставрировали. Колокольня пока не восстановлена.