Крупнейший католический храм в России изначально задумывался как филиал другой церкви, которая сейчас не функционирует.

В конце XIX века центром для московских католиков служил Милютинский переулок, где находились два храма: святого Людовика, который посещали в основном французы, итальянцы и испанцы, и святого Петра и Павла, где прихожанами были немцы, поляки, литовцы и другие выходцы из Центральной и Восточной Европы. Со временем второй храм стал тесным, и польская часть прихожан предложила построить третью церковь в качестве филиала. В 1894 году было подано прошение генерал-губернатору Москвы. Власти дали разрешение, но с условиями: новый храм должен быть построен не в центре Москвы, вдали от православных церквей, без башен и скульптур. В итоге выбрали Малую Грузинскую улицу, что, вероятно, было связано с близостью Брестского вокзала (ныне Белорусский), соединявшего Москву с западными губерниями.

Строительство церкви началось в 1901 году и в основном завершилось к 1911 году, когда состоялось освящение храма. Внутренняя отделка продолжалась до революции. Условие об отсутствии скульптур и башен было выполнено частично: проект польского архитектора Ф.О. Богдановича-Дворжецкого, который ранее построил католический храм в Самаре, был выполнен в неоготическом стиле и предусматривал небольшие декоративные башенки-шпили и световой фонарь в средокрестии, увенчанный шпилем с крестом. Вытянутые стрельчатые окна дополнялись большой розой над главным входом. Крестообразное здание вмещало до 5000 человек. В 1911 году храм был окружен оградой, выполненной Л.Ф. Даукшем в том же неоготическом стиле.

После революции храм стал независимым приходом, но в 1938 году богослужения прекратились, интерьеры были почти полностью уничтожены, а здание использовалось как общежитие. Во время немецких бомбардировок здание пострадало от нескольких снарядов. После войны церковь потеряла оставшиеся башенки и другие декоративные элементы фасадов, а ее внутреннее пространство было разделено на четыре этажа, где в 1950-х годах располагался НИИ «Мосспецпромпроект». В советское время на соседней улице Климашкина находилось посольство Польши.

В 1990 году был создан польский католический приход Непорочного Зачатия Пресвятой Девы Марии, который начал борьбу за возвращение здания верующим. Сначала мессы проводились на ступенях собора, а внутрь удалось попасть только в 1996 году. Здание, утратившее храмовый облик и долго не ремонтировавшееся, срочно нуждалось в реставрации, которая была проведена в течение трех лет. Сегодня церковь выглядит так, как задумывал Ф.О. Богданович-Дворжецкий в начале XX века.