El mayor templo católico en Rusia fue concebido originalmente como una filial de otra iglesia que actualmente no está en funcionamiento.

A finales del siglo XIX, el centro para los católicos de Moscú era el callejón Milyutinsky, donde se encontraban dos templos: el de San Ludovico, que era visitado principalmente por franceses, italianos y españoles, y el de San Pedro y San Pablo, donde los feligreses eran alemanes, polacos, lituanos y otros oriundos de Europa Central y del Este. Con el tiempo, el segundo templo se volvió pequeño, y la parte polaca de los feligreses propuso construir una tercera iglesia como filial. En 1894 se presentó una solicitud al gobernador general de Moscú. Las autoridades dieron permiso, pero con condiciones: el nuevo templo debía ser construido no en el centro de Moscú, lejos de las iglesias ortodoxas, sin torres ni esculturas. Al final, se eligió la calle Pequeña Gruzina, lo que probablemente estaba relacionado con la cercanía de la estación de tren de Brest (hoy Belarús), que conectaba Moscú con las provincias occidentales.

La construcción de la iglesia comenzó en 1901 y se completó en su mayor parte para 1911, cuando se llevó a cabo la consagración del templo. La decoración interior continuó hasta la revolución. La condición de no tener esculturas ni torres se cumplió parcialmente: el proyecto del arquitecto polaco F.O. Bogdanovich-Dvorzhetsky, quien anteriormente había construido un templo católico en Samara, fue realizado en estilo neogótico y preveía pequeñas torres decorativas y una linterna en el crucero, coronada con un pináculo con una cruz. Las ventanas alargadas en forma de flecha se complementaban con una gran rosa sobre la entrada principal. El edificio en forma de cruz podía albergar hasta 5000 personas. En 1911, el templo fue rodeado por una cerca, realizada por L.F. Daukshem en el mismo estilo neogótico.

Después de la revolución, el templo se convirtió en una parroquia independiente, pero en 1938 se interrumpieron los servicios, los interiores fueron casi completamente destruidos y el edificio se utilizó como albergue. Durante los bombardeos alemanes, el edificio sufrió daños por varios proyectiles. Después de la guerra, la iglesia perdió las torres restantes y otros elementos decorativos de las fachadas, y su espacio interior fue dividido en cuatro pisos, donde en la década de 1950 se encontraba el Instituto de Investigación "Mosspetsproyekt". En la época soviética, en la calle vecina Klimashkina se encontraba la embajada de Polonia.

En 1990 se creó la parroquia católica polaca de la Inmaculada Concepción de la Santísima Virgen María, que comenzó la lucha por la devolución del edificio a los fieles. Al principio, las misas se celebraban en los escalones de la catedral, y solo se pudo acceder al interior en 1996. El edificio, que había perdido su apariencia de templo y no había sido reparado durante mucho tiempo, necesitaba urgentemente una restauración, que se llevó a cabo durante tres años. Hoy, la iglesia se ve como la había concebido F.O. Bogdanovich-Dvorzhetsky a principios del siglo XX.