El templo de madera en este lugar se menciona por primera vez en 1625, aunque hay razones para creer que existió antes. En ese momento, aquí se encontraba la Sloboda Estatal Kazennaya, que se encargaba del almacenamiento del tesoro real y otros bienes. En 1676, el comerciante Daniil Pivovarov construyó una iglesia de piedra, cuyo altar principal fue consagrado en honor a la icono de Kazán de la Madre de Dios. En el refectorio se organizaron dos capillas, la de Nicolás y la de Santiago, por la última el templo recibió su nombre. La iglesia adquirió su forma definitiva en el segundo cuarto del siglo XIX tras una significativa reconstrucción.

Inicialmente, el templo de piedra del siglo XVII tenía un aspecto característico de la época: una iglesia de cinco cúpulas con kokoshniks y fachadas adornadas con ladrillos decorativos. La torre campanario de forma de tienda en el lado oeste fue reemplazada a mediados del siglo XVIII por una de tres niveles barroca. En 1831 y 1833, la iglesia, en lugar de cinco cúpulas, recibió una amplia cúpula sobre un tambor con grandes ventanas, las tres ábsides del altar fueron reemplazadas por una amplia, se eliminó la decoración de ladrillo de las fachadas, y el edificio adquirió un estilo imperial sobrio, conservando la base del siglo XVII. Los trabajos de reconstrucción de la iglesia fueron encargados por el comerciante Ivan Matveyevich Yartsev, quien en ese momento era el alcalde de Moscú. En 1841 y 1844, la compradora Tatyana Ivanovna Tumakova renovó el refectorio y las capillas en estilo imperial.

A principios del siglo XX, en la iglesia de Santiago funcionaba una beneficencia parroquial para los pobres y un pequeño asilo. En 1932, los servicios religiosos se detuvieron, y la apariencia de la iglesia cambió drásticamente: aparecieron tubos, anexos, escaleras, y dentro se instalaron un garaje y un taller mecánico. Con el tiempo, la cúpula se derrumbó, el techo se cubrió de árboles, aparecieron grietas serias en las paredes, y la iglesia prácticamente se convirtió en ruinas. Solo en 1995 se reanudaron los servicios religiosos, y más tarde el templo fue restaurado. En ese mismo momento, el callejón, originalmente llamado Yakovlevsky, renombrado en 1961 como calle Elizarova, en los años 90 se convirtió en Yakovoapostolsky.