En el lugar del actual puente Krestovski en Moscú, en la Plaza Rizhskaya, alguna vez se erguían dos torres gemelas, construidas a finales del siglo XIX para apoyar el acueducto de Mytishchi. Su construcción fue financiada por el comerciante y alcalde de Moscú Nikolai Alexandrovich Alekseev, quien invertía activamente sus fondos en proyectos públicos y era respetado entre los moscovitas.

Las torres tenían una altura de 40 metros y un diámetro de aproximadamente 20 metros. El agua llegaba a los tanques de presión de las torres desde la estación de bombeo y se almacenaba allí antes de dirigirse al centro de la ciudad. En los pisos superiores se encontraban piscinas con agua, y más abajo estaban las habitaciones residenciales y de servicio de los trabajadores del acueducto. En la planta baja se ubicaba el Museo de la economía urbana de Moscú, que ahora es conocido como el Museo de Moscú.

Las torres estaban unidas por un puente de hierro forjado, decorado con íconos de San Jorge el Victorioso y de la Madre de Dios "Fuente de Vida". El arquitecto de estas estructuras fue Maxim Karlovich Geppener, conocido por sus proyectos pesados y sombríos. Aunque las torres eran funcionales, su apariencia resultaba poco atractiva para muchos y recordaba a la prisión de Butyrka. Sin embargo, esta no fue la razón principal de su demolición. Las torres estaban ubicadas en una carretera muy transitada, y el puente entre ellas, que tenía solo unos 12 metros de altura, obstaculizaba el tráfico. En 1939, las torres fueron demolidas y se reconstruyó la carretera Yaroslavskoye.

Con la llegada del canal Moscú-Volga en los años 30, el problema del suministro de agua de la ciudad fue resuelto, y la apertura de la estación de agua del Este hizo innecesarias las torres Krestovski. Hubo intentos de su reconstrucción, y muchos arquitectos propusieron proyectos para su conservación, pero ninguno de ellos fue realizado.