Con el desarrollo de la red ferroviaria, la Sociedad de Ferrocarriles de Moscú-Vindava-Rybinsk construyó activamente nuevas líneas. Surgió de la sociedad del Ferrocarril Rybinsk-Bologov, fundada en 1868.

En 1897, la Sociedad asumió el compromiso de construir una línea de ferrocarril de vía estándar de aproximadamente 1030 verstas, para acortar al máximo el trayecto entre Moscú y Vindava, el actual puerto de Ventspils en Letonia. Este ferrocarril surgió en respuesta al crecimiento del comercio exterior de Rusia a finales del siglo XIX y estaba destinado a conectar la parte central del país con los puertos helados del mar Báltico.

La estación de Moscú del Ferrocarril Moscú-Vindava se encontraba en la aduana de Krestovskaya. La estación fue diseñada por el conocido arquitecto de San Petersburgo S. Brzhozovsky (autor de la estación Vitebsk en San Petersburgo) bajo la dirección del arquitecto Y.F. Dideriks. La fachada de la estación fue realizada en estilo "ruso" con elementos de la arquitectura de la Rusia anterior a Pedro el Grande. El edificio constaba de tres "teremos" de dos pisos, conectados por pasarelas de un piso. A la estación se accedía por tres entradas: a la izquierda, al salón de tercera clase; en el centro, al vestíbulo de la sección de equipajes y a los salones de primera y segunda clase; a la derecha, a la sala de recepción. La estación y la plataforma de pasajeros estaban iluminadas por electricidad generada por una planta eléctrica propia, ubicada en el sótano del ala izquierda del edificio. Sobre la plataforma se construyó un toldo metálico para proteger a los pasajeros de las inclemencias del tiempo.

La estación se abrió a los pasajeros el 11 de septiembre de 1901, 2,5 meses después del inicio de la circulación por el ferrocarril. Hasta ese momento, los trenes llegaban a una pequeña estación de madera en Podmoskovnaya (actualmente la plataforma Krasny Baltiets), situada a 7 kilómetros de la estación de Vindava en construcción.

La estación de Riga, una de las más tranquilas de Moscú, solo atiende dos trenes al día. Hasta la década de 1970, el toldo metálico con masivas columnas de hierro fundido le daba un aspecto europeo, y la ubicación del edificio paralela a las vías creaba una atmósfera "provincial". La estación se convirtió en un decorado para muchas películas nacionales, incluyendo "Diecisiete momentos de primavera", "Estación para dos", "Balada sobre un soldado", "Almirante".

En el siglo XX, la apariencia de la estación cambió poco, solo se desmontó el toldo. Sin embargo, el nombre de la estación cambió más a menudo que el de otras estaciones de Moscú. Originalmente llamada Vindava, en 1930 se convirtió en Baltiysk, 12 años después, en Rzhevsk, y en 1946, en Rizhsk.

Reestructuración y restauración

En 2007, se realizó una renovación capital en el edificio, actualizando las fachadas y reforzando las estructuras portantes, conservando los elementos decorativos históricos.

Uso moderno

Hoy en día, la estación sigue siendo tan tranquila y "no moscovita". Desde 2005, un museo de tecnología ferroviaria funciona en la estación.