La mansión en la calle Baumanskaya, anteriormente conocida como Alemana, fue construida, probablemente, a mediados del siglo XVIII, no más tarde de la década de 1770. El complejo de la mansión, ubicado a lo largo de la calle, incluía la casa principal y dos alas simétricamente dispuestas, conectadas con arcos de puertas con columnas de piedra blanca. La ala izquierda se perdió en la década de 1960, pero una de las alas de servicio en la parte trasera del terreno se ha conservado.

Se supone que el proyecto de la mansión fue desarrollado por el conocido arquitecto ruso Matvey Fedorovich Kazakov. El dibujo de la fachada de la mansión fue incluido en los "Álbumes de edificios particulares de Moscú", compilados por Kazakov a principios del siglo XIX, donde reunió las mejores casas privadas de Moscú, según su opinión.

La decoración de la fachada de la casa principal data del período posterior al incendio de 1812, cuando la casa fue restaurada para 1815. El rizalito semicircular central del edificio está adornado con pilastras corintias dobles y elegantes relieves en yeso con una composición temática. La fachada a los lados del rizalito también está decorada con relieves en yeso y un friso vegetal. En el interior se han conservado las habitaciones abovedadas del sótano y parcialmente la decoración de los interiores principales de la primera tercera del siglo XIX.

A finales del siglo XVIII y principios del XIX, la mansión fue propiedad de la familia noble de los Karabanov. Primero fue Fedor Leontievich Karabanov, brigadier, que en un momento sirvió como vicegobernador de Tver y jefe de la nobleza provincial. Luego, la mansión fue heredada por su hijo Pavel Fedorovich, conocido como un experto y coleccionista de antigüedades. Dedicó su vida a la recopilación de utensilios de iglesia, medallas, monedas, pinturas y grabados. Su colección contenía más de 3000 retratos de figuras históricas y una rica biblioteca de libros antiguos y manuscritos. Su colección, conocida como el "Museo Ruso de Karabanov", se encontraba en su casa en Petrovka, a donde se mudó desde la mansión en la calle Alemana y donde pasó gran parte de su vida.

Pavel Karabanov legó su colección al estado. Las antigüedades fueron transferidas a la Armería, la galería de retratos al Hermitage, y la mayor parte de los manuscritos y libros a la Biblioteca Pública Imperial. Algunas de sus obras fueron publicadas después de su muerte: "Relatos históricos y anécdotas, recogidos de las palabras de personas eminentes", "Listas de personas notables rusas". Sus notas históricas y relatos fueron publicados en la revista "Antigüedad Rusa", y la información genealógica que recopiló fue utilizada en la elaboración del Libro Genealógico Ruso.

Después de los Karabanov, la mansión en la calle Alemana pasó a la familia del industrial de los Urales Ivan Yakovlev-Sobakin, que restauró la casa después del incendio de 1812. El último propietario de la mansión fue el noble Nikolai Alexandrovich Zankovsky, miembro de la Sociedad Fotográfica Rusa y propietario de la empresa "ENZE", que producía placas fotográficas.

En la época soviética, la mansión albergó diversas instituciones, y ahora en la casa principal se encuentra un banco.