Le bâtiment en briques rouges a l'air très élégant. Les archives mentionnent que son propriétaire n'était pas un marchand, mais un militaire à la retraite qui a découvert en lui des capacités entrepreneuriales et s'est lancé dans le commerce de matériaux forestiers. Les avantages accordés aux militaires à la retraite dans la Russie d'avant la révolution ont aidé l'entreprenant Khovanov à développer son entreprise. La construction de la maison de 25 chambres a commencé en 1908, mais Khovanov lui-même n'a pas pu y vivre, car il est tragiquement décédé en tombant des échafaudages.

Après la Révolution, le bâtiment a été nationalisé et a été successivement utilisé par divers organes gouvernementaux : Tchéka, GPU, NKVD, MGB, et actuellement, il abrite la direction du FSB.