Красное кирпичное здание выглядит очень элегантно. В архивах упоминается, что его владелец был не купцом, а отставным военным, который обнаружил в себе предпринимательские способности и занялся торговлей лесными материалами. Льготы, предоставляемые отставным военнослужащим в дореволюционной России, помогли предприимчивому Хованову развить свой бизнес. Строительство дома на 25 комнат началось в 1908 году, но самому Хованову не удалось в нем пожить, так как он трагически погиб, упав со строительных лесов.

После Революции здание было национализировано и последовательно использовалось различными государственными органами: ВЧК, ГПУ, НКВД, МГБ, а в настоящее время в нем располагается управление ФСБ.