Le bâtiment civil le plus ancien encore conservé à Totma est la maison du marchand Fiodor Kholodilov, un marin et industriel réputé. En 1747, il a fondé avec le marchand Trapeznikov une entreprise de pêche qui a envoyé le navire « Ioann » vers les côtes de l'île de Béring. Ce navire a effectué trois voyages vers les îles Komandorski et les îles Aléoutiennes proches.

Pendant près de 40 ans, Fiodor Kholodilov et son neveu Alexeï se sont consacrés à l'entrepreneuriat. Au cours de cette période, ils ont organisé sept expéditions de pêche. S'enrichissant grâce au commerce de fourrures, Kholodilov a construit une magnifique demeure urbaine sur la haute berge de la rivière Soukhona. Édifié à la fin du XVIIIe siècle, ce bâtiment est devenu l'élément central d'un grand domaine urbain. Par la suite, il est passé sous la propriété du trésor public et de la police, et a subi des transformations au XIXe siècle. À la suite de ces modifications, un mur de clôture et plusieurs nouvelles annexes ont été ajoutés, y compris l'église de Tous les Affligés et un appartement pour le gardien de la prison.

Le bâtiment à deux étages, réalisé dans le style du classicisme mûr, possède une composition unique. Sa façade principale est ornée de deux frontons triangulaires et de grandes pilastres avec des chapiteaux riches. La variété des encadrements de fenêtres confère à la façade une richesse décorative. Grâce à cela, la maison Kholodilov se distingue nettement parmi les constructions civiles non seulement de Totma, mais aussi de Veliki Oustioug. Il est probable qu'elle ait été créée par des maîtres de la capitale ou selon leur projet.