Самым старым из сохранившихся гражданских зданий в Тотьме является дом купца Фёдора Холодилова, известного морехода и промышленника. В 1747 году он вместе с купцом Трапезниковым основал промысловую компанию, которая отправила судно «Иоанн» к берегам острова Беринга. Это судно трижды совершало плавания к Командорским и Ближним Алеутским островам.

На протяжении почти 40 лет Фёдор Холодилов и его племянник Алексей занимались предпринимательством. За это время они организовали семь промысловых экспедиций. Разбогатев на торговле пушниной, Холодилов построил великолепную городскую усадьбу на высоком берегу реки Сухона. Построенное в конце XVIII века, это здание стало центральным элементом большой городской усадьбы. Впоследствии оно перешло в собственность казначейства и полицейского управления и подверглось перестройкам в XIX веке. В результате этих изменений появились стена-ограда и несколько новых пристроек, включая церковь Всех Скорбящих Радости и квартиру смотрителя тюрьмы.

Двухэтажное здание, выполненное в стиле зрелого классицизма, обладает уникальной композицией. Его главный фасад украшен двумя треугольными фронтонами и крупными пилястрами с богатыми капителями. Разнообразные по форме оконные наличники придают фасаду декоративное богатство. Благодаря этому дом Холодилова заметно выделяется среди гражданских построек не только Тотьмы, но и Великого Устюга. Вероятно, он был создан столичными мастерами или по их проекту.