Дом, принадлежащий статскому советнику И.И. Бенкендорфу, который был племянником генерала и начальника жандармов императора Николая I, был возведен в 1799 году. В 1805 году здесь проживал и творил известный баснописец И. Крылов. Позже, 1 марта 1813 года, в этом здании начал свою работу Английский клуб. Здание подвергалось перестройкам в 1838, 1849 и 1930 годах.