Мценск стал городом юности поэта. Вспоминая свои ранние годы, А. А. Фет писал: "В те времена я об этом не задумывался, и до сих пор для меня остается загадкой, почему Семен Николаевич Шеншин, так гостеприимно принимавший меня в Москве на Никитской, после переезда оставил Москву ради Мценска. Было бы понятно, если бы он выбрал свое прекрасное и благоустроенное имение Желябуху, но почему именно Мценск, и не только для зимы, но и для лета, я объяснить не могу".

Он жил в лучшем двухэтажном доме в городе, украшенном жестяными львами на воротах, которые и сейчас раскрывают свои пасти на прохожих, показывая красные жестяные языки. На этом доме установлена мемориальная доска. Неподалеку, рядом с художественной школой и напротив дома со львами, стоит памятный бюст Афанасию Фету, создавая впечатление, что он смотрит на знакомый ему дом. Сейчас в этом здании находится военный комиссариат города Мценска и Мценского района.