Дом был построен в 1830-х годах Надеждой Федоровной Селивановой, которая занимала должность надворной советницы. Позже он перешел к ее сыну Александру Никифоровичу Селиванову, также надворному советнику, который в 1850 году продал его генерал-лейтенанту Александру Николаевичу Арапову, известному винозаводчику и губернскому предводителю дворянства. Спустя несколько лет после смерти Арапова, наступившей 8 ноября 1872 года, здание арендовала 2-я мужская гимназия, открывшаяся 1 сентября 1874 года на базе шестиклассной прогимназии. В это время домом владел сын предыдущего хозяина, камергер Двора Его Величества Александр Александрович Арапов, который стал почетным опекуном гимназии.

В гимназии учились такие выдающиеся деятели культуры, как режиссер Всеволод Эмильевич Мейерхольд (в 1884 и 1895 годах), актер немого кино Иван Ильич Мозжухин (в 1899 и 1907 годах), писатель и театровед Юрий Васильевич Соболев (в 1896 и 1906 годах), а также писатель и театральный критик Николай Дмитриевич Волков (в 1904 и 1912 годах).