Анна, одна из дочерей А.К. Перовского, была выдана замуж за графа К.П. Толстого, который был значительно старше ее. Брак оказался несчастливым, и после рождения ребенка Анна Алексеевна решила уйти от мужа, поселившись с сыном в имении своего брата А. Перовского, известного в литературных кругах под псевдонимом Антоний Погорельский. Он стал духовным наставником для своего племянника.

Алексей Константинович Толстой вспоминает: "Когда мне было шесть недель, меня увезли в Малороссию мать и мой дядя Алексей Алексеевич Перовский, который позже стал попечителем Харьковского университета и был известен в русской литературе как Антоний Погорельский. Он воспитал меня, и первые годы я провел в его имении". Когда Алеша подрос, его перевезли в Петербург. Слухи о связи между братом и сестрой Перовскими и о том, что настоящим отцом Алеши является его дядя, не нашли подтверждения.

В Петербурге Анна Алексеевна погрузилась в мир балов и светских салонов. С возрастом она все больше стремилась к вниманию мужчин, напоминая себе о прошедшей молодости. Несмотря на доброту и щедрость, она не знала границ своей воли и тратила деньги без меры. В магазинах, поставлявших наряды ко двору, она заказывала те же ткани, что и императрица. На одном из торжеств Анна Алексеевна появилась в шляпе с белыми страусовыми перьями, как у императрицы. Император Николай Павлович заметил это и выразил недовольство, но Анна не изменила своих привычек.

В 1835 году Алексей Алексеевич Перовский скончался. Перед смертью он вызвал "друга Анниньку" и племянника, чтобы распорядиться своим имуществом и долгами. Все его имения перешли к Алеше, но распоряжаться ими должна была Анна Алексеевна. Она не могла поверить в тяжелое состояние брата и горько рыдала.

После смерти брата Анна Алексеевна и Алексей Константинович переехали в имение Красный Рог. Анна увлеклась хозяйственной деятельностью, перенесла флигель и ввела строгие порядки для крестьян, привыкших к снисходительности Перовского. Ожесточенные новыми правилами, крестьяне напали на главного лесника и избили его. Анну Алексеевну описывали как сильную и властную женщину, оказывавшую большое влияние на сына. Она не выпускала его из поля зрения и скептически относилась к его возлюбленным. Алексей Константинович однажды пошел против матери и женился на С.А. Миллер, несмотря на ее протесты.

С 50-х годов Анна Алексеевна начала болеть. В ночь на 2 июня 1857 года она скончалась. Накануне вместе с сыном она была в гостях, а вернувшись, ушла спать. Утром Алексей Константинович, встревоженный, постучался в ее дверь, но она была заперта. Взломав дверь, он увидел мать, лежавшую с протянутой рукой. Врач из Зимнего дворца не смог ее оживить.

Константина Петровича Толстого известили о случившемся, и он приехал. Отец и сын провели ночь у гроба, а утром тепло попрощались, договорившись встретиться на похоронах. Анну Алексеевну похоронили в Троице-Сергиевой пустыни, недалеко от Петербурга, на южном берегу Финского залива.