Старинное селение на Чертовицкой поляне появилось в конце XVI, начале XVII веков после основания города Воронежа. В то время рязанские крестьяне активно заселяли берега реки Воронеж.

В начале XIX века в Чертовицах была построена усадьба, принадлежавшая графам Толстым, представителям старинного дворянского рода. В книге «Россия», изданной в 1902 году, говорится: «В 15 верстах от Рамони ниже по Воронежу находится село Чертовицкое, где проживает 1400 жителей, есть школа и лавки. В эпоху освобождения крестьян здесь находилось имение супруги Ивана Матвеевича Толстого, включавшее около 2000 десятин. Теперь имение принадлежит его сыну, графу Ивану Ивановичу Толстому».

Иван Иванович родился в 1858 году и получил юридическое образование в Петербургском университете. Многие владельцы усадеб оставили след в истории и культуре России. Иван Иванович Толстой был известным нумизматом и археологом. В 1886 году он стал членом Императорской археологической академии, а в 1889 году, конференц-секретарем Императорской художественной академии, позже её президентом. Он активно участвовал в составлении нового устава академии и её преобразовании. Иван Иванович также участвовал в создании Русского музея императора Александра III (ныне Государственный Русский музей). В 1900 году он стал председателем русского общественного печатного дела и прославился своими книгами, такими как «Древнейшие русские монеты княжества Киевского», «Русские древности в памятниках искусства», «О русских амулетах».

В Чертовицах Иван Иванович владел не только землями и лесом, но и сенокосными угодьями. Он был очарован природой Воронежского края. В своём имении граф благоустраивал усадьбу, где уже стоял двухэтажный барский дом. Рядом с домом находился искусственный пруд, дно которого было выложено слоями глины с соломой для удержания воды. Однажды управляющий немец решил его углубить, но дно стало «решетом», и вся вода ушла. Дом управляющего располагался ближе к реке, а за ним был родник, обложенный красным гранитом. За чистотой и порядком тщательно следили слуги, особенно перед приездом графа. Он приезжал ежегодно и часто жил с весны до осени.

Граф любил гулять пешком и на лыжах вокруг усадьбы, ездить на лошадях, пилить и колоть дрова, работать в библиотеке, охотиться и рыбачить.

Перед Октябрьской революцией Иван Иванович Толстой служил в кабинете Витте и был министром народного просвещения. Через полгода он вышел в отставку, а после революции эмигрировал.

В 1928 году в бывшем имении графа И. И. Толстого открылся дом отдыха работников вагоноремонтного завода, позже названный в честь Ф. Э. Дзержинского. Сейчас это пансионат республиканского значения. В 1932 году начал работу детский санаторий.

Во время Великой Отечественной войны Чертовицы находились в руках советских войск и были прифронтовым селом.

След помещиков Толстых сохранился до наших дней. Все строения уцелели, хотя от барского дома остался только нижний этаж, а верхний, деревянный, был разрушен в годы гражданской войны. В доме для прислуги сейчас находится отель, а в бывшей конюшне, столовая. В доме управляющего расположен лечебный корпус. Церковь Михаила Архангела была восстановлена.