Geboren am 13. (25.) Februar 1861 im Dorf Walujec, das im Landkreis Starodub der Provinz Tschernigow liegt, heute ist es der Bezirk Pochep in der Region Brjansk. Er stammte aus dem kleinrussischen Adel der Provinz Tschernigow und war der dritte Sohn des Stabs-Rittmeisters Grigori Semjonowitsch Schjeglowitow (1821, 1887), der zweimal zum Landeshauptmann des Landadels von Starodub gewählt wurde. Seine Familie besaß einen Teil des Dorfes Walujec.

1881 schloss er die Kaiserliche Rechtsakademie mit einer Goldmedaille ab.

Ab 1885 war er stellvertretender Staatsanwalt am Nischni Nowgoroder und ab 1887 am Petersburger Bezirksgericht. Ab 1894 war er Staatsanwalt am Petersburger Bezirksgericht und ab 1895 stellvertretender Staatsanwalt der Hauptstadt.

Er war an der Ausarbeitung eines Disziplinargesetzes für die Angestellten der Zivilverwaltung beteiligt und arbeitete in der Kommission zur Überprüfung der Gerichtsgesetze, für die er eine erläuternde Notiz zum Entwurf einer neuen Fassung der Strafprozessordnung vorbereitete. In dieser Notiz war eine detaillierte historische Übersicht über wissenschaftliches Material und ausländische Praktiken enthalten.

1898 wurde er stellvertretender Oberstaatsanwalt der Strafrechtsabteilung des Regierungsrates und trat in die Erste Abteilung des Senats ein. In den Jahren 1900 und 1903 hatte er das Amt des Vizedirektors der Ersten Abteilung des Justizministeriums inne. In den Jahren 1903 und 1905 war er Oberstaatsanwalt der Strafrechtsabteilung des Senats. Ab dem 22. April 1905 leitete er die Erste Abteilung des Justizministeriums.

Im Jahr 1903 wurde er eingeladen, Vorlesungen über die Theorie und Praxis des Strafverfahrens an der Kaiserlichen Rechtsakademie zu halten. Dank seines Ansehens im Bereich der Kriminologie wurde er zum Vorsitzenden der Strafrechtsabteilung der Petersburger Juristischen Gesellschaft gewählt.

Ab dem 1. Februar 1906 war er stellvertretender Justizminister unter Minister Michail Akimow.

Am 24. April 1906 wurde er zum Minister ernannt und am 1. Januar 1907 Mitglied des Staatsrates. Am 7. Februar 1908 wurde er von Lidia Sture angegriffen, jedoch ohne Erfolg. Ab 1911 wurde er Senator. Er wurde als "kalter und harter Mensch" beschrieben, der alle Bitten um Begnadigung konsequent ablehnte.

Er ist bekannt für seine antisemitischen Ansichten und gilt als Initiator der Anklage gegen den Juden Beilis wegen ritualmordes. Während seiner Amtszeit im Ministerium wurde Schjeglowitow zum Symbol für die liberale Öffentlichkeit und wurde am 6. Juli 1915 im Rahmen des "Kurses auf die Öffentlichkeit" als Minister entlassen. Dennoch behielt er die Gunst des Kaisers und wurde am 1. Januar 1917 zum Vorsitzenden des Staatsrates des Russischen Kaiserreichs ernannt.

Er vertrat rechte Ansichten und unterstützte die "Vereinigung des russischen Volkes". Er war Mitglied der monarchistischen Organisation "Russische Versammlung" und nahm an der Sitzung der Monarchisten im November 1915 in Petrograd teil, wo er zum Vorsitzenden des Rates der monarchistischen Kongresse gewählt wurde.

Während der Februarrevolution wurde er verhaftet und befand sich vom 1. März 1917 bis zum 26. Februar 1918 in der Peter-Paul-Festung in Haft. Seine Aktivitäten wurden von der Außerordentlichen Untersuchungskommission untersucht, die ihre Arbeit zum Zeitpunkt der Oktoberrevolution nicht abschließen konnte.

Später wurde er nach Moskau gebracht, wo er am 5. September 1918 während des roten Terrors zusammen mit anderen Staats- und Kirchenvertretern des Russischen Kaiserreichs öffentlich hingerichtet wurde. Zusammen mit ihm wurden im Petersburger Park die ehemaligen Innenminister Nikolai Maklakow und Alexei Chwostow sowie der Protopresbyter Ioann Wostorgow erschossen. Vor seinem Tod zeigte er Mut und, wie Augenzeugen berichteten, "zeigte er keine Angst".