Как определить используемый режим масштабирования шрифта?

Не уверен, что любой из них даст вам то, что вы хотите, но может быть полезен:

IsProcessDPIAware – определяет учитывает ли текущий процесс количество точек на дюйм (dpi), чтобы он регулировал размеры элементов пользовательского интерфейса, чтобы компенсировать настройку dpi.

Написание приложений Win32 с высоким разрешением – Используя код в разделе Получение информации о системе, вы, вероятно, могли бы каким-то образом определить разницу между включенным и выключенным параметром.