Часть 1: Сигнал, шум и показатели
Мы живем в эпоху метрик — измеряй, делай много раз, ???, отвечай на все! В том числе, как жить вечно!
Очевидно, это слишком хорошо, чтобы быть правдой. Но погоняться хотя бы стоит, правда?
В этом посте я расскажу о трех распространенных сегодня недоразумениях, связанных с метриками , в частности, с движущей философией носимых устройств и усилий по борьбе со старением.
В последующих постах я расскажу о том, почему эти недоразумения так вредны, и как погоня за метриками может быть погоней за единорогами.
Что такое метрика?
Во-первых, давайте нарисуем начальную схему системы.
Это самая маленькая системная диаграмма, которую я мог придумать — даже в самой простой метрике есть как минимум 3 движущихся части (прямоугольники) и два основных процесса (стрелки).
Поговорим о движущихся частях…
Сигнал
Непонимание 1: метрика = то, что нас волнует
То, о чем мы заботимся, или система, лежит в основе нашей схемы. Это может быть наше сердце, наши мышцы, наш мозг или даже здоровье всего мира.
Система часто является чем-то, что мы не можем потрогать или увидеть напрямую. Поэтому нам нужно найти способ узнать, что это такое издалека.
Измерение нашей системы — это первый шаг к получению работоспособного сигнала или отражения системы, которая нам важна, в наших измерениях.
Мы бы хотели, чтобы на этом все и закончилось, но разрыв между вашей метрикой и тем, что вас действительно волнует, может привести к нежелательным гостям…
Шум
Непонимание 2: метрика меняется = меняется то, что нас волнует
Измерение нашей системы дает нам последовательность чисел или запись. Эта запись, надеюсь, содержит сигнал.
К сожалению, как и во всех измерениях, в записи есть нежелательные гости: все остальные вещи, кроме того, что нас волнует. Мы называем это шумом.
Шум может исходить из самых разных мест, может быть связан с интересующей нас системой и устанавливает нижний предел того, что наша метрика может видеть и делать.
Ключевой момент, касающийся шума, который я хочу здесь подчеркнуть: то, что метрика меняется, не означает, что ваш сигнал изменился — это мог измениться ваш шум.
Метрики
Заблуждение 3: изменение метрики —› меняет то, что нас волнует
Метрика исходит из некоторых вычислений, которые мы делаем с записями, обычно для «агрегирования» нескольких записей в один сигнал «годен/нет».
Метрика идеально точно отражает интересующую нас систему и ее поведение. Другими словами, изменения в системе изменят показатель.
Наивно мы также хотим думать, что наша метрика и наша система связаны 1:1. Другими словами, изменения в системе изменят метрику, а изменения в метрике изменят систему.
Этот последний бит должен заставить вас задуматься.
Краткое содержание
Метрика — это результат измерения того, что нас волнует. Цель состоит в том, чтобы собирать информацию, на основе которой мы можем действовать.
Как и все измерения, метрики запутаны. Когда что-то запутывается, отношения между метрикой и системой становятся очень сложными.
Это может быть особенно проблематично, даже смертельно опасно, когда метрика является метрикой здоровья. Я расскажу об этом подробнее в следующем посте.
Выводы
- То, что вы что-то измеряете, не означает, что ваши измерения отражают это что-то.
- То, что ваши показатели улучшаются, не означает, что то, что вас волнует, улучшилось.
