Использование данных для прогнозирования немного сбивает с толку. Вы добыли его для шаблонов. Вы нашли закономерности. Вы построили модель для захвата шаблонов и экстраполировали их на неизвестные данные. А затем вы проверили свою модель на данных, которых не видели. И ваша модель делала правильные прогнозы по неизвестным данным в 65% случаев. Поздравляем, теперь у вас есть механизм для предсказания будущего, который работает лучше, чем случайное угадывание. Теперь вы будете удивлены менее чем в половине случаев. Но что-то все равно не сходится.

  1. . Ваши данные могут быть ошибочными. Возможно, данные, на которые вы смотрите, на самом деле не соответствуют тому, что есть в мире. Без вашего ведома условия изменились, и то, что верно для ваших десятилетних проверенных данных, только что изменилось. Вы будете знать наверняка, что это тот случай, когда ваша модель не может точно предсказать 65% времени.
  2. Возможно, что-то не так с вашей моделью. Вы ввели слишком много переменных и подогнали их под образец? Вы его тренировали на нерепрезентативной выборке?
  3. Даже если ваша модель работает так, как вы предполагали, вы знаете, что в 35% случаев она будет ошибочной (и с этим ничего нельзя поделать).

Пункт 3 меня больше всего удивил. Как ни странно, мне хочется поставить против моей модели. Потому что я знаю, что более чем один раз из каждых трех раз, когда я делаю ставку против нее, я «переоцениваю» свою собственную модель. Но любой разумный человек сказал бы, что это иррациональный инстинкт, потому что чаще всего, если не выполняются пункты 1 и 2, модель будет правильной.

Но если вы знаете, что в 35 % случаев модель будет ошибочной, возможно ли, что, время от времени делая ставки против себя, вы повысите свою общую точность? Допустим, вы знаете, что монета выпадет «орлом» в 65% случаев, поэтому в 25% случаев вы угадываете решку. Вот что произойдет, если вы сделаете это 100 000 раз:

75 000 раз вы идете со своей моделью.

  • 48 750 раз вы угадали.
  • 26 250 раз вы ошиблись.

25 000 раз вы пойдете против своей модели.

  • 8750 раз вы угадали.
  • 16 250 раз вы ошиблись.

Идя против своей модели в 25% случаев, вы достигаете общей точности 57,5% (и вы превосходите свою модель в 8,75% случаев). Придерживаясь его, вы в целом добиваетесь большего успеха (примерно на 7,5%). Интуиция сталкивается с заблуждением.

Но по-прежнему кажется, что иногда могут быть веские причины использовать высокие шансы. Допустим, вы получаете 5 долларов за правильное предсказание с помощью модели или 15 долларов за правильное предсказание по ней. Вы теряете 2 доллара за неверный выбор в любом случае. В этом сценарии, если бы вы использовали модель каждый раз (100 000 раз), вы бы заработали: 325 000 долларов - 70 000 долларов = 255 000 долларов.

Если бы вы каждый раз (100 000 раз) шли против модели, вы бы заработали:

$525,000–$150,000=$375,000.

Если вы можете определить, что за риск выплачивается премия, возможно, вам следует сделать ставку против вашей собственной модели. А поскольку все меньше людей готовы занимать позиции, которые обычно считаются ошибочными, с экономической точки зрения вполне оправдано, что меньшее количество людей делает ставки против этих моделей. Возможность неравного распределения выплат меняет игру. В таких сценариях вы, как это ни парадоксально, строите модель не для того, чтобы на самом деле прогнозировать с помощью модели, а для того, чтобы определить, какой результат более предсказуем, чтобы вы могли прогнозировать его и получать прибыль от выбросов.