В прошлом году я дебютировал на Medium, рассказав, как использовал данные и алгоритмы для прогнозирования турнира NCAA. Если вам интересно, вы можете найти эту статью здесь. В этом году я сделал это снова, но с большей моделью, большим количеством данных и, что более интересно, с человеком!

Верно! В этом году я сравниваю мощь машин с мощью «киборгов» — людей и машин, работающих вместе, чтобы предсказать результаты. И чтобы помочь с этим, я объединился с моим другом Заком Шеном, который действительно разбирается в баскетболе. Я попросил его помочь интерпретировать то, что изучает моя модель, и настроить ее по сравнению с предыдущими годами, исправив странные прогнозы, которые она сделала. Результатом стала совершенно новая модель, которую я опишу ниже, и гибридная скобка, которую я называю «киборг» (наполовину человек, наполовину машина), где Зак использовал компьютер, чтобы делать свои собственные прогнозы.

Но прежде чем я начну объяснять все это, я испорчу концовку, раскрыв скобки:

  • Скоба 1: чистое машинное обучение, никакого участия человека, никаких данных о посевном составе команды в турнире [Ссылка]
  • Сетка 2: чистое машинное обучение, без участия человека, но с использованием информации о том, как команда была посеяна в турнире [Ссылка]
  • Скоба «Киборг»: принятие решений на основе данных, объединение компьютерных прогнозов с человеческими суждениями [Ссылка]

Модель

В прошлом году я описывал процесс построения брекета с помощью машинного обучения. На самом деле есть два ключевых шага: (1) построение модели для прогнозирования вероятности того, что команда А победит команду Б в турнирной игре, и (2) построение сетки на основе этой модели.

Как и в прошлом году, моя модель в этом году основана на статистике, предоставленной Спортивным справочником о результативности команды в сезоне. Компьютер использует данные с этого сайта вместе с историческими результатами турниров, чтобы узнать, какие переменные, по-видимому, имеют значение в турнирной игре.

В отличие от прошлого года, в этом году я воспользовался преимуществом того, что машинные обучающиеся часто называют «обучением ансамбля», то есть идеей объединения множества моделей для формирования единого прогноза. Всего в моих прогнозах задействовано более 50 моделей, каждая из которых использует разные части данных и разные алгоритмы для прогнозирования вероятности того, что команда А победит команду Б. Затем эти прогнозы усредняются, чтобы сформировать окончательную вероятность победы.

Резюме: как предсказать скобку

В своей последней статье я потратил много времени на описание второй части этого процесса: как перейти от вероятностей выигрыша к сетке. Если вы хотите прочитать об этом более подробно, я рекомендую вам проверить этот пост.

Идея такова: при прогнозировании сетки самое главное правильно выбрать поздние раунды турнира. Это означает, что при создании своих прогнозов вы должны четко осознавать неопределенность на более ранних этапах: если существует только 51-процентная вероятность того, что А превзойдет Б, это сильно отличается от 91-процентной вероятности того, что А превзойдет В, и эта разница должна быть учитываются при формировании окончательных прогнозов.

Чтобы учесть все это, я использую описанные выше вероятности для моделирования турнира 10 000 раз, а затем смотрю, какая команда чаще всего оказывалась победителем. Я фиксирую эту команду, затем смотрю, какая команда из другой половины сетки чаще всего оказывалась в игре чемпионата, и так далее по сетке, пока она не будет полностью заполнена. Таким образом, прогнозы сосредоточены на прогнозировании скобки, а не на отдельных играх, и на прогнозировании конца, учитывающего неопределенность в отношении начала. Вы могли бы назвать это подходом «сверху вниз», а не подходом «снизу вверх», который использует большинство людей.

Обратите внимание, что нисходящий подход, хотя и оптимально подходит для получения очков в March Madness, не является суперинтуитивным: только в первом раунде прогнозы в моей группе являются прямым результатом фактического моделирования самой игры. Например, обе мои компьютерные скобки показывают, что Вирджиния побеждает Вилланову и становится чемпионом. Однако это не означает, что модель считает, что Вирджиния действительно победит Вилланову в очной встрече. Скорее, это означает, что в 10 000 симуляций команда Вирджиния чаще всего оказывалась победителем, а Вилланова была командой, которая чаще всего выигрывала половину сетки Восток/Средний Запад. (На самом деле, моя модель предполагает, что Вирджиния победит Вилланову, но очень неуверенно, с вероятностью 52%, что едва ли превышает шанс).

Что узнал компьютер?

Прежде всего, как и в прошлом году, существует подавляющая неопределенность. Модель считает, что вероятность победы Вирджинии составляет всего 15%. Второе место занимают Вилланова с 12%, Канзас с 10%, Дьюк с 9% и Пердью с 8%.

Как выпускник Пенна, я рад сообщить, что в одной симуляции Пенн выиграл все (имеется в виду 0,01%-й шанс на победу в турнире), хотя картина не очень красива: есть только примерно 16%-й шанс, что Пенн обыграл Канзас в первом раунде, с вероятностью 4% он попадет в 1/8 финала, с 1% шансом попадет в 8-й раунд, с 0,4% шансом попадет в Финал четырех и с 0,04% шансом попадет в финал. игра чемпионата.

В отличие от прошлого года, я также потратил некоторое время, чтобы попытаться понять, что на самом деле изучает компьютер, с помощью моего друга Зака. Обратите внимание, что именно так всегда следует заниматься наукой о данных: за моделированием и вычислениями всегда должна следовать оценка. Имеют ли мои результаты какой-либо смысл? Чему я учусь?

В этом случае, несмотря на то, что каждая из подмоделей использует разные части данных и разные алгоритмы, мы все же пришли к некоторым ключевым выводам: во-первых, общая результативность команды в сезоне, полученная с помощью «простой рейтинговой оценки» Sports Reference, интуитивно является важным предиктором успеха. По сути, он отражает, насколько хороша команда, и поэтому, естественно, он будет полезен для прогнозирования побед в турнирах.

Но мы также обнаружили, что такие вещи, как процент побед/проигрышей команды в гостях, сколько очков противники обычно набирают против команды за игру,среднее набранное командой количество очков коэффициент за игру и атакующий рейтинг команды важны. Многие из них также имеют интуитивную интерпретацию. Например, как заметил Зак, процент побед/проигрышей на выезде может лучше предсказать мастерство команды и результативность в турнире, чем общий процент побед/проигрышей, потому что вы избавляетесь от комфорта игры дома. Эти другие переменные, кажется, предсказывают аспекты производительности, например, насколько хороши их нападение или защита в общем смысле.

предсказания киборгов

Хотя я люблю говорить о статистике и моделях, в этом году меня больше всего волнует группа киборгов. Это потому, что эта скобка действительно отражает то, что я считаю почти всегда лучшим способом принятия решений: способом, управляемым данными. Все скобки, которые я составил до этого момента, были ограничены тем фактом, что я ничего не знаю о баскетболе: я слепо доверяю тому, что говорят мне алгоритмы. В этом году при создании группы киборгов мы смогли действовать более разумно: когда компьютер был уверен в исходе (>70% вероятности определенного исхода), Зак выбрал его. Когда ситуация была более неопределенной, Зак использовал свое суждение вместе со статистикой о командах, чтобы сделать выбор.

Интересно, что модель, по-видимому, оказала сдерживающее влияние на прогнозы: в целом модель делала «безопасные» прогнозы, отдавая предпочтение командам с лучшим посевом. Он не особенно подходит для прогнозирования сбоев, которые могут быть вызваны ситуационными факторами, которые не учитываются в данных. Размышляя о группе киборгов, Зак упомянул, что было странно, что он не получил ни одного апсета в первом раунде. Наиболее вероятным объяснением этого является то, что модель была достаточно уверена в этих результатах.

На самом деле, это подчеркивает то, что я считаю действительно важной частью использования данных для принятия решений в разных областях: иногда люди хотят увидеть что-то удивительное, хотят доверять теории или идее, которые просто не подтверждаются данными. Во многих случаях компьютеры лучше сортируют шум, чтобы дать наиболее разумный прогноз, и в количественном выражении, насколько «разумен» этот прогноз. При объединении данных, моделей и людей мы получаем лучшее из обоих миров: этот холод, стабильность машины вместе с тонкой интерпретацией.

Я рад видеть, как киборг поживает, когда турнир продолжается.