Человеческая сторона вещей
Две составляющие покера
Покер считается хорошим вызовом для ИИ, поскольку он рассматривается как сочетание математической / стратегической игры и человеческой интуиции, особенно в отношении стратегий других. Я считаю эту игру чем-то средним между двумя крайностями технического и человеческого мастерства: шахматами и камнем-ножницами-бумагой.
Шахматы
В игре в шахматы технически превосходящий игрок почти всегда побеждает, любитель проигрывает буквально 100% своих партий лучшему ИИ, играющему в шахматы.
Камень ножницы Бумага
В камень-ножницы-бумага, если лучший ИИ будет использовать идеальную стратегию для каждого варианта в 1/3 случаев, он будет непобедим, но также по определению не сможет никого победить. Чтобы понять, почему давайте проанализируем, как он играет против стратегии Барта Симпсона: если ваш оппонент всегда играет рок, вы будете играть рок в 1/3 случаев, бумагу 1/3 и ножницы 1/3, то есть вы получите равенство 1 / 3-й, выиграть 1/3 и проиграть 1/3. Не лучший результат против худшей из возможных стратегий. Поэтому, играя камень-ножницы-бумага, чтобы победить плохую игру, нам самим нужно отойти от идеальной игры, понимая своего оппонента.
Почему покеру полезно учиться
МНОГО ДАННЫХ
Я сыграл более 5 миллионов рук в покер, и многие люди играли больше, чем я. Объединение данных всего нескольких десятков игроков в онлайн-покер даст нам выборку из сотен миллионов рук.
Естественная объективная функция / стимулы
Машинное обучение обычно требует, чтобы целевая функция решала, какие решения являются хорошими, а какие - плохими. Покер может использовать целевую функцию выигранных денег, что в конечном итоге является хорошим способом диктовать хорошие / плохие решения. Вдобавок к этому игроки в покер всегда «вкладывают деньги туда, где им нужно», что означает, что они сильно заинтересованы в том, чтобы выполнять свою задачу настолько хорошо, насколько это возможно. Это означает, что мы действительно видим пик их принятия решений в каждой ситуации, что не обязательно может быть верным в других сравнениях.
Возможно, мы сможем использовать это, чтобы сравнить решения ИИ с решениями человека, чтобы определить области, в которых люди превосходят людей, и еще больше улучшить ИИ.
Разнообразные ситуации
Количество способов, которыми может разыграться покерная комбинация, больше, чем количество атомов во вселенной, и, в отличие от шахматной игры, стартовая позиция всегда разная, поскольку игрокам раздаются разные стартовые руки. Это означает, что ИИ должен быстро научиться обобщать, что является важной чертой «настоящего» интеллекта.
Недавний успех искусственного интеллекта: люди по-прежнему полезны?
В последнее время были достигнуты успехи в покерном искусственном интеллекте, в котором ИИ обыграл лучших игроков в покере 1 на 1, а также в покере на 6 игроков (результаты более сомнительные). Это чрезвычайно впечатляющий результат, который может заставить вас поверить в то, что нам нечему учиться у игроков в покер, поскольку ИИ уже может делать свою работу так же хорошо, как и они.
Есть две причины, по которым я не считаю, что это полностью исчерпывающе:
- Специально для покерного бота на 6 игроков было введено несколько ограничений, которые не всегда могут присутствовать в реальном мире. Однако здесь я не в этом суть.
- Насколько мне известно, успех этих ИИ был связан с превосходным техническим пониманием, как в шахматах, а не с превосходным пониманием противников, как требовалось бы в «камень-ножницы-бумага». Об этом и пойдет остальная часть этой статьи.
Навыки, которых у ИИ нет (пока)
Когда дело доходит до понимания покера, самый важный «человеческий» навык - это понимание других людей. У нас есть преимущество самоанализа, которого у ИИ нет и никогда не будет (если он не имитирует человеческий мозг).
Понимание эмоций
Мы хорошо понимаем, как эмоции обычно могут влиять на чье-то настроение или стратегию. Например, игроки-любители могут бояться проявить агрессию в определенных ситуациях, а разгневанные игроки могут быть чрезмерно агрессивными.
Типы игроков
Многие профессиональные игроки очень хорошо умеют разбивать своих противников на типы и использовать разные стратегии против каждого «типа». Как упоминалось ранее, компьютер пытается использовать одну стратегию против всех, которая не оптимальна для максимизации прибыльности.
Понимание эвристики
Подобно типам игроков, есть определенные правила большого пальца, которые мы можем видеть, как другие игроки используют. Например, «всегда ставьте с парой тузов». ИИ в его нынешнем дизайне, вероятно, потребует гораздо более крупную выборку, чтобы выяснить эти эвристики, поскольку эти упрощения кажутся компьютеру произвольными, тогда как, будучи человеком, мы понимаем упрощения, которые могут сделать другие люди.
Вывод
Я думаю, что изучение игроков в покер может действительно улучшить развитие ИИ, поскольку ключевой частью их мастерства является понимание умов противников, часто на основе очень ограниченных данных. В частности, в онлайн-покере это почти полностью основано на моделях игры, поэтому нет теоретической причины, по которой ИИ не может в конечном итоге стать лучше человека, и мы можем легко получить от профессионалов сотни миллионов раздач данных. чтобы попытаться имитировать это. Я подозреваю, что это может стать очень интересным исследовательским проектом в области ИИ.
