Когда игрок в покер становится инженером-программистом, становятся очевидными определенные тенденции во взаимодействии человека с компьютером:
- игроки в покер проиграют компьютерам в ближайшем будущем
- каждое поле охвачено безумием толпы
- эмоциональный труд - конкурентное преимущество
- креативность и автономия необходимы для успеха
В этом посте исследуется каждая из этих тенденций и объясняется, почему они важны для игроков в покер, разработчиков программного обеспечения и всех остальных.
Автоматизированные игры
В 2008 году покер был идеальным видом спорта для симбиоза человека и компьютера. То, что Тайлер Коуэн сказал о шахматах свободного стиля, применимо и к покеру:
Даже очень сильные компьютеры не обладают мета-рациональным чувством неоднозначности. Сегодня команды «человек плюс машина» лучше, чем машины сами по себе. Это показывает, как всегда может быть место для человеческого фактора.
В покере человек со статистическим дисплеем «хедз-ап» может принимать решения, которые математически более оправданы, чем человек без такого инструмента.
Индикаторы на лобовом стекле создают покерную версию «команд человек плюс машина».
Один из тезисов Среднее больше заключается в том, что человек будет трудоустроен в будущем, только найдя карьеру, в которой человеческое мышление будет иметь оправданную ценность для процесса решения проблем на компьютере.
Если ответственность человека не оправдана, человек будет устранен.
В последующем сообщении в блоге Коуэн обращается к перевороту, который может произойти, когда вычислительная проблема больше не требует помощи человека:
Довольно скоро компьютерные программы могут стать настолько хорошими, что добавление человека к компьютеру не принесет никакой пользы. (Некоторое время так было в шашках, так как эта игра полностью решена.)
Подумайте, почему такой вариант может быть в разработке, хотя шахматы еще далеко не решены.
Игроки в покер все чаще терпят поражение от машин в течение последних 10 лет. Неудивительно, что AlphaGo от Google победила чемпиона из числа людей Ли Седола.
Если бы Google решил победить людей в покере, для исследователей это было бы тривиальным занятием.
Покер кажется отличным от го или шахмат, поскольку в нем нет детерминизма. Вы начинаете с двух карт, но не знаете, как будет развиваться доска. Казалось бы, судьба все контролирует, в отличие от го и шахмат, в которых нет случайных элементов.
При игре в покер всего 4 масти и 13 рангов есть тривиальный фактор ветвления. Недетерминизм настолько минимален для компьютерного планирования, что фактически является детерминированным.
Представьте, что AlphaGo должна была научиться играть в версию го со следующим правилом: в начале каждого хода подбрасывайте монету. Если вы потеряете флип, вы не сможете двигаться. Приспосабливаться к этому правилу было бы тривиально. Такова величина недетерминизма в покере.
В покере, шахматах и го есть небольшие пространства для принятия решений. Правила никогда не меняются, игровые фишки никогда не меняются, недетерминизм минимален.
Компьютер может оценить покерную комбинацию, как скрытую марковскую модель, но потребуется работа наравне с командой AlphaGo, чтобы компьютер был обучен точному построению модели.
Работа профессионального игрока в покер была плохим долгосрочным выбором для человека более десяти лет, потому что она уязвима для автоматизации.
Такие игры, как го, покер и шахматы, можно автоматизировать с помощью техник машинного обучения, которые мы понимаем сегодня. Правила, схему игровых элементов и цели легко определить, поэтому эти игры подходят для контролируемого обучения и обучения с подкреплением.
Янн ЛеКун протестовал против ажиотажа вокруг победы AlphaGo:
Как я уже говорил в предыдущих утверждениях: большая часть обучения людей и животных - это обучение без учителя. Если бы интеллект был пирогом, то пирогом было бы обучение без учителя, вишенкой на торте было бы обучение с учителем, а вишенкой на торте было бы обучение с подкреплением. Мы умеем делать глазурь и вишню, но не умеем делать торт.
Нам нужно решить проблему неконтролируемого обучения, прежде чем мы сможем даже думать о том, чтобы добраться до настоящего ИИ. И это просто препятствие, о котором мы знаем. А как насчет тех, о которых мы не знаем?
Покер уязвим для тех же методов контролируемого обучения и обучения с подкреплением, которые позволили AlphaGo победить Ли Седола в го.
Контролируемое обучение - это задача машинного обучения, заключающаяся в выводе функции из помеченных данных обучения. Для покерного бота существуют миллиарды историй рук. Эти истории рук короткие и хорошо схематизированы, идеально подходят для использования автоматом.
Обучение с подкреплением - это обучение посредством взаимодействия с окружающей средой. Покерные боты могут тестировать и распараллеливать свои стратегии в тысячах бесплатных или дешевых покерных игр в Интернете. Сигнал вознаграждения стратегии можно определить как прибыль за определенный период времени.
Сегодня выжившие люди-профессионалы пожирают друг друга. Вскоре даже лучшие из этих игроков будут проигрывать свои деньги ботам.
Игры, которые невозможно решить с помощью простого обучения с учителем и обучения с подкреплением, не будут автоматизированы в ближайшем будущем. Примеры включают Magic: the Gathering, Sim City, Minecraft и Dungeons and Dragons.
Особенности этих игр включают в себя:
- большие факторы ветвления в точках недетерминизма
- большой корпус игровых элементов со схемой игровых элементов, которую трудно нормализовать
- неотрицательная сумма
- субъективные цели игрока
- различные конечные игровые состояния и условия победы
Правила, успех и поражение легко определить в го, шахматах и покере.
Напротив, трудно объяснить, что делает Minecraft идеальным игроком. У разных игроков Minecraft разные цели и разные условия победы. У нас нет возможности контролировать компьютер, чтобы добиться успеха в Minecraft, или вознаграждать компьютер за его желаемое поведение в Minecraft.
В покере 52 типа игровых фигур, в шахматах - 6, а в го - 1. В Magic: the Gathering более 16 000 уникальных карт. Мы не знаем, как научить компьютер понимать сложные стратегические отношения между этими 16 000 различных типов карт.
Dungeons and Dragons - это кооперативная, положительная сумма, очень случайная и ориентированная на субъективные цели игрока. В ближайшее время компьютер не сможет соперничать с творческим, утилитарным гуманизмом талантливого мастера подземелий, потому что у нас нет хорошего способа систематизировать черты успешной игры Dungeons and Dragons.
Как люди, мы должны изучать эти игры и праздновать их.
AlphaGo доказывает, что Go - это просто еще одна рутина, которую можно автоматизировать, например, приготовление фаст-фуда или вождение грузовика.
Вместо того, чтобы тратить время на шахматы, го или покер, человеческое время лучше проводить за играми, отражающими действия, с которыми у компьютера проблемы.
Выбор карьеры профессионального игрока в покер сегодня похож на выбор работы водителем Uber или складским работником Amazon: вы ждете, когда вас автоматизируют.
Безумие толпы
И в покере, и в софте участники рынка путают технический анализ с фундаментальным анализом.
Технический анализ - это методология анализа безопасности для прогнозирования направления цен посредством изучения прошлых рыночных данных, в первую очередь цен и объемов.
В отличие от технического анализа фундаментальный анализ , изучение экономических факторов, влияющих на то, как инвесторы оценивают финансовые рынки. Технический анализ утверждает, что цены уже отражают все основные фундаментальные факторы.
Чистые технические аналитики догматически верят в мудрость толпы.
Технические аналитики считают, что секретов нет, и что все человеческие знания о будущем учитываются при оценке толпой настоящего.
Рассуждения о рынках с использованием основных принципов могут привести к решениям, которые отличаются от мудрости толпы. Это форма фундаментального анализа.
В 2003 году бухгалтер по имени Крис Манимейкер, ставший любителем в покер, выиграл Мировую серию покера. Это совпало с увеличением видеосъемки мероприятия ESPN. Люди стали ходить в рестораны, чтобы посмотреть покер, как будто это был Суперкубок.
Когда покер стал популярным во всем мире, в игру начали играть многие неквалифицированные игроки.
В 2004 году любой подкованный компьютером подросток мог научиться играть в покер и брать деньги у многочисленных неквалифицированных американцев, которые пытались стать следующим Крисом Манимейкером.
Было много информации о том, как выиграть в онлайн-покер, и не потребовалось много усилий, чтобы изучить эту информацию, чтобы добиться успеха.
Для подростков, хорошо разбирающихся в онлайн-играх, это была золотая лихорадка. Подростки, у которых были навыки в таких играх, как StarCraft и Magic Online, быстро выучили покер и начали уничтожать неквалифицированных любителей.
В 2006 году пузырь онлайн-покера дал утечку из-за принятия UIGEA. Закон о борьбе с незаконными азартными играми в Интернете от 2006 года затруднил игрокам-любителям пополнение своих счетов в онлайн-покере с помощью кредитных карт.
В 2008 году мировая экономика рухнула, что еще больше уменьшило количество случайных игроков в Интернете.
В 2011 году произошла Черная пятница, и было обнаружено, что Full Tilt Poker представляет собой схему Понци.
С 2006 года онлайн-покер становится все сложнее, и все большее число игроков в покер жалуются на макросреду покера.
Google Trends сообщает, что после принятия UIGEA в конце 2006 года популярность покера упала на 80%.
С 2006 года игроки в покер твердят: «Слабых любителей больше нет. Мы все сражаемся друг с другом, и, поскольку у всех одинаковые стратегии, мы, по сути, подбрасываем монеты друг против друга. Покер превратился в игру с полной дисперсией ».
Все это не имеет значения для Дэна Кейтса, Майка Макдональда и Патрика Антониуса. Их стратегия намного лучше, чем их противодействие, так что у них есть фундаментальная возможность. Они продолжали побеждать, несмотря на резкое обострение конкуренции.
Среднестатистические игроки в покер, которые не проявляют новаторства и устойчивости, рассматривали события 2006–2011 годов как фундаментальные угрозы своей жизнеспособности как профессиональных игроков в покер, хотя на самом деле эти проблемы носили технический характер. .
Детали рынка изменились, но осталась фундаментальная возможность: лучшие игроки по-прежнему имеют достаточно преимуществ, чтобы зарабатывать на жизнь покером.
Когда инвесторы и предприниматели говорят о «пузыре» в Кремниевой долине, они имеют в виду технический пузырь. Не фундаментальный пузырь.
Дешевые облачные вычисления, мобильные телефоны, развивающиеся рынки Китая и Индии, социальные сети, Docker, биткойн, экономика цепочки поставок, дроны, финтех, виртуальная реальность: это фундаментальные возможности с огромным потенциалом роста.
Когда инвесторы и предприниматели говорят о том, как приближается зима, каковы причины их паники?
Технический анализ, который имеет мало общего с жизнеспособностью прорывных технологий, способствующих росту.
Институциональные инвесторы уходят с частных рынков? Китай - карточный домик? Масло? Греция? Технические графические модели 1999 года, показывающие рост, который отражает современные частные рынки? Стартапы по доставке еды поддерживаются другими стартапами?
Нет более верного признака безумия толпы, чем когда инвесторы смотрят друг на друга, а не на фундаментальные факторы, пытаясь угадать истинную природу частных рынков.
Инвесторы, которые утверждают, что гордятся своим долгосрочным мышлением, часто забывают технологические основы, которые определяют долгосрочную жизнеспособность компаний.
С 2006 по 2011 год тысячи профессиональных игроков в покер бросили игру, убедившись в правдивости одного популярного рассказа: покер, наконец, стал игрой на удачу.
«Когда вы думаете об этом как о лотерейном билете, когда вы говорите:« Это может сработать, это может не сработать, я не знаю », - вы уже настроили себя на проигрыш. Вы уговорили себя не делать столько работы. Где мы добивались лучших результатов за эти годы, так это там, где у нас было много убеждений, и мы были готовы вкладывать много денег в дела ».
Слабые игроки в покер ушли, когда пузырь лопнул, потому что они были убеждены, что покер стал настолько конкурентоспособным, что невозможно было иметь эффективную дифференцированную стратегию.
Игроки в покер, которые верят в собственное творчество, продолжают зарабатывать на жизнь тяжелым трудом и учебой.
В ближайшем будущем антипортфели инвесторов в технологии стадного мышления будут расти беспрецедентными темпами, поскольку инвесторы ошибочно обращаются друг к другу за советом, вместо того, чтобы смотреть на фундаментальные возможности, предоставляемые нашим текущим технологическим бумом.
Эмоциональный труд
В 2004 и 2005 годах студенты колледжей и хорошо образованные яппи начали играть в покер, потому что это был легкий и легкий способ заработать деньги. Состоятельные американские игроки-любители в покер проигрывали этим студентам колледжей и яппи.
Между этими двумя классами игроков была огромная разница в навыках.
Студенты колледжа и яппи читают книги по статистике, психологии и сложной покерной стратегии. Богатые американцы-любители смотрели покер по телевизору и пытались скопировать то, что они видели, как профессионалы делают на экране.
Для хорошо образованных студентов и яппи единственным требованием для успеха в покере с высокими ставками было терпение.
Терпение было важно, потому что богатые американцы-любители играли настолько плохо, что студент колледжа мог сидеть и ждать возможности вложить деньги в банк с преимуществом 10: 1.
С 2006 по 2011 годы законодательные и экономические обстоятельства вытеснили многих американских игроков-любителей из игры. Когда богатые любители исчезли из покера, 95% игроков стали профессионалами.
В 2005 году за столом в онлайн-покер на 6 игроков в среднем находилось 3 профессионала и 3 любителя. В 2006 г. средняя таблица содержала 4 специалиста, 1 опытный любитель и 1 слабый любитель. К 2008 году большинство столов было полностью заполнено профессионалами и опытными любителями.
Слабых противников нигде не было.
В этом новом мире почти полностью профессиональных игроков в покер эмоциональная стойкость была важнее терпения.
Профессиональные игроки больше не могли ждать явного преимущества 10: 1 или 5: 1 над своими противниками. Робкие студенты колледжей и яппи, придерживавшиеся терпеливой и нетворческой стратегии, начали терять деньги.
Хаотичные, гиперагрессивные игроки начали форсировать игры в направлении повышенной дисперсии, заставляя своих противников ставить под сомнение их предполагаемый риск разорения. Самым ярким примером этого был Виктор Блом, игрок с высокими ставками, чья готовность разориться, казалось, превышала его страх, что привело к стилю, в котором он часто перевешивал банк.
Профессионал, играющий против Виктора Блома, знал, что за короткий промежуток времени будет проиграно или выиграно больше денег, чем против кого-либо еще.
Для Виктора Блома основная цена использования этой стратегии заключалась в том, что эмоциональный контроль сложнее поддерживать, когда вы выигрываете и теряете миллионы долларов чаще, чем ваши оппоненты.
Компромисс того стоил. Блестящая стратегия Виктора Блома дала ему как математическое преимущество, так и преимущество в репутации.
Почему это актуально для разработки программного обеспечения?
Эмоциональный труд доступен всем нам, но он редко используется в качестве конкурентного преимущества.
-Сет Годин
Виктор Блом получил огромное конкурентное преимущество, совершив эмоциональный труд.
Он сознательно играл в покер таким образом, чтобы это было неудобно для всех за столом, потому что он считал себя более способным справиться с этим дискомфортом, чем все остальные.
Большинство инженеров-программистов избегают эмоционального труда.
Когда инженеры-программисты предпочитают работать в крупной корпорации, потому что это кажется роскошным и безопасным, они совершают ошибку. Сейчас лучшее время для инженеров, чтобы идти на крайний риск в своей карьере.
Инженеры-программисты невероятно привилегированы. Работа с 9 до 5 приносит удовольствие и творчество, и у многих из нас есть много свободного времени, чтобы делать все, что мы хотим. В свободное время программисты должны напрячься, приложить эмоциональные усилия и посмотреть, на что они способны.
В 2005 году профессиональные игроки в покер получили возможность вести беззаботный образ жизни. Мы предполагали, что золотая лихорадка онлайн-покера никогда не закончится. Многие из нас поступали безответственно с деньгами, как будто мы могли бы зарабатывать 30 000 долларов в месяц до конца своей жизни.
Когда покерная экономика рухнула, жизни многих профессиональных игроков в покер рухнули вместе с ней. Мы привыкли к «Хорошей жизни», но не приложили достаточно усилий, чтобы в полной мере воспользоваться открывшейся возможностью.
Игроки в покер, которые упорно трудились и работали умно во время бума 2003–2007 годов, смогли пережить спад.
Большинство игроков в покер не работали усердно и умно во время бума.
Большинство игроков в покер не практиковали эмоционального труда в 2005 году, когда игра была легкой. Когда в 2008 году покер стал трудным, эти игроки были хрупкими. Большинство профессиональных игроков в покер не смогли адаптироваться к новым условиям конкуренции.
После нескольких недель игры Blom90 регулярно играл в сит-энд-гоу за 530 долларов. Спустя еще несколько месяцев игры 15-летний Виктор Блом заработал на разных площадках более 275 000 долларов. Затем он собрал все деньги на одном сайте и принял участие в кэш-играх с более высоким бай-ином и сит-энд-гоу. В результате он потерял все деньги. Затем он накопил банкролл и вложил 3000 долларов на тот же сайт, принял участие в сит-энд-гоу с высоким бай-ином и начал выигрывать все больше и больше денег. После того, как его банкролл снова увеличился до 50 000 долларов, он принял участие в регулярных сит-энд-гоу с бай-ином $ 310 и снова проиграл все.
Виктор Блом дважды разорился в подростковом возрасте.
Разорение - не всегда добродетель. Для некоторых игроков в покер разориться - это зависимость. Они сделают карьеру из маниакально-депрессивного цикла накопления огромных куч денег только для того, чтобы потерять все это.
Виктор Блом стал антихрупким из-за своего раннего разорения.
Это было задолго до его победной серии в 2009 году. Когда покерная экономика рухнула, это не сильно повлияло на Виктора Блома, потому что он много лет назад бросал вызов самому себе.
В первые дни своей карьеры Виктор неуклонно рисковал. Сила покерной экономики 2005 года позволяла ему восстанавливать свой банкролл каждый раз, когда он разорялся.
Сегодня программисты должны действовать как Виктор Блом в 2005 году.
В 2005 году Виктор мог потерять весь свой банкролл, играя на высоких лимитах, его было легко восстановить на средних лимитах. Увеличивая краткосрочный риск разорения, он уменьшал долгосрочный риск разорения.
В 2016 году инженер-программист может уволиться с корпоративной работы и строить побочные проекты на 6 месяцев. Если ни один из побочных проектов не превращается в рыночный продукт, этот инженер всегда может вернуться в корпорацию и, вероятно, может попросить более высокую зарплату благодаря новым навыкам, полученным при работе над этими побочными проектами.
Принятие риска - это акт эмоционального труда.
Инженеры-программисты могут создать продукт, начать бизнес, написать алгоритм, запустить ракету или запрограммировать беспилотный автомобиль. Все эти действия требуют риска. Но многие инженеры-программисты проводят свободное время, занимаясь деятельностью с очень низким риском.
Если вы решите стать инженером-программистом, готовым идти на риск и заниматься эмоциональным трудом, вы легко сможете выделиться среди других.
Постройте свой собственный корабль
Я провел свои поздние подростковые годы, играя в покер и не написал ни строчки кода, пока мне не исполнилось двадцать. Большинство успешных инженеров, которых я знаю, программировали в подростковом возрасте.
Чтобы наверстать упущенное, мне пришлось использовать навыки игры в покер.
Многие новые инженеры сегодня сталкиваются с той же проблемой.
Вы учитесь программировать как вторую карьеру, и это может показаться очень трудным, потому что кажется, что вы отбрасываете все из прошлого и начинаете с нуля.
Независимо от того, являетесь ли вы бариста, продавцом или биологом, вы должны найти в своем прошлом навыки, которые можно использовать в своей карьере инженера-программиста.
Бариста отлично умеет упорядочивать менее тривиальные операции, чем кажется. Продавец понимает, как работать с клиентами и удовлетворять их потребности в проектах с высокими ставками. Биолог понимает абстракции и понимает, как рассматривать отдельные части системы изолированно.
Поначалу быть аутсайдером - это недостаток, но со временем это приобретает огромную ценность.
Каждая работа, которую вы выполняли в прошлом, имеет передаваемые навыки, которые можно применить в разработке программного обеспечения. Выявление преимуществ, которые вы извлекли из своего прошлого опыта, может помочь вам почувствовать себя более уверенно.
Когда вы начинаете как инженер-программист, многие разработчики говорят вам, что делать и как действовать.
Эти люди говорят: изучите JavaScript. Сходите в учебный лагерь по программированию. Напишите тесты для всего вашего кода. Научитесь создавать мобильные приложения. Используйте StackOverflow. Изучите функциональное программирование. Станьте мастером командной строки.
Каждый человек изучает программную инженерию по-своему.
Программная инженерия - это искусство. Чтобы добиться успеха как художники, мы должны решить, какие инструменты и методики мы хотим использовать. Мы должны решить сами.
Покер - это тоже искусство. Не существует объективно «лучшего» способа играть в покер. Игроки в покер развивают свое искусство благодаря многолетнему субъективному опыту.
Хасиб Куреши описал это в Покере как судостроении, отрывке из своего шедевра Философия покера:
Представьте, что ваша игра в покер - это корабль, а вы, игрок в покер, являетесь судостроителем.
Ваш корабль не является вашим продолжением. Это не что-то внутреннее, существующее в вашем уме. Вместо этого мы хотим представить, что игра в покер - это внешний объект - ваш объект, безусловно, продукт вашего ремесла и тяжелой работы, но, тем не менее, что-то, что существует «снаружи», готовое для анализа, разборки и воссоздания. . Как судостроитель, у вас есть множество вариантов создания своего корабля.
Какую игру в покер вы хотите создать?
Вы смотрите в море покера и видите сотни тысяч кораблей, все построенные по-разному, с разными идеями и намерениями, стоящими за их постройкой. Естественно, вы хотите выбрать только лучшие корабли для подражания. Итак, вы смотрите видео с участием великих игроков, переживаете за играми с высокими ставками, читаете хорошо написанные статьи - и пытаетесь создать свой корабль по их подобию.
Но в этом процессе заложена фатальная ошибка: сколько бы кораблей вы ни смотрели, будь то сотни или тысячи, даже корабли высочайшего качества, никакое изучение таких кораблей не поможет вам построить один для себя. Потому что смотреть на корабли - это совсем другой процесс, нежели строить их. Даже если вы увидите сотню кораблей, которые решили проблему постройки корабля, удержания его в вертикальном положении, уравновешивания корпуса и мачты - вам все равно придется решать, создавая как решить эти проблемы. Вы должны научиться строить корабль не только мысленно, но и руками - положить доску на доску, молоток о гвоздь.
Как игрок в покер, я потерпел неудачу, потому что я скопировал то, что я видел, как делают другие люди, не понимая причин этого. Я не строил свой корабль как игрок в покер.
Если ваша стратегия состоит в том, чтобы копировать других, вы не можете выделиться из глобального пула талантов. Вы не можете отличить себя от машин, которые с каждым днем становятся умнее.
Как программист, я стараюсь не копировать вслепую то, что модно. Десять лет назад я потерял большую часть своих денег, потому что просто следил за тем, что делали другие.
Полезно иметь такую историю боли, связанной с копированием других.
Для большинства людей слепое копирование других облегчает боль. Когда я чувствую, что копирую других, не понимая почему, моя инстинктивная реакция - стыдиться и бояться собственной тенденции к копированию.
Если вы не копируете поведение других инженеров, ваш менеджер не сможет относиться к вам как к очень предсказуемому товару. Вы не можете быть развернуты и назначены для выполнения такой задачи, как кластер EC2.
Если вы не очень предсказуемый товар, вас, вероятно, уволят или повысят по службе.
К сожалению, большинство компаний не созданы для поддержки или поощрения предпринимательского поведения.
Многие инженеры-программисты в конечном итоге застревают на работе, которая делает их несчастными, потому что они просто принимают заказы и сами не продумывают вещи, рассматривая все свои варианты и видя более широкую картину.
Разработчикам программного обеспечения необходимо строить собственные корабли.
Если ваша стратегия как инженера-программиста состоит в том, чтобы копировать только то, что вы уже видели, вы будете следовать за людьми в старые технологии. Вы создадите компании на переполненных рынках. Вы окажетесь в окружении других людей, которые боятся создавать свои собственные стратегии, технологии и продукты.
Если вы построите свой собственный корабль, мир полон возможностей.
