Почему соревнования не позволяют создавать реальные решения для искусственного интеллекта
Если у вас нет идеального набора данных и вы хотите решить реальную проблему, сотрудничество побеждает конкуренцию.
Все больше и больше организаций входят в сферу искусственного интеллекта, пробуя свои силы в создании решений искусственного интеллекта в здравоохранении, образовании, финансах, устойчивости, правосудии и многих других областях.
К сожалению, слишком многие из этих организаций, у которых есть серьезные проблемы, которые необходимо решить, не знают, с чего начать, не имеют доступа к талантам ИИ или просто не имеют ресурсов для выполнения проекта ИИ.
Если вы можете идентифицировать себя с этим и подумать о запуске проекта ИИ, вы можете спросить себя, следует ли вам выбрать конкурентную модель или модель сотрудничества для достижения наилучших результатов.
Ну, это зависит.
Если у вас есть идеальный набор данных или вы хотите только настроить уже существующее решение, конкурентоспособная модель может быть лучшим вариантом.
Напротив, если вам нужна помощь в уточнении вашей проблемы, улучшении набора данных, требуется разнообразие взглядов, чтобы снизить риск предвзятости, и вы хотите узнать, как разрабатывается ИИ, тогда сотрудничество выигрывает.
Вот пять причин, по которым конкурентные модели не подходят для многих реальных сценариев.
1. Чем меньше, тем лучше для лучшего общения.
Один из самых уважаемых экспертов по искусственному интеллекту, Эндрю Нг, рекомендует выполнять пилотные проекты в области искусственного интеллекта небольшой командой из 5-15 человек, и важным фактором является общение.
В небольших группах участники могут узнавать друг друга и легко сотрудничать с другими командами, такими как PR, продажи и операции. Вместе они могут найти новые данные для использования в модели, более точные показатели для согласования с желаемым результатом или найти компромиссы для алгоритма ИИ, чтобы приспособить остальную часть организации.
Такое общение недопустимо на соревнованиях. Можете ли вы представить, что двадцать отдельных команд пытаются связаться с разными отделами для получения дополнительной информации? Межфункциональное общение приводит к лучшим результатам, что больше подходит для совместной команды.
В проектах ИИ Омдены активно участвует организация, решающая проблему (в удобное для них время).
Сотрудников приглашают присоединиться к учебной среде от начала до конца проекта, чтобы повысить внутренние возможности ИИ.
2. Несоответствие стимулов
В Африке существует концепция, известная как Убунту, глубокое ощущение того, что мы люди только благодаря человечности других; что если мы и хотим добиться чего-либо в этом мире, это в равной мере будет связано с работой и достижениями других.
- Нельсон Мандела
Конкурирующие команды стимулируются к победе в соответствии с показателями оценки конкуренции, а не к созданию лучшего решения для оптимизации конечного результата.
Следовательно, команды поощряются к обману, чтобы выиграть приз. Например, команду Baidu забанили на Kaggle на год за попытку обмануть лимит отправки.
Использование утечек данных - еще одно частое явление в соревнованиях по искусственному интеллекту, которое может привести к искусственно завышенным оценкам модели, которая не будет работать так же хорошо в производстве. Это общепринятая практика на Kaggle.
Конечно, не все читеры, но читеры, как правило, побеждают в соревнованиях, и вы можете не осознавать, что произошло, пока не попытаетесь реализовать решение.
Простая истина, применимая к любому проекту: для достижения наилучших результатов каждый должен быть инвестирован в лучшее комплексное решение, а не пытаться превзойти другие команды.
Когда налажено сотрудничество, люди становятся гораздо более доверчивыми друг другу, с большей готовностью расширяют свои возможности и с большей вероятностью добиваются потрясающих результатов ... Когда идет конкуренция, люди не доверяют друг другу настолько, чтобы искренне ставить перед собой сложные цели, которые позволят достичь поставленных целей. дать возможность каждому вырасти за пределы того, где он находится сейчас.
- Шон Кент Хаяши, тренер по спортивным достижениям, журнал Forbes
3. Отсутствие ловкости.
Редко бывает, что мы можем точно определить спецификации проекта с самого начала, но правила конкурса нужно оговаривать заранее.
Хотя можно изменить правила посередине, это легко приводит к пропущенным коммуникациям, и на самом деле это не может происходить постоянно.
В среде совместной работы, когда мы изучаем и тестируем, проект может постоянно развиваться, чтобы лучше соответствовать желаемому результату. Фактически, совместные усилия в начале задачи часто приводят к уточнению постановки задачи и увеличению создания ценности вместе с проблемой.
Размещая проект со шведским стартапом Spacept в области искусственного интеллекта по созданию модели глубокого обучения для предотвращения лесных пожаров, они увидели наибольшую ценность, полученную в следующем:
Мы получили доступ ко многим инженерам на местах, которые полны энтузиазма и были самоорганизованы в несколько команд, пробующих разные методы одновременного решения проблемы, чтобы найти лучшее решение.
4. Кто будет оценивать ваши выступления на соревнованиях?
Оценить эффективность модели машинного обучения непросто. Существует множество показателей на выбор, множество способов ввести результаты в заблуждение и множество возможностей внести нежелательные предубеждения.
Если вы участвуете в соревновании из-за нехватки ресурсов искусственного интеллекта, будьте осторожны, если у вас есть необходимый опыт, чтобы принять решение, какое решение реализовать. Если вы не уверены, что ваша организация сможет сделать правильный звонок, безопаснее запустить совместный проект, в котором каждый объединяет свой опыт.
5. Что будет после проекта?
Создание решений искусственного интеллекта в соревновательном стиле равносильно передаче вашей команды искусственного интеллекта для каждого проекта. Реализация решений в реальном мире - это больше, чем просто алгоритм машинного обучения, часто требующий доступа к экспертам в предметной области после официальной даты закрытия задачи.
В задаче Voice4Impact Омдены мы все работали вместе, как одна команда, включая Дженнифер Питерс, генерального директора Voice4Impact. Она сказала мне, что вы являетесь частью семьи Voice4Impact, и я очень хочу помочь запуску продукта.
На соревнованиях судьи должны быть беспристрастными и не должны так пристально относиться к участникам, следовательно, не выстраивать такие отношения, чтобы обеспечить преемственность.
