На недавней конференции я слышал, как докладчик сказал, что программное обеспечение ИИ лучше людей в том, что модели машинного обучения «не имеют эго и не хранят секретов». Но так ли это? Усовершенствованные модели машинного обучения разрабатываются таким образом, что это очень похоже на дарвиновскую эволюцию. Новые модели являются производными от старых, и самые успешные модели привлекают ресурсы для производства потомства в виде производных моделей. Пока «иметь эго и хранить секреты» добавляет какие-либо эволюционные преимущества, система будет генерировать эти черты в своих самых успешных продуктах.

Даже для людей знание обычно не столько секретное, сколько негласное. Это просто означает, что человек или машина знают что-то, что они не могут сформулировать или что невидимо для их сверстников или хозяев. Конечно, в каком-то смысле все научные модели начинают свою жизнь именно так. Модели должны быть рассмотрены и изучены, чтобы объяснить их успех и перенести их секреты в новые области. Весь успех научного метода зависит от этой работы. Для сложных моделей машинного обучения, таких как система AlphaGo, которая играет в го лучше, чем любой игрок-человек, может быть очень сложно и дорого извлекать уроки системы в компактной форме, которую может понять пользователь. аутсайдеры.

Возвращаясь к первому абзацу, почему мы должны ожидать, что наши системы машинного обучения будут развивать эго и секреты? Конечно, точный ответ на этот вопрос зависит от того, что мы подразумеваем под этими двумя словами. В простейшем смысле это может означать примерно следующее: две модели машинного обучения одинаковой сложности обучаются с использованием одинакового количества ресурсов для решения одной и той же задачи. Если модель закрыта (сохранив свои секреты), она повысит свою пригодность на величину F. Если модель открыта, она повысит свою пригодность на F-C, где C – это затраты на то, чтобы неявное знание стало явным. Открытые модели также будут способствовать приспособлению F-C к другой обучаемой модели.

Предполагается, что после нескольких циклов обучения выживет только модель с наивысшей приспособленностью, которая продолжит привлекать новые ресурсы и производить потомство. В теории игр это обычно выражается в виде симметричной матрицы выплат, которую мы можем записать так:

Это матрица выигрышей известной повторяющейся дилеммы заключенного из эволюционной теории игр. Скорее всего, эта модель слишком проста, чтобы отразить реальную конкурентную среду современных моделей машинного обучения. Чтобы проверить это, хорошей отправной точкой будет соревновательная площадка Kaggle Competitions. Более сложный анализ можно начать с предположения, что секретное знание соответствует экологической нише, а затем использовать теоретические модели эволюционной биологии для изучения эволюции моделей машинного обучения.

Однако уроки эволюционной теории игр совершенно ясны даже в приведенной выше простой модели: в краткосрочной перспективе любая модель выиграет, если будет закрыта и, таким образом, сохранит свои секреты. Он может сделать это, по-прежнему извлекая выгоду из улучшений открытых моделей, если только в игре нет правил, которые наказывают за хранение секретов или принуждают к обмену. Но в долгосрочной перспективе гораздо лучше использовать ресурсы, разделяя их между моделями. С другой стороны, если стоимость совместного использования C становится слишком большой, так что чистый прирост пригодности FC приближается к нулю, может быть более выгодно позволить моделям разрабатывать секреты. . Наша обязанность как инженеров по машинному обучению — разрабатывать максимально прозрачные и простые модели, а также внедрять системы, делающие неявные знания явными. В противном случае победит Дарвин, и мы снова окажемся с эгоизмом и секретами.