К плато производительности ИИ
Бич аналитической изменчивости в системах искусственного интеллекта
Почему стандартизация рабочих процессов и конвейеров важна для создания эффективных и надежных систем искусственного интеллекта?
В классической интерпретации теории вероятностей есть знаменитый парадокс, который называется парадокс Бертрана. Бертран сформулировал очень простую задачу следующим образом.
Впишите равносторонний треугольник в круг, а затем определите вероятность случайного выбора хорды, размер которой больше, чем сторона треугольника.
Он привел три действительных аргумента для решения этой проблемы, но каждый из них дал свой результат. Если интересно, ознакомьтесь со статьей в Википедии, чтобы узнать подробности о трех аргументах. Разрешение этого парадокса связано с тем, что каждый из действительных аргументов, кажется, обращается к одной и той же проблеме, но по сути они решают разные математические вопросы.
Я вернусь к этому парадоксу в контексте этой статьи, но перед этим нужно осветить некоторые проблемы в том, как мы строим системы искусственного интеллекта в настоящее время.
В индустрии ИКТ инженеры все больше движутся к созданию систем искусственного интеллекта, чтобы повысить ценность для клиентов, решая существующие проблемы и делая процессы более эффективными. Благодаря, казалось бы, успешному применению глубокого обучения эксперты убеждены, что зима искусственного интеллекта наконец подошла к концу.
Но есть как минимум три основных проблемы (о которых также сообщают различные эксперты), с которыми мы сталкиваемся при создании систем искусственного интеллекта.
Создание над моделями черного ящика
Инженеры ML работают на различных уровнях абстракции. Чаще всего лежащий в основе алгоритм машинного обучения является черным ящиком для инженера, который намеревается интегрировать его в общую систему. Использование конкретной модели, как правило, связано с рядом допущений, которые редко проверяются.
Инженеры машинного обучения склонны использовать множество пакетов с открытым исходным кодом. Как правило, в случае среды python конкретный пакет поставляется с множеством зависимостей. Если намеченный результат достигнут, хорошо, иначе будет опробован другой пакет с другим набором зависимостей. Нет никаких вложений в понимание, почему что-то сработало или почему нет. Пакеты не имеют стандартов, и зачастую эти модели не проходят тщательное тестирование и оценку. Такой подход «черного ящика» пагубно сказывается на надежности систем искусственного интеллекта. Более того, когда сама правильность ставится под сомнение, эффективность отходит на второй план.
Но проблема не только в лучших практиках, которым должен следовать инженер. В настоящее время модели глубокого обучения непрозрачны в своей работе, и их основные характеристики все еще остаются загадкой для исследователей. Фактически, эмпирические результаты противоречат существующим теориям статистики и оптимизации. Фактически, он утверждал, что исследователи глубокого обучения ведут себя как средневековые алхимики, пытающиеся создать магию, схожую с попытками создания золота.
Это непонимание также является отчасти причиной другой проблемы, заключающейся в отсутствии воспроизводимости.
Отсутствие воспроизводимости
Ожидается, что алгоритм, опубликованный известным исследователем, даст те же результаты при правильной реализации независимо кем-то другим (человеком или машиной).
Из-за плохой академической практики, частично возникающей из-за шумихи вокруг ИИ, многие исследователи сокращают путь при разработке алгоритмов. Например, недавно было показано, что многие модели глубокого обучения, которые, как ожидалось, превзойдут существующие современные, либо не смогли сделать это убедительно, либо с применением простой эвристики, традиционный алгоритм машинного обучения мог сделать то же самое. по установленному набору данных. Другой пример злоупотребления служебным положением - это сообщение только о лучших результатах из нескольких запусков алгоритма без раскрытия деталей плохих результатов.
Добавляя к этому непонимание моделей глубокого обучения, как объяснялось выше, исследователи не могут объяснить ту часть своего алгоритма, которая может быть связана с улучшением результатов. Это мешает другому исследователю проанализировать, почему результаты меняются при повторной реализации.
Скрытый технический долг
При создании систем искусственного интеллекта компонент машинного обучения незначителен, в то время как водопровод вокруг него потребляет больше всего усилий. Скалли и др. Из Google представили свою работу в 2015 году, подчеркнув фактор риска при создании систем машинного обучения, который может привести к высоким затратам на обслуживание в будущем из-за таких факторов, как незаявленные зависимости данных, запутанность, антипаттерны программного обеспечения и т. Д.
В качестве примера рассмотрим сценарий, в котором данные извлекаются в виде журналов для определенной цели. Другая группа строит систему машинного обучения (или несколько систем, взаимозависимых друг от друга) поверх нее, предполагая, что данные будут поддерживать свою согласованность. В какой-то момент, если методология сбора данных или природа самих данных будут изменены в соответствии с первоначальной целью, это приведет к каскадным сбоям в иерархии зависимых систем.
Что такое аналитическая изменчивость в системах ИИ?
На этом фоне давайте обсудим ключевое проявление этих проблем в форме аналитической изменчивости в системах машинного обучения. В качестве мотивации сначала давайте обсудим недавнюю работу в области нейровизуализации, когда семидесяти независимым командам было поручено проверить один и тот же набор гипотез с использованием одного и того же набора данных. Командам была предоставлена гибкость в использовании собственных аналитических рабочих процессов и конвейеров. В конце концов, из-за разницы в подходах команды сильно разошлись в выводах. Это напоминает знаменитый парадокс Бертрана, описанный ранее.
Этот парадокс аналогичен сценариям, которые возникают у типичного инженера по машинному обучению, который пытается построить систему с целью решения конкретной реальной проблемы. Подобно трем полностью обоснованным аргументам, приведенным Бертраном, к проблеме, которая была дана на английском, но для которой данные решения оказались соответствующими трем совершенно различным математическим задачам; инженер по машинному обучению виновен в разработке совершенно разных версий системы, пытающихся решить одну и ту же проблему, но по существу приводящих к разным результатам.
Это часто происходит, когда три проблемы, описанные выше, проявляются по-разному, когда специалист по анализу данных или инженер анализирует, проектирует и внедряет системы машинного обучения.
По мере того, как ИИ движется к плато производительности, мы ожидаем, что он выйдет за рамки интернет-компаний, таких как Facebook, Google, Twitter и т. Д., И будет играть более активную роль в здравоохранении, медицине, образовании, транспорте и т. Д.
Рассмотрим произвольный сценарий в секторе здравоохранения, где была успешно разработана новая вакцина и требуется система рекомендаций для определения тех слоев населения, в которых вакцинация должна быть начата на первом этапе. Эта деятельность имеет первостепенное значение, и ставки намного выше, чем для рекомендательной системы, которая предлагает фильмы для времяпрепровождения. Если эту задачу поручить трем специалистам по данным, они придумают три разные системы, дающие совершенно разные результаты. Надежны ли такие системы искусственного интеллекта? Почему политики должны доверять этому?
Более того, если один и тот же специалист по данным применяет один и тот же процесс снова и снова, есть ли гарантия, что он получит такое же решение? Неудивительно, что ответ - НЕТ! - как описано выше, системы машинного обучения сталкиваются с серьезными проблемами с воспроизводимостью.
Эта аналитическая изменчивость в системах ИИ чрезвычайно опасна, поскольку напрямую контролирует жизни людей.
Возможные шаги
Нет сомнений в том, что в конечном итоге ИИ выйдет на плато производительности. Но для того, чтобы достичь этого в кратчайшие сроки и завоевать доверие политиков, жизненно важно, чтобы специалисты по ИИ справились с такой бедой, как аналитическая изменчивость в системах ИИ.
Ниже приведены три возможных подхода к достижению этой цели.
- Разработайте стандарты для конвейеров и рабочих процессов для разработки систем искусственного интеллекта. Убедитесь, что API-интерфейсы машинного обучения, которые действуют как строительные блоки, оснащены строгими инструкциями по их использованию.
- Перед использованием сложных алгоритмов специалисту по данным или инженеру по машинному обучению необходимо обязательно разработать базовые показатели с использованием традиционных алгоритмов машинного обучения или даже простой эвристики. Со временем эти исходные данные должны быть стандартизированы в отрасли.
- Тестировщики программного обеспечения и их существующие парадигмы не особенно полезны для «тестирования» систем ИИ. Для этого необходимо разработать более сложные системы искусственного интеллекта. По сути, это равносильно тестированию систем искусственного интеллекта рядом других систем искусственного интеллекта. Этот подход заслуживает отдельной статьи.
По мере того, как мы переходим к более ответственным приложениям ИИ в таких областях, как полиция, медицина, сельское хозяйство, безопасность и т. Д., Мы должны обеспечить надежность и эффективность создаваемых нами систем ИИ.
