Прозрачность теперь является фундаментальным принципом и необходимым условием доверия и, в конечном итоге, признания ИИ заслуживающим доверия. Без понимания того, как ИИ делает свои выводы, возникает вопрос, в какой степени мы можем доверять этим системам. Вопрос доверия становится все более актуальным, поскольку мы все больше и больше делегируем принятие решений и все больше полагаемся на ИИ для защиты важных человеческих благ, таких как безопасность, здравоохранение и безопасность.

По сути, суждение о том, насколько хорошо прозрачны системы ИИ — понятно ли стороннему наблюдателю, как был получен результат системы?

В этой статье я расскажу, как IBM Watson AutoAI реализует прозрачность.

Графическое взаимодействие при настройке конфигурации

Перед выполнением эксперимента, когда вы настраиваете некоторые параметры ввода в пользовательском интерфейсе AutoAI, например, если вы используете AutoAI для решения проблемы временных рядов и устанавливаете конфигурации для бэктестов, он ответит вам так, как вы видите, это то, что вы получаете. При этом вы можете предварительно просмотреть

  • Какие частичные данные будут использоваться для обучения, а какие — для тестирования в каждом раунде бэктеста.
  • Длина контрольных данных всегда идентична длине тестовых данных в каждом раунде тестирования на истории, что позволяет лучше сравнивать производительность модели при тестировании на истории и при тестировании.
  • Где находятся данные о пробелах в каждом раунде тестирования на исторических данных.

Пошаговое изучение процесса сборки в разных представлениях

Есть два представления, чтобы показать, что произошло во время процесса сборки конвейера. Карта отношений — это показатель роста, который растет уровень за уровнем дуги. Каждый уровень показывает подробности, произошедшие в текущий момент:

  • В самом начале, после завершения предварительной обработки данных, вы сразу же увидите результат, такой как автоматически определенное значение окна ретроспективного анализа.
  • При формировании трубопроводов вы можете видеть, какие трансформаторы выбраны для каких трубопроводов.

Карта хода выполнения – это развернутый рисунок, показывающий весь процесс эксперимента со всеми контрольными точками. Эти узлы будут подсвечиваться один за другим вместе с текущим процессом, чтобы указать, где мы находимся.

Объясните, почему и почему это не подтверждается доказательствами

Там есть не только значения метрик, объясняющие, почему были выбраны некоторые конвейеры, но и для тех, которые были отброшены, но также есть значения оценок, объясняющие, почему они не смогли победить.

Другой пример касается выбора автоматического импьютера, у него есть метрика MAE, чтобы объяснить, почему выбранный может выиграть.

Объясните метрику справедливости и как она рассчитывается

Визуализируйте оптераторы конвейера с аргументами конфигурации

Если вы используете AutoAI и lale с ibm-watson-machine-learning клиентским API Python, вы можете легко визуализировать все детали операторов для конвейеров.

Каждый узел визуализации является оператором машинного обучения (преобразователем или оценщиком). Каждое ребро указывает на поток данных (преобразованный вывод одного оператора становится вводом для следующего). Входные данные для корневых узлов — это начальный набор данных, а выходные данные для узла-приемника — окончательный прогноз. Когда вы наводите указатель мыши на узел, во всплывающей подсказке отображаются аргументы конфигурации соответствующего оператора (настраиваемые гиперпараметры). Когда вы нажимаете на гиперссылку узла, вы попадаете на страницу документации для оператора.

Подведение итогов

Мы можем видеть в IBM Watson AutoAI, он предоставляет различные средства прозрачности, чтобы вы знали, как был получен результат.

Перейдите в раздел IBM Cloud и узнайте больше.