Цифровые системы полезны только в том случае, если им можно доверять в их работе

Цифровые системы полезны только в том случае, если им можно доверять в выполнении их работы. С помощью традиционных детерминированных систем мы могли получить определенную степень уверенности в том, что система работает правильно, с помощью таких процессов, как модульные тесты, тестирование конечных пользователей, анализ кода и проектная документация.

ИИ по своей сути недетерминирован по своей природе, особенно с такими подходами, как машинное обучение, которые постоянно развиваются, обновляются и переобучаются в течение своего жизненного цикла. Поскольку ИИ все чаще используется для принятия более важных решений, чем когда-либо прежде, пользователи должны иметь возможность установить тот же уровень доверия к ИИ, что и их детерминированные предшественники. В частности, современные системы искусственного интеллекта должны обеспечивать справедливость и снижать или устранять предвзятость, а также обеспечивать подотчетность (например, способ проверки / анализа того, как система получает результаты) и обоснование того, почему система выдает конкретные результаты.

Пользователи должны иметь возможность установить тот же уровень доверия к ИИ, что и их детерминированные предшественники.

Получение такой же степени доверия к системам ИИ, как и к традиционным детерминированным системам, привело к большей необходимости убрать «черный ящик» и повысить прозрачность того, как была построена система и, в конечном итоге, как она работает.

Повышение прозрачности может принести пользу заинтересованным сторонам по-разному:

  • Конечные пользователи: могут лучше понять, почему были получены определенные результаты.
  • Разработчики: могут упростить отладку, настройку и оптимизацию моделей машинного обучения.
  • Руководители проектов: могут лучше понять, как работает технический проект.

Чтобы формализовать проблему установления доверия, организации начинают объединять различные парадигмы, инструменты и структуры, которые подходят к проблеме по-разному. Например, парадигма четырех столпов IBM предполагает, что системы искусственного интеллекта должны соответствовать целям справедливости, надежности, объяснимости и возможности аудита, в то время как Google разработал свои рекомендации Образцовая карта о том, как лучше всего документировать данные и модели. Google также предоставил набор инструментов Объясняемый ИИ, который позволяет вам лучше понимать модели машинного обучения.

Инструмент визуального моделирования PerceptiLabs был создан с нуля с учетом прозрачности, чтобы обеспечить прозрачность для пользователей тремя ключевыми способами:

  1. Визуализации компонентов и переменных.
  2. Полностью прозрачный и редактируемый код.
  3. Архитектура визуальной модели.

Мы покажем вам, как каждая из этих трех областей помогает повысить прозрачность.

Визуализации компонентов и переменных

Инструмент визуального моделирования PerceptiLabs с его интерфейсом перетаскивания означает, что пользователи контролируют каждый компонент, входящий в модель, и каждое соединение между этими компонентами. В частности, PerceptiLabs обеспечивает предварительный просмотр каждой переменной в каждом компоненте, чтобы вы могли видеть и точно контролировать их настройку. Аналогичным образом PerceptiLabs обеспечивает предварительный просмотр выходных данных каждого компонента (например, растрового изображения, созданного из данных изображения).

Это особенно полезно для разработчиков, которым необходимо отлаживать и понимать модели машинного обучения, но также приносит пользу другим пользователям, например специалистам по данным, которым необходимо понимать, как модель обрабатывает их данные. Таким образом, вы можете не только видеть результат, но и запускать отдельные наборы данных с помощью одной и той же модели и сравнивать результаты. Например, специалист по анализу данных может запустить модель на одном наборе данных, если он знает, что результаты / распределение являются справедливыми, а затем запустить модель на других тестовых наборах данных для сравнения результатов. Точно так же вы можете настроить как код, так и параметры во время этого итеративного процесса для дальнейшего улучшения тестирования.

Полностью прозрачный - редактируемый и проверяемый код

За кулисами в инструменте моделирования PerceptiLabs каждый компонент модели приводит к генерации кода TensorFlow (с другими фреймворками, которые вскоре будут поддерживаться), обеспечивая полную прозрачность для программистов выполняемого кода. Разработчики могут не только просматривать код каждого компонента, но также напрямую изменять и настраивать этот код. Это делает код доступным для аудита, поэтому вы можете видеть, что ваш код делает на каждой фазе модели, а также видеть, где и когда выполняется код.

Такое разделение модели также помогает пользователям обосновать свои предположения в различных точках и обосновать (или провести аудит), почему система или данный компонент в архитектуре дает определенные результаты. Более того, это позволяет вам оценить надежность ваших моделей данных.

Архитектура визуальной модели

Благодаря модели данных, отображаемой визуально в инструменте моделирования PerceptiLabs, пользователи могут сразу видеть как объекты в модели, так и связи между ними, что обеспечивает мгновенную визуализацию того, как работает модель. Вы можете просматривать свойства и предварительные просмотры по мере их трассировки в прямом и обратном направлении, чтобы увидеть, как каждый уровень модели выводит выходные данные, что дополнительно способствует возможности аудита.

Безопасность и защищенность становятся серьезной проблемой, поскольку данные, которые вводятся в систему машинного обучения, могли быть изменены, чтобы вызвать предвзятость. PerceptiLabs ’включает ряд статистических данных о прогнозировании и точности, которые можно использовать для более точной оценки того, как модель машинного обучения работает с различными наборами данных. Опять же, это можно использовать во время итераций по настройке модели, ее повторному обучению и сравнению результатов, при поиске смещений как в обученных данных, так и во время вывода.

Заключение

Достижение прозрачности с помощью систем искусственного интеллекта имеет решающее значение по мере роста их внедрения, поскольку эти по своей сути недетерминированные системы должны быть надежными при использовании для логических выводов в реальном мире.

PerceptiLabs и его визуальный подход были созданы с нуля с учетом прозрачности и обеспечивают хорошую отправную точку для создания системы сдержек и противовесов, чтобы установить доверие к вашей модели и повысить объяснимость в машинном обучении.

Первоначально опубликовано на https://blog.perceptilabs.com.