Примечание редактора. Саяк будет выступать на ODSC West в Сан-Франциско в ноябре этого года! Обязательно ознакомьтесь с его докладом Интерпретируемое машинное обучение - справедливость, подотчетность и прозрачность в системах машинного обучения »там!
Проблема в том, что оценивать системы машинного обучения намного сложнее, чем обучать их. Это требует ответственного подхода, требует большего, чем просто расчет показателей потерь. Прежде чем запускать модель в производство, критически важно проверить данные обучения и оценить прогнозы на предмет систематической ошибки . - Ускоренный курс машинного обучения. Есть ряд последствий, которые показывают ужасные последствия предвзятости в системах машинного обучения.
Данные питают системы машинного обучения, особенно данные обучения. Когда эти данные необъективны и передаются в системы машинного обучения, последствия обязательно будут неприятными. По словам Кэти О’Нил, это часто ограничивает эффективное использование машинного обучения для всех:
Привилегированные обрабатываются людьми; бедные обрабатываются алгоритмами.
Почему сложно интерпретировать машинное обучение?
Проблема в том, что одна метрика, например точность классификации, является неполным описанием большинства реальных задач. - Доши-Велес и Ким
Модели машинного обучения технически можно рассматривать как функции, функции, которые представляют собой своего рода сопоставление (контролируемое машинное обучение). Чтобы изучить эти функции, модели машинного обучения комбинируют и рекомбинируют функции (присутствующие в данных) множеством произвольных способов. Разбить такие функции на коды причин на основе отдельных входных функций сложно.
Что мы можем с этим поделать?
- Пересмотрите данные: насколько точно данные представляют проблему?
Часто можно увидеть точки данных, которые не отражают проблему, с которой вы имеете дело. Снова рассмотрим указанную выше проблему. Задача - определить возраст людей по их фронтальным изображениям. Вам не нужны изображения игрушек, собак, самолетов в наборе данных, так же как вам не нужны изображения такого качества:
Попытайтесь сопоставить эту точку с идеей нерелевантности. Если бы у нас был класс на основе дифференциации, например, нам не нужны были бы уроки о том, как решать квадратное уравнение в том же классе.
- Зацикливайтесь на экспертах в предметной области:
Они могут дать рекомендации или предложить изменения в том, над чем вы работаете, что может помочь вашему проекту оказать долгосрочное положительное влияние.
- Обучите модели учитывать предвзятость:
Как выглядят выбросы и как ваша модель их обрабатывает? Какие неявные предположения может делать система и как вы можете их смоделировать или смягчить?
- Интерпретируйте результаты
Является ли система машинного обучения чрезмерно обобщающей? Если бы эту задачу выполнял человек, как бы выглядело соответствующее социальное поведение? Какие могут быть межличностные сигналы, которые заставят систему машинного обучения работать иначе, чем человеческая?
[Статья по теме: Этика искусственного интеллекта: как избежать наших серьезных вопросов]
Области интерпретируемости машинного обучения
- Прозрачность алгоритма: понимание того, как алгоритм обучает модель
- Интерпретируемость глобальной модели: как модель делает прогнозы после обучения
- Интерпретируемость локальной модели: выяснение причин для того или иного прогноза.
Об авторе:
Саяк любит все глубокое обучение. Он придерживается девиза: понимать сложные вещи и помогать людям понять их настолько легко, насколько это возможно. Саяк - большой блоггер, и все его блоги можно найти здесь. Он также работает со своими друзьями над применением глубокого обучения в классификации фонокардиограмм. Саяк также является писателем FloydHub AI. Он всегда открыт для обсуждения новых идей и их воплощения в жизнь. Вы можете связаться с Саяком в LinkedIn и Twitter.
Примечание редактора. Саяк будет выступать на ODSC West в Сан-Франциско в ноябре этого года! Обязательно ознакомьтесь с его докладом Интерпретируемое машинное обучение - справедливость, подотчетность и прозрачность в системах машинного обучения »там!
Прочтите больше статей по науке о данных на OpenDataScience.com, включая учебные пособия и руководства от новичка до продвинутого уровня! Подпишитесь на нашу еженедельную рассылку здесь и получайте последние новости каждый четверг.
