… Если вы не поделитесь подробностями о его цели, дизайне, тестировании и показателях
Продавцы во всем мире, пожалуйста, не говорите мне, что ваша модель машинного обучения (или, еще лучше, ИИ) точна на 99%. Не говорите мне, что все, что нам нужно сделать, это подключить ваши данные, и произойдет какое-то блестящее волшебство. Я не единственный. Недавно 31 ученый оспорил исследование Google Health, потому что не было опубликовано достаточных доказательств, чтобы определить достоверность предложенных моделей искусственного интеллекта. Мы все должны внести свой вклад в создание заслуживающих доверия моделей, на основе которых наше новое развивающееся приложение. Получение информации - это первый шаг к снижению модельного риска.
Предоставьте мне контекст
При изучении моделей, созданных внутри компании, или готовых продуктов от поставщиков, я выполняю несколько необходимых шагов. Есть много других замечательных вопросов. Пожалуйста, не стесняйтесь делиться ими в разделе комментариев.
Прежде всего, нам нужно понять, является ли то, что вы делаете за кулисами, машинным обучением. Если вы не можете сказать мне, какие типы моделей дают результаты, позвоните своему инженеру.
Без контекста метрики точности бесполезны. Девять девять процентов точности - это потрясающе, если вы обозначаете виды рыб для детского зоологического приложения, но не настолько, если вы идентифицируете приближающиеся ракеты.
Прежде чем говорить о какой-либо метрике, необходимо рассмотреть следующие три вопроса.
Какова цель?
- Вы что-то продвигаете или что-то предотвращаете?
Насколько часто это мероприятие или редко?
- Дай мне статистику. "Действительно редко" - не лучший ответ.
Каков наихудший сценарий?
- Что произойдет, если модель неверна, как ложноположительная, так и ложноотрицательная.
- Если вы не знаете, значит, вы не понимаете сценарий использования. Тебе нужно поработать.
Предоставьте мне доказательства и подробности
Как только я пойму эти основы, мы сможем перейти к деталям.
Откуда вы взяли данные для обучения?
- В случае покупки, кто был продавцом?
- Вы строите модели на основе смоделированных данных?
- Как были собраны и подготовлены данные?
- Транзакционный, телефонный опрос, веб-приложение, приложение для телефона
Типы обучаемых моделей:
- Какие модели?
- Как вы пришли к этим конкретным моделям?
- Вы полагались на конкретную платформу или архитектуру при принятии этого решения?
Показатели:
- Точность - это хорошо, но это гораздо больше, чем просто точность. Покажите мне, пожалуйста, матрицу путаницы. Где модель преуспела, а где нет?
- Не могли бы вы показать мне главных предсказателей? Мне нужно убедиться, что они имеют смысл. Какова была ценность ассоциации? Возможна ли утечка данных?
Смещение:
- Какая предвзятость (демография, регион, метод сбора данных (iPhone или Android), этническая принадлежность, состояние здоровья и благополучие), по вашему мнению, должна быть в ваших тренировочных данных? Если предвзятость неизбежна, что вы сделали, чтобы ее уменьшить?
- Оценили ли вы возможное влияние смещения, анализируя результаты реализации модели? Модель может иметь абсолютно «чистые» данные и при этом иметь непредвиденные последствия. Пол, раса, этническая принадлежность и социально-экономический статус легко попадают в базы данных, даже если эти столбцы не используются. Для получения подробного примера прочтите «Анализ расовых предубеждений в алгоритме, используемом для управления здоровьем населения», автор Obermeyer et al. НАУКА 25 октября 2019 г.: 447–453. В нем хорошо показано, как выбор, казалось бы, разумной цели оптимизации (снижение затрат на здравоохранение для хронических пациентов) привел к тому, что среди чернокожего населения не было достойных кандидатов на программы оздоровления.
Вывод
Так же быстро, как развиваются машинное обучение и искусственный интеллект, так же быстро должны развиваться наши ожидания в отношении прозрачности проектирования и проверки. Без способности полностью понимать модели и результаты, которые они производят, может возникнуть недоверие ко ВСЕМ моделям, подавляя рост и творчество. Если вы еще не задаете вопросы, начните делать это. От этого зависит весь наш успех.
Ссылки
«Анализ расовых предубеждений в алгоритме, используемом для управления здоровьем населения», Обермейер и др. НАУКА 25 октября 2019 г.: 447–453
