ТЕСТИРОВАНИЕ КАЧЕСТВА ИИ
В этой статье блога мы демонстрируем проблему, связанную с непроверенными системами машинного обучения, и важность обеспечения качества моделей ИИ. Мы также представляем важность качественного тестирования систем, основанных на машинном обучении.
Многие компании, стартапы и инновационные проекты в настоящее время внедряют модели ИИ в свои решения и системы, от самоуправляемых автомобилей до упрощения процедур медицинского страхования и безопасности в социальных сетях. Недавние прорывы в области ИИ обладают большим потенциалом для революционных изменений в отраслях и позволили этим системам хорошо работать во многих случаях даже с невидимыми данными и предыдущими сценариями, соответственно, эти модели ИИ автоматизировали несколько задач и больше не требуют вмешательства человека и служат образцом для подражания для улучшения жизни людей.
Тем не менее, модели ИИ должны обеспечивать преодоление дискриминационного поведения и борьбу с гендерными, расовыми и этническими предубеждениями при развертывании для общественного использования.
Хотя модели машинного обучения в настоящее время развертываются в нескольких системах, стало необходимым тщательно тестировать эти модели, находить и исправлять ошибки и определять режимы отказа модели.
Тем не менее, обеспечение качества модели ИИ по-прежнему является сложной задачей, и многие ведущие компании, такие как Twitter, Google, Amazon, Facebook и др., не смогли обеспечить безопасность, справедливость и отсутствие предвзятости в своих моделях ИИ. ОпенАй.
Обеспечение безопасности в моделях ИИ
«Более справедливый мир — это лучший мир, и ИИ становится частью нашей жизни… мы должны обеспечить его справедливость».
Многие специалисты по обработке и анализу данных, инженеры по машинному обучению и владельцы проектов создают модели ИИ и внедряют свои системы ИИ в производство, а внедрение ИИ в стандартный бизнес стремительно растет.
Цитата из курса Fast.ai: «Что бы вы почувствовали, если бы узнали, что были частью системы, которая в итоге нанесла ущерб обществу? Вы бы даже знали? Вы были бы открыты для того, чтобы узнать? “. Другими словами, что бы вы почувствовали, если бы обнаружили, что ваша модель ИИ, которая хорошо работала на ваших тестовых (автономных) данных, теперь дискриминирует людей, лишает их прав и подвергает других опасности?
В этой статье мы хотели показать важность тестирования качества ИИ и то, как избежать таких неловких ситуаций, перечислив некоторые передовые практики.
Важность тестирования моделей ИИ на предмет обеспечения качества.
Модели машинного обучения и системы принятия решений на основе ИИ созданы для автоматического, точного и прозрачного выполнения определенных задач. Как и в случае с любой другой технической системой, рекомендуется проверить, делает ли система именно то, для чего она создана, и охватывает ли она все состояния и сценарии.
Обеспечение качества ИИ – это фундаментальный аспект работы систем машинного обучения. Это делается для обеспечения точности, надежности, отсутствия предвзятости и справедливости в системах на основе ИИ.
Обеспечение качества обучающих данных
Тестирование обеспечения качества обеспечивает качество обучающих данных, которые являются наиболее важной частью системы ML, разнообразие сценариев, с которыми модель, скорее всего, столкнется в реальных случаях, например, изображения в разных видах и углах, текст со словами с ошибками… и т. д. и, наконец, чтобы избежать любой формы человеческой предвзятости, которая может быть изучена моделью и повторена для принятия решений в будущем.
Человеческое поведение предвзято по своей природе, и данные, которые мы используем для обучения наших моделей ИИ, обычно поступают из человеческой деятельности, поэтому большая часть предвзятости ИИ исходит из самого набора данных. Таким образом, обеспечение разнообразия в вашем обучающем наборе данных обеспечит широкий охват, который может ограничить это нежелательное поведение. Одним из хороших примеров обеспечения справедливости в ИИ является набор данных Разнообразие лиц.
Обеспечение требуемой производительности модели после искажения данных
Добавление возмущения к обучающим данным и игра с различными функциями могут плохо сказаться на принятии решений моделью. Эти возмущения и… сценарии более вероятны в реальных действиях, иногда это может быть ошибка или какая-то аномалия. Этот вид теста называется: Метаморфическое тестирование.
Всегда рекомендуется следить за тем, чтобы эти возмущения не влияли на производительность модели на этапе производства.
Проведите тщательное тестирование перед публикацией
Одним из важных шагов в цикле разработки модели является проверка того, что модель работает должным образом и сообщает о желаемой производительности. В дополнение к Метаморфическому тестированию существуют Множественные тесты
- Эвристическое тестирование: проверьте, соответствуют ли результаты вашей модели некоторым бизнес-правилам.
- Тестирование производительности: проверьте, достаточно ли высока производительность вашей модели для некоторых конкретных срезов данных.
- Тестирование дрейфа данных: проверьте, не дрейфуют ли ваши функции между эталонным и фактическим набором данных.
- Тестирование прогнозируемого смещения: проверьте отсутствие смещения концепции внутри вашей модели.
Кроме того, предвзятость вызывает серьезные опасения у инженеров по машинному обучению и владельцев проектов. Существуют разные причины и происхождение Bias, поэтому перед отправкой любой модели в производство или публичное использование необходимо провести несколько тестов.
