Несмотря на глубокое понимание нейронных сетей для классификации изображений, модели по-прежнему похожи на черные ящики для инженеров машинного обучения, поскольку мы не знаем, какой уровень изучает, какой набор функций. Более глубокое понимание и знание того, что изучается на каждом уровне, может помочь исправить систематические ошибки или неправильные особенности, которые изучаются, путем внесения изменений в наш набор данных и экспоненциально повысить эффективность части анализа для улучшения модели. Однако в настоящее время основное внимание в большинстве инструментов ИИ уделяется простоте внедрения и сокращению времени развертывания.
Исследовательские лаборатории Google разработали TCAV, или тестирование векторов активации концепций, которые недавно дебютировали в Google I / O 2019. Хотя они еще только зарождаются, это большой шаг вперед в автоматизированном тестировании нейронных сетей.
Демонстрация
В примере, предложенном Google, он мог сказать вам, что программа идентифицировала объект изображения как врача частично из-за белого халата и стетоскопа, но также частично из-за того, что человек выглядел как мужчина - предположительно потому, что он был обучен на наборе данных в какие мужчины чаще, чем женщины, становились врачами. Простое выявление этой предвзятости, конечно, не решает проблемы, но это необходимый первый шаг к противостоянию и исправлению такого рода предубеждений.
В другом примере, предложенном Google, вы можете видеть, что лошадь и полосы важны для идентификации зебры, однако важность, приписываемая саванне, показывает, что набор данных необходимо больше диверсифицировать, чтобы повысить эффективность классификации на фоне, отличном от пастбищ.
Будущее
TCAV - это большой шаг вперед в автоматизированном тестировании ИИ, который определенно подтолкнет конкурентов Google к перенаправлению внимания и ресурсов на это новое направление. Это также может заложить основу для разработки инструментов для более широкого спектра нейронных сетей и распознавания речи.
Это также на неопределенный срок увеличит энтузиазм по поводу ИИ среди начинающих разработчиков благодаря улучшенному тестированию и пониманию нейронных сетей.
