В этом месяце мы провели нашу первую встречу MLUX в Сиэтле с Getty Images! На этом мероприятии Андреа Гальяно, руководитель отдела науки о данных в Getty Images, и Джош Лавджой, руководитель отдела дизайна отдела этики и общества в Microsoft, поделились своими проверенными и ориентированными на пользователя подходами к машинному обучению в технологиях, влияющих на общество. .
Идеи Джоша и Андреа помогут вашей команде сознательно создавать этичные, инновационные и устойчивые продукты и опыт. Смотрите полное событие.
1. Соглашение: заранее укажите, что вы собираетесь делать
Другими словами, четко обозначьте, что вы ожидаете и не ожидаете, что повлияет на производительность модели. Часто вы строите модель, которая увековечивает прошлые шаблоны. Решите, стоит ли сохранять прошлые паттерны или стоит стремиться к будущему состоянию.
В Getty это означает, что при поиске изображений «мы представляем репрезентативные изображения на основе прошлых шаблонов (нижнее левое изображение) или представляем будущее, к которому стоит стремиться (нижнее правое изображение)?»
У Гетти есть два возможных подхода к этому непростому вопросу, оба из которых сопряжены с риском.
Подход A: используйте существующие ярлыки для заполнения сбалансированных результатов поиска
Существующие ярлыки могут включать пол, этническую принадлежность и другие характеристики, которые можно использовать для балансировки результатов поиска. Однако этот подход носит предписывающий характер: например, с учетом пола должен ли быть равный баланс между мужчиной и женщиной? А как насчет других полов? Меняется ли процент для разных пользователей? В разных странах? Что произойдет, если вы добавите больше категорий: фигура, этническая принадлежность, пол, доход и т. Д.? Есть ограниченные категории для использования, так что какой тип разнородных людей получит верхние слоты? Эти типы ярлыков (пол, раса и т. Д.) Также являются категориальными, из-за чего человеческое разнообразие уводится в статические блоки, которые не обязательно отражают жизненный опыт людей.
Подход B: математический подход к определению внешнего вида
Вычисляя метрику «расстояния», показывающую, насколько похожи или различаются лица друг от друга, алгоритмы могут создавать разнообразный набор лиц при поиске изображения за счет широкого распределения расстояний. Тем не менее, один из основных рисков заключается в том, что разнообразие зависит от множества разных типов людей, представленных в обучающих данных. Например, при обнаружении лиц обычно используемый набор данных под названием «Маркированные лица в дикой природе» содержит 77,5% мужчин и 83,5% белых лиц. Еще одно соображение при таком подходе заключается в том, что, например, оттенок кожи не отражает всего разнообразия человека. В связи с этим существуют характеристики, которые важны для человеческого разнообразия, которые нельзя определить только по пикселям лица (например, пол и т. Д.).
Итак, остается вопрос: перевешивают ли преимущества риски?
2. Гранулярность: обучайте больше и узкие модели
Автоматизация - это слишком широкий термин, нам нужно больше конкретики. Дайте время своей команде спросить и подумать: «Что мы собираемся делать, на каком уровне автоматизации, с каким типом автоматизации?» Рассмотрение необходимого нам уровня автоматизации помогает нам понять, что означает «точность» для модели и что должно поддерживать пользовательский интерфейс.
Выбор того, какой тип автоматизации мы планируем, помогает нам подумать о том, какие данные мы думаем и собираем и с какой целью. Например, рассмотрим камеры, которые хорошо сканируют свет и собирают пиксели (это просто сбор информации). Но что, если система автоматически маркирует чье-то лицо на фотографии (анализ информации) и сообщает пользователю, какое действие следует предпринять, например, пометить друга (выбор решения), или просто автоматически пометит человека (реализация действия). Конкретно подумайте о том, какой тип автоматизации вы намереваетесь, критически важно для сознательного проектирования моделей и опыта.
3. Финансовые средства: дело не всегда в эффективности модели
Представляя идею свободного владения пользователями с помощью машинного обучения, возникает вопрос: «Используют ли люди эту модель более эффективно, чем раньше?» Например, доверие между людьми строится на предсказуемости (мы ожидаем, что другой человек совершит определенное действие), надежности (выполняем это конкретное действие, когда они нам нужны) и веры (они демонстрируют эту способность снова и снова). Автоматизированные системы часто бывают разными: мы просим пользователей немедленно полностью довериться и обойти этапы предсказуемости и надежности. Это называется «предвзятость автоматизации», когда люди чрезмерно полагаются на всезнающую машину. Но когда что-то идет не так, у пользователя нет оснований для предсказуемости или надежности, на которые можно было бы прибегнуть.
Предоставление этих качеств помогает людям выздоравливать и добиваться успеха в таких ситуациях. Одним из распространенных примеров этого является распознавание речи, особенно там, где нет альтернативных действий, которые пользователь может предпринять. Однако отдел этики и общества Microsoft выступает за другой подход к моделированию обучения: предоставление порога достоверности слова, которое не соответствует, наряду со словом, которое оно соответствует. , заставляет пользователей остановиться и подумать, прежде чем слепо принять то, что говорит система. В приведенном ниже примере Джоша еще веселее, когда вы позволяете пользователю выполнить какое-то действие, либо повторить попытку, либо обучить модель.
Мы надеемся, что эти платформы помогут вам и вашей команде задуматься о своем образе мышления при создании полезных продуктов машинного обучения.
Большое спасибо нашим участникам и спонсорам за то, что поделились с нами своим опытом!
О новой команде Microsoft по этике и обществу
Команда по этике и обществу подходит к сложным вопросам, ориентируясь на человека в жизненном цикле разработки ИИ. Они не являются традиционным органом по этике, который руководит через управление, а, скорее, совместно с группами разработчиков продуктов Microsoft посредством глубокого взаимодействия, которое позволяет им глубоко погрузиться в мельчайшие детали и фундаментально сформировать UX и процесс разработки. Три наиболее передовых подхода:
Оценка вреда
Они исследуют реальное воздействие на людей, а не корпоративный риск. Это помогает им сосредоточиться на вопросах, которые охватывают индивидуальные травмы (физические и психологические) и подрывают демократические и социальные структуры, и решать, что является вредной технологией, а что нет.
Обучение
Они объединяют свою работу с другими командами, а затем наблюдают, как она работает на практике. Фактически, они помогают сделать этику основным приоритетом при проверках эффективности (впервые в своем роде!). Это означает измеримые результаты, которые можно отслеживать вместе с карьерным ростом независимого консультанта. Это грандиозный шаг, на котором многие из нас могут извлечь уроки, работая над проблемами, присущими этому процессу.
Жизненный цикл данных
Они создали команду вокруг процесса сбора и структурирования данных. Вместо того, чтобы навешивать ярлыки людей постфактум, влияние на среду, в которой собираются данные, может помочь командам «сказать, что вы будете делать, чтобы вы могли делать то, что говорите». Этот подход предназначен для того, чтобы избежать таких ситуаций, как автоматическая фокусировка и баланс белого по умолчанию «видит» белую кожу, но не черный, что исправляется только позже в процессе маркировки.
О Getty Images
Getty Images активно внедряет новшества в визуальном повествовании, предоставляя идеальное изображение или видео в руки каждого покупателя, будь то заголовок, меняющий общество, или следующая крупная кампания бренда, и в то же время по-настоящему меняет мир изображениями. У Getty самый надежный, уважаемый и разнообразный визуальный контент в мире с более чем 250 миллионами изображений и видео, охватывающих последние глобальные новости, от событий с красной ковровой дорожки до футбольных стадионов и зон конфликтов, а также концептуальные творческие изображения, а также использование машинного обучения для использовать все это. Благодаря глобальному присутствию, данные о поисковом взаимодействии Getty Images поступают от 50+ миллионов уникальных посетителей в квартал почти из всех стран мира.
О встрече по машинному обучению и взаимодействию с пользователем (MLUX)
Мы воодушевлены созданием будущего интеллектуальных продуктов, ориентированных на человека, и считаем, что первым шагом к этому будет объединение специалистов, занимающихся UX и Data Science / Machine Learning, чтобы они могли собираться вместе и учиться друг у друга на регулярных встречах, технических переговорах и т. Д. панели и события. У нас также есть список ресурсов наших любимых примеров MLUX на Medium!
Хотите узнать больше? Присоединяйтесь к нашей встрече, будьте первым в курсе наших мероприятий, присоединившись к нашему списку рассылки (Информационный бюллетень за февраль 2020 года) , следите за прошлыми событиями на нашем канале YouTube и подписывайтесь на нас в twitter (@ mluxmeetup) и Linkedin.
