Алгоритмы Cogito используются для генерации обратной связи и рекомендаций в режиме реального времени для агентов колл-центра, помогая им стать более осведомленными и чуткими в подходах к разговорам с клиентами и их ведении. Это способствует положительному изменению поведения, что приводит к улучшению ключевых показателей эффективности компаний в различных отраслях. Чтобы предоставить такую систему в масштабе, важно убедиться, что модели машинного обучения, лежащие в основе продукта, справедливы для большого числа докладчиков из самых разных слоев общества. В результате тема устранения несправедливости или предвзятости занимает центральное место в наших исследованиях и разработках в области машинного обучения.
В сентябре этого года на конференции Interspeech 2019 в Граце, Австрия, исследователи Cogito представят доклад, в котором рассматривается феномен гендерной предвзятости в распознавании речевых эмоций. Мы предлагаем простую процедуру обучения модели, которая одновременно эффективна для уменьшения систематической ошибки и более стабильна во время обучения, чем широко цитируемый базовый метод.
Используя очень стандартную модель нейронной сети, основанную на двумерных сверточных слоях, примененных к частотным коэффициентам Mel, обученную распознавать эмоциональную активацию на наборе данных из 33000+ естественных высказываний из радиошоу, мы демонстрируем, что производительность модели более благоприятна для говорящих-мужчин по сравнению с женщинам. Популярный подход к устранению предвзятости, ранее предложенный исследователями из Google и Стэнфорда (см. Статью), оказался эффективным для повышения справедливости в зависимости от пола, но за счет введения крайне нестабильного обучения модели и снижения точности. На рисунке ниже этот состязательный подход приводит к широкому разбросу показателей точности в нескольких раундах обучения. С другой стороны, наш метод (обозначенный как несостязательный на рисунке ниже) обеспечивает стабильно высокую точность и в то же время снижает влияние гендерной предвзятости.
Многообещающим аспектом предлагаемой нами процедуры обучения является то, что ее можно применять к произвольным переменным, поэтому она служит эффективной стратегией для смягчения предвзятости в отношении множества чувствительных демографических категорий помимо пола.
Конечно, методы машинного обучения - это только часть решения. Следовательно, наши исследования по-прежнему сосредоточены на разработке более целостных протоколов, которые охватывают сбор данных, аннотации человека и производственный мониторинг точности моделей, чтобы предоставлять более справедливые модели машинного обучения в масштабе.
Cogito на Interspeech
Если вы хотите узнать больше об исследованиях и разработках машинного обучения в Cogito, наши исследователи из Interspeech будут рады встретиться за чашкой кофе и поболтать. Cogito также является гордым спонсором Семинара для молодых женщин-исследователей в области науки о речи и технологии (YFRSW) в этом году, который проводится в качестве вспомогательного семинара в Граце незадолго до Interspeech и заслуживает посещения.
Похожие статьи
● На пути к надежной обработке сигналов и машинному обучению - итоги конференции ICASSP 2019
● Новое определение обработки сигналов для аудио- и речевых технологий - итоги конференции ICASSP 2018
● Роботы, глубокие нейронные сети и будущее речи - итоги конференции Interspeech 2017
