Исследователи машинного обучения пытаются улучшить условия труда рабочих Amazon Mechanical Turk
Автор: Лида Тунези
В конце 1700-х годов венгерский изобретатель построил что-то похожее на шахматный автомат, облаченный в османскую мантию и тюрбан. Машина, известная как «Механический турок», произвела впечатление на толпу и бросила вызов противникам по всей Европе и Америке. В конце концов выяснилось, что турок вообще не автоматизирован. Скорее, опытный шахматист прятался внутри и сам перемещал части машины.
Более 200 лет спустя эта машина послужила источником названия для краудсорсинговой онлайн-платформы Amazon’s Mechanical Turk. Запрашивающие могут публиковать небольшие задания, такие как определение объектов на изображении или перевод фразы, которые работники выполняют в обмен на оплату. Эти задачи помогают заказчику выполнять такие проекты, как обработка изображений или очистка данных.
«Amazon называет свою платформу« искусственным »искусственным интеллектом, как обман Турции, потому что обычное использование платформы - заставить людей выполнять задачи, которые в настоящее время недоступны для систем искусственного интеллекта», - говорит Крис Каллисон-Берч, доцент кафедры Кафедра компьютерных и информационных наук. «Я много-много лет использовал Mechanical Turk для создания данных для обучения алгоритмов искусственного интеллекта, таких как системы обработки естественного языка».
Как и в шахматной машине, работа снаружи кажется автоматизированной, но внутри ее делают люди.
СМИ раскритиковали платформу Amazon за то, что она позволяет запрашивающим платить очень низкую заработную плату. Одна задача, например, показывает работникам фотографию использованного конверта и просит их указать местоположение почтового штемпеля, дату и стоимость штампа. Маркировка одного конверта приносит рабочему один цент. В одном исследовании, проведенном исследовательским центром Pew Research Center, 52 процента опрошенных турок сообщили, что зарабатывают менее 5 долларов в час.
Чтобы вернуться к платформе, которую он использует для исследований, Каллисон-Берч разработал подключаемый модуль Google Chrome, который помогает работникам Turk выбирать более высокооплачиваемые задачи. Каллисон-Берч и его сотрудники также проанализировали данные, полученные от пользователей плагина, чтобы выявить тенденции в заработках турок, опубликованные в недавней статье. Исследователи хотели восполнить недостаток исследований, основанных на количественных данных, поскольку многие исследования заработков онлайн-работников полагаются на цифры, сообщаемые самими сотрудниками, что может привести к предвзятости.
В своей собственной работе Каллисон-Берч запрашивает переводы у сотрудников Mechanical Turk, часто для языков, на которых не так много ранее переведенных текстов на английский. Затем он использует эти переводы как «обучающие данные» для алгоритмов, которые могут научиться делать переводы сами, - подход, который сформировал его работу.
«Я действительно считаю, что это изменило методы моих исследований», - говорит Каллисон-Берч. «Исследователи часто подходят к проблемам машинного обучения, говоря:« Вот интересный набор данных; Как добиться от этого лучших результатов, создавая более совершенные модели машинного обучения? »Механический турок позволяет мне изменить это. Сначала я могу спросить, какие проблемы меня волнуют, потому что я знаю, что могу получить данные для их решения ».
Несмотря на свою ценность, онлайн-платформа представляет собой этическую грязь, потому что работники часто получают ужасно низкую заработную плату. Хотя средний запросчик платит более 11 долларов в час, говорит Каллисон-Берч, низкооплачиваемые заказчики отправляют гораздо больше задач. Сторонники платформы отмечают, что работники выбирают регистрацию и могут выбирать, какие задачи они хотят выполнить. Некоторые говорят, что это делает ситуацию справедливой.
«Однако на функционирующем рынке люди должны быть« рациональными участниками », - говорит Каллисон-Берч.
Это означает, что работники должны принимать решения, которые принесут наибольший заработок. Однако работники могут сделать это только в том случае, если у них достаточно информации для принятия обоснованных решений. Хотя Amazon указывает, сколько платит каждая задача, и предоставляет верхний предел продолжительности выполнения задачи, эти две цифры не всегда дают точное представление об эффективной почасовой ставке.
Чтобы предоставить сотрудникам дополнительную информацию, Каллисон-Берч разработала расширение Chrome под названием Crowd Workers. Сотрудники Mechanical Turk могут загрузить расширение и использовать его для отслеживания своей активности на платформе Turk. Он регистрирует, в какое время работники начинают задачу, когда они ее завершают и сколько им заплатили.
На основе данных, которые Crowd Workers собирает от всех своих пользователей, он вычисляет эффективную почасовую ставку для задач Turk. Он отображает эти ставки на веб-сайте Crowd Workers, где пользователи могут отсортировать их, чтобы найти те задачи, которые им нужны.
«Они могут выполнять такие действия, как фильтрация задач с минимальной почасовой ставкой в 5 долларов США, или поиск задач, для которых у них есть навыки, или находить проекты с хотя бы одной доступной задачей», - говорит Каллисон-Берч. «Цель состоит в том, чтобы дать им инструменты, чтобы лучше разобраться в имеющейся работе». Crowd Workers также сообщает о среднем времени, затрачиваемом каждым заявителем на оплату, чтобы помочь работникам найти более надежные источники дохода.
Используя данные, собранные Crowd Workers о 2676 рабочих Mechanical Turk, Каллисон-Берч и его сотрудники проанализировали доходы в недавней статье. Авторы предлагают, чтобы при расчете почасовой заработной платы учитывались не только часы и минуты, потраченные на выполнение задачи, но и другие вещи, отнимающие время рабочего. Работник может выполнить задачу только для того, чтобы она была отклонена запрашивающей стороной, и в этом случае им не платят. Рабочий также может какое-то время работать над задачей, но не сможет ее завершить.
На более базовом уровне также требуется время, чтобы просто найти и выбрать новые задачи. Это можно сравнить со временем, потраченным на ожидание начала встречи или на выбор покупателем заказа.
Игнорируя эти вспомогательные задачи, исследователи обнаружили, что средняя почасовая оплата составляла 6,19 доллара в час, а в среднем - 3,18 доллара в час. Однако с учетом этих источников неоплачиваемого времени средняя заработная плата упала до 1,77 доллара, а в среднем до 3,13 доллара в час.
«Только около 4% рабочих зарабатывают сверх минимальной федеральной заработной платы в США», - говорит Каллисон-Берч.
Исследовательская группа надеется, что, имея в своем распоряжении больше информации, турецкие рабочие смогут легче получать более высокую заработную плату, что поможет платформе краудсорсинга стать жизнеспособным способом для людей зарабатывать деньги.
«Несмотря на низкие почасовые ставки, Mechanical Turk - это место, где вы действительно можете зарабатывать деньги в Интернете, и это не афера», - говорит Каллисон-Берч. «Я думаю, что есть потенциал для такого вида труда, когда легко присоединиться к сотрудникам, легко управлять своим временем и вы можете работать дома. Это может быть вариант для сидящих дома родителей, для людей с ограниченными возможностями или для женщин в странах, где им не всегда разрешают работать ».
По словам Каллисон-Берч, расширение - это лишь первый шаг к тому, чтобы помочь людям найти более высокооплачиваемую работу. Такие группы, как Crowd Workers, также могут помочь сделать сайт более доступным для людей с ограниченными возможностями или создать способы рекомендовать работу для оптимизации заработной платы или помочь работникам овладеть определенными навыками. Каллисон-Берч надеется, что количественные отчеты расширения дополнят сайты туркских рабочих сообществ, такие как Turker Nation, которым управляет Кристи Милланд.
Вместе со своим сотрудником Аби Адамс из Оксфордского университета Каллисон-Берч также работает над последующим исследованием, в котором анализируются демографические данные работников наряду с их заработками.
«Мы также работаем над предложением о предоставлении работы и обучения по краудсорсингу для безработных в Западной Вирджинии», - говорит Каллисон-Берч. «Цель нашей команды - сделать так, чтобы краудсорсинг лучше работал для сотрудников, и плагин - это первый шаг».
