Оценка человека-работника боссом ИИ или CHAAI Se Charcha (С извинениями перед Chai Pe Charcha)

Через месяц в начале 2019 года время оценки приближается для многих из нас.

Пришло время договориться о повышении с CHAAI компании (Chief Aоценка искусственныйинтеллектискусственныйинтеллект) Офицер-робот.

Разговор в ближайшем будущем мог бы пойти примерно так:

ЧАЙ: Я уже знаю, что ты сделал. Что вы считаете своими ключевыми достижениями в работе?

Я: Я умею определять объекты на изображениях очень быстро и точно.

CHAAI: Сколько изображений вы можете обрабатывать в час?

Я: Около 50 изображений в час.

ЧАИ: Только 50?

Я да. И мне нужно больше денег.

ЧАЙ: Почему? Как вы будете совершенствоваться дальше?

Я: Обещаю в этом году увеличить производительность в четыре раза.

ЧААЙ: Итак, 200 изображений в час?

Я да.

ЧАЙ: Это все?

Я: Чего ты ожидаешь?

ЧАЙ: Мне нужно, чтобы ты был по крайней мере в тысячу раз быстрее.

Мне, что ?

ЧАЙ: Да. Минимум в 1000 раз быстрее.

Я: Подожди. С кем ты меня сравниваешь?

CHAAI: Самый быстрый ИИ в мире. Согласно этому новому Стэнфордскому исследованию, он примерно в 1000 раз быстрее, чем вы, в классификации изображений.

Я: С какой точностью?

ЧАИ: 93 %.

Я: Должно быть очень дорого. Мои почасовые затраты минимальны. Насколько ниже он может опускаться?

ЧААЙ: Примерно в 30 раз дешевле. На маргинальной основе.

Мне, что ? (Несколько минут неловкой тишины).

Я: Так что мне делать?

ЧАЙ: Твое тело и разум не поспевают за тобой. Тебе нужно научиться работать со своим сердцем, чтобы победить меня. Вам нужно стать более человечным.

Анализ. Если вы думаете, что это маловероятно, подумайте еще раз.

В детстве мы научились распознавать различные объекты после того, как нам показывали их изображения или окружали нас. Одной из первых областей, которыми занимался ИИ, была автоматизация человеческого зрения. Важной задачей в этой области является классификация изображений.

Согласно нашему анализу исследования Stanford AI Deep Learning (DL), проведенного в декабре 2018 года [1], последние результаты ИИ для задач классификации изображений примерно в 1192 раза быстрее и в 31 раз дешевле в пересчете на единицу. (Игнорируя стационарную инфраструктуру и текущие затраты на персонал организаций, участвовавших в исследовании).

Средний работник может классифицировать 50 изображений в час.

Следовательно, время, необходимое для классификации 10 000 изображений, составит 200 часов (что соответствует 25 рабочим дням или 1 календарному месяцу).

Для работника Amazon Mechanical Turk (зарабатывающего примерно 2 доллара США в час [2]) минимальная стоимость этой задачи по классификации 10 000 изображений составит 200 часов или 400 долларов США.

Согласно нашему анализу и работе Стэнфордского сравнительного исследования [1], соответствующее время и затраты лучшего ИИ для классификации 10000 изображений в стандартной базе данных Imagenet из 14 миллионов изображений с точностью 93% следующие:

Время обучения для 14 миллионов изображений составляет 9 минут 22 секунды = 562 секунды. (Согласно лучшей записи в вышеуказанном исследовании по состоянию на декабрь 2018 г.).

Вывод Время задержки на изображение составляет 4,22 миллисекунды. Для 10000 изображений это 42,2 секунды.

Следовательно, общее время задержки обучения и вывода составляет 562 + 42,2 = 604,2, округленное до 604 секунд.

Стоимость обучения 14 миллионов изображений составляет 12,6 долларов США (согласно лучшей записи в вышеупомянутом исследовании по состоянию на декабрь 2018 года).

Стоимость логического вывода на 10 000 изображений составляет 0,02 доллара США (согласно лучшей записи в вышеуказанном исследовании по состоянию на декабрь 2018 г.).

Следовательно, общая стоимость обучения и вывода на 10000 изображений составляет 12,62 доллара США. (Предполагая, что вся стоимость обучения 14 миллионов изображений амортизируется за 10000 изображений).

Сравнение производительности человека и ИИ с точки зрения времени и затрат на обработку 10 000 изображений с постепенным увеличением дает следующее:

Человеческое время = 1 месяц = ​​25 рабочих дней x 8 часов в день = 720000 секунд.

Время ИИ = 604 секунды.

Следовательно, ИИ работает в 1192 раза быстрее.

Стоимость человека = 400 долларов США.

Стоимость ИИ = 12,62 долларов США.

Следовательно, искусственный интеллект в 31 раз дешевле.

Постскриптум:

Я: Подождите, вы не можете сравнивать меня с работником Amazon Mechanical Turk. Мне платят в 4 раза больше. Минимальная почасовая ставка в долларах США 7,25.

ЧАЙ: Конечно. Затем искусственный интеллект становится более чем в 100 раз дешевле.

Me : #@*!%

[1] Коулман С., Нараянан Д., Канг Д., Тиан З., Цзянь З., Нарди Л., Бейлис П., Олукотун К., Рэ С. и Захария М., DAWNBench: сквозной тест глубокого обучения и соревнование, https://dawn.cs.stanford.edu/benchmark/

[2] Хара К., Адамс А., Милланд К., Сэвидж С., Каллисон-Берч К., Бигхэм Дж. П., Анализ доходов работников на основе данных на Amazon Mechanical Turk, https://arxiv.org/ftp/arxiv/papers/1712/1712.05796.pdf