Оценка человека-работника боссом ИИ или CHAAI Se Charcha (С извинениями перед Chai Pe Charcha)
Через месяц в начале 2019 года время оценки приближается для многих из нас.
Пришло время договориться о повышении с CHAAI компании (Chief Aоценка искусственныйинтеллектискусственныйинтеллект) Офицер-робот.
Разговор в ближайшем будущем мог бы пойти примерно так:
ЧАЙ: Я уже знаю, что ты сделал. Что вы считаете своими ключевыми достижениями в работе?
Я: Я умею определять объекты на изображениях очень быстро и точно.
CHAAI: Сколько изображений вы можете обрабатывать в час?
Я: Около 50 изображений в час.
ЧАИ: Только 50?
Я да. И мне нужно больше денег.
ЧАЙ: Почему? Как вы будете совершенствоваться дальше?
Я: Обещаю в этом году увеличить производительность в четыре раза.
ЧААЙ: Итак, 200 изображений в час?
Я да.
ЧАЙ: Это все?
Я: Чего ты ожидаешь?
ЧАЙ: Мне нужно, чтобы ты был по крайней мере в тысячу раз быстрее.
Мне, что ?
ЧАЙ: Да. Минимум в 1000 раз быстрее.
Я: Подожди. С кем ты меня сравниваешь?
CHAAI: Самый быстрый ИИ в мире. Согласно этому новому Стэнфордскому исследованию, он примерно в 1000 раз быстрее, чем вы, в классификации изображений.
Я: С какой точностью?
ЧАИ: 93 %.
Я: Должно быть очень дорого. Мои почасовые затраты минимальны. Насколько ниже он может опускаться?
ЧААЙ: Примерно в 30 раз дешевле. На маргинальной основе.
Мне, что ? (Несколько минут неловкой тишины).
Я: Так что мне делать?
ЧАЙ: Твое тело и разум не поспевают за тобой. Тебе нужно научиться работать со своим сердцем, чтобы победить меня. Вам нужно стать более человечным.
Анализ. Если вы думаете, что это маловероятно, подумайте еще раз.
В детстве мы научились распознавать различные объекты после того, как нам показывали их изображения или окружали нас. Одной из первых областей, которыми занимался ИИ, была автоматизация человеческого зрения. Важной задачей в этой области является классификация изображений.
Согласно нашему анализу исследования Stanford AI Deep Learning (DL), проведенного в декабре 2018 года [1], последние результаты ИИ для задач классификации изображений примерно в 1192 раза быстрее и в 31 раз дешевле в пересчете на единицу. (Игнорируя стационарную инфраструктуру и текущие затраты на персонал организаций, участвовавших в исследовании).
Средний работник может классифицировать 50 изображений в час.
Следовательно, время, необходимое для классификации 10 000 изображений, составит 200 часов (что соответствует 25 рабочим дням или 1 календарному месяцу).
Для работника Amazon Mechanical Turk (зарабатывающего примерно 2 доллара США в час [2]) минимальная стоимость этой задачи по классификации 10 000 изображений составит 200 часов или 400 долларов США.
Согласно нашему анализу и работе Стэнфордского сравнительного исследования [1], соответствующее время и затраты лучшего ИИ для классификации 10000 изображений в стандартной базе данных Imagenet из 14 миллионов изображений с точностью 93% следующие:
Время обучения для 14 миллионов изображений составляет 9 минут 22 секунды = 562 секунды. (Согласно лучшей записи в вышеуказанном исследовании по состоянию на декабрь 2018 г.).
Вывод Время задержки на изображение составляет 4,22 миллисекунды. Для 10000 изображений это 42,2 секунды.
Следовательно, общее время задержки обучения и вывода составляет 562 + 42,2 = 604,2, округленное до 604 секунд.
Стоимость обучения 14 миллионов изображений составляет 12,6 долларов США (согласно лучшей записи в вышеупомянутом исследовании по состоянию на декабрь 2018 года).
Стоимость логического вывода на 10 000 изображений составляет 0,02 доллара США (согласно лучшей записи в вышеуказанном исследовании по состоянию на декабрь 2018 г.).
Следовательно, общая стоимость обучения и вывода на 10000 изображений составляет 12,62 доллара США. (Предполагая, что вся стоимость обучения 14 миллионов изображений амортизируется за 10000 изображений).
Сравнение производительности человека и ИИ с точки зрения времени и затрат на обработку 10 000 изображений с постепенным увеличением дает следующее:
Человеческое время = 1 месяц = 25 рабочих дней x 8 часов в день = 720000 секунд.
Время ИИ = 604 секунды.
Следовательно, ИИ работает в 1192 раза быстрее.
Стоимость человека = 400 долларов США.
Стоимость ИИ = 12,62 долларов США.
Следовательно, искусственный интеллект в 31 раз дешевле.
Постскриптум:
Я: Подождите, вы не можете сравнивать меня с работником Amazon Mechanical Turk. Мне платят в 4 раза больше. Минимальная почасовая ставка в долларах США 7,25.
ЧАЙ: Конечно. Затем искусственный интеллект становится более чем в 100 раз дешевле.
Me : #@*!%
[1] Коулман С., Нараянан Д., Канг Д., Тиан З., Цзянь З., Нарди Л., Бейлис П., Олукотун К., Рэ С. и Захария М., DAWNBench: сквозной тест глубокого обучения и соревнование, https://dawn.cs.stanford.edu/benchmark/
[2] Хара К., Адамс А., Милланд К., Сэвидж С., Каллисон-Берч К., Бигхэм Дж. П., Анализ доходов работников на основе данных на Amazon Mechanical Turk, https://arxiv.org/ftp/arxiv/papers/1712/1712.05796.pdf