Во многих задачах машинного обучения модель (с точки зрения точности) вначале развивается относительно быстро. Однако по мере того, как он достигает производительности человеческого уровня, он начинает замедляться, а затем почти полностью выходит на плато.

Со временем, по мере того, как модели становятся все больше и больше и они обучаются на все большем и большем количестве данных, производительность приближается, но никогда не превышает теоретический предел, известный как байесовская оптимальная ошибка (B.O.E.). Другими словами, вы можете думать о байесовской оптимальной ошибке как о наилучшей оптимальной ошибке, которая может быть достигнута. Однако нет функции, которая могла бы выйти за пределы точности B.O.E., печально то, что ее невозможно вычислить. Подобно бесконечности, мы знаем ее свойства и вычисляем, как функции работают на [обоих концах] бесконечности; это всего лишь теоретическая концепция, демонстрирующая предел.

Часто это замедляется после выхода модели на плато и превосходит показатели человеческого уровня. По словам Эндрю Нг, это происходит по двум основным причинам:

  1. Люди обычно хорошо справляются с некоторыми задачами, и их производительность недалеко от байесовской ошибки. Например, посмотреть на изображение и узнать, есть ли на нем кошка. Или прослушивание фрагмента аудио и его расшифровка. Люди делали это на протяжении сотен тысяч лет из соображений выживания, и именно поэтому они преуспевают в таких задачах.
  2. Если модель хуже, чем производительность человеческого уровня, есть инструменты, которые можно использовать для улучшения этой производительности. Однако после этого модели становится трудно учиться, потому что мы больше не можем показывать то, чего система машинного обучения еще не знает. В случае системы, работающей на недочеловеческом уровне, мы можем получить маркированные данные от людей. Но как только он становится лучше нас, мы как бы застреваем.

Чтобы лучше понять этот предел, мы должны знать, что такое человеческая производительность

Что такое производительность на уровне человека?

Что значит для модели достичь производительности человеческого уровня? Лучше всего это можно проиллюстрировать на практическом примере в области радиологии.

Предположим, что эти группы достигают таких показателей :

(а) Необученный человек …………… 15% ошибка

(b) Врач ……………………… .. Ошибка 6%.

(c) Опытный врач …………. Ошибка 3%

(г) Команда опытных врачей .. Ошибка 0,6%.

Если бы вы могли предположить, какой выбор, по вашему мнению, иллюстрирует производительность на уровне человека?

Из приведенных выше примеров можно сказать, что самая низкая ошибка - это вариант (d). Из этого можно сделать вывод, что оптимальная ошибка Байеса равна 0,6% или ниже.

В зависимости от варианта использования для реализаций на производственном уровне может быть достаточно, чтобы система работала, а также опытный врач (c) - особенно, если система не критична.

Превосходя человеческий уровень?

Могут ли системы машинного обучения работать не хуже людей? Зависит.

В последние годы интеллектуальные системы сильно эволюционировали - в основном за счет огромных пулов данных и значительного увеличения вычислительной мощности - и они превосходят нас во многих областях, таких как: онлайн-реклама, распознавание продуктов, логистика, одобрение кредитов и т. Д. Все эти области содержат много данных и объективны (то есть не связаны с естественным восприятием). Финансовые займы все равно будут, независимо от того, как мы к этому относимся.

С другой стороны, в задаче, связанной с восприятием, люди по-прежнему имеют преимущество. Почему вы можете спросить; Что ж, люди выполняли эти задачи естественного восприятия, такие как распознавание зрения и речи, координация глаз и тела и интуиция, на протяжении сотен тысяч лет, потому что они имели решающее значение для нашего выживания как вида.

Подвести итог

Надеюсь, эта статья помогла вам получить четкое общее представление о том, что такое производительность на уровне человека, как ее рассчитать и чем она отличается от байесовской оптимальной ошибки.

Я хотел бы услышать ваши идеи о том, что вы хотели бы прочитать дальше - дайте мне знать ниже в разделе комментариев!

Вы всегда можете связаться со мной через LinkedIn.