Частота ошибок Байеса — это наименьшая возможная частота ошибок для любого классификатора случайного результата.

Со временем, по мере того как модели становятся все больше и больше, и они обучаются на все большем количестве данных, производительность приближается, но никогда не превышает теоретический предел, называемый байесовской оптимальной ошибкой (B.O.E.).

Самое печальное в этом то, что это нельзя рассчитать

Часто модель замедляется после или до того, как модель превзойдет производительность человеческого уровня. Есть две общие причины, почему это происходит:

  • Люди хорошо справляются с какой-то задачей, и их производительность не зависит от байесовской ошибки.
  • Если модель хуже, чем производительность на уровне человека, есть инструменты, которые можно использовать.

Что такое производительность на уровне человека?

Для модели достижение производительности на уровне человека означает, что система должна работать так же хорошо, как и опытный человек в задаче, особенно если система не является критической.

Превосходная производительность на уровне человека.

Могут ли системы машинного обучения работать так же или лучше, чем человек? Зависит.

В последние годы интеллектуальные системы сильно развились — в основном из-за гигантских пулов данных и значительного увеличения вычислительной мощности — и они превосходят нас во многих областях, таких как: онлайн-реклама, распознавание продуктов, логистика, одобрение кредитов и т. д.

С другой стороны, в задачах, связанных с восприятием, люди по-прежнему имеют преимущество. Люди выполняли эти естественные задачи восприятия, такие как: распознавание зрения и речи, координация глаз и тела и интуиция.

Основываясь на информации, приведенной в этом примере, у вас на самом деле недостаточно информации, чтобы сказать, следует ли вам сосредоточиться на уменьшении систематической ошибки или уменьшении дисперсии в вашем алгоритме. Так что это снижает эффективность там, где вы должны добиться прогресса. Более того, если ваша ошибка уже лучше, чем даже команда людей, рассматривающих, обсуждающих и обсуждающих правильную метку, например, тогда также сложнее полагаться на человеческую интуицию, чтобы сказать вашему алгоритму, как ваш алгоритм все еще может ошибаться. улучшить производительность?

Итак, в этом примере, как только вы преодолели этот порог в 0,5%, ваши варианты, ваши способы добиться прогресса в проблеме машинного обучения становятся менее ясными. Это не значит, что вы не можете добиться прогресса, вы все еще можете добиться значительного прогресса, но некоторые инструменты, которые у вас есть, чтобы указать вам четкое направление, просто не работают.

Проблемы, в которых машинное обучение значительно превосходит производительность на уровне человека

  • Он-лайн реклама
  • Рекомендации по продукту
  • Логистика (прогнозирование транзитного времени)
  • Одобрение кредита

Так, например, лучшие системы для всех четырех из этих приложений, вероятно, просмотрели гораздо больше данных этого приложения, чем любой человек мог бы просмотреть. Таким образом, компьютеру также относительно легко превзойти производительность на уровне человека. Но поскольку люди очень хорошо справляются с задачами естественного восприятия, я думаю, что компьютерам было труднее добиться этого. А еще есть некоторые медицинские задачи, например, чтение ЭКГ или диагностика рака кожи, или определенная узкая радиологическая задача, где компьютеры становятся действительно хорошими и, возможно, превосходят производительность одного человеческого уровня.

…