Лорел и Харди в области машинного обучения
«Ну, вот еще один хороший беспорядок, в который ты меня втянул!»
На этой неделе я отправлюсь еще дальше в прошлое со своими ссылками, вплоть до 1930-х годов. На случай, если некоторые читатели-миллениалы просто подумали «ОК, бумер», я хотел бы уточнить, что я сам миллениал. Просто иногда старые отсылки имеют гораздо больше смысла, чем современные.
Так что для тех, кто не знает о Лорел и Харди, я призываю вас зайти на Youtube и посмотреть несколько видео, прежде чем читать дальше. Те из вас, кому посчастливилось увидеть этот дуэт в действии, я надеюсь, увидят параллель с тем, что я собираюсь сказать.
Лорел и Харди машинного обучения известны как предвзятость и дисперсия. Как и Laurel & Hardy, Bias и Variance соединились на бедре. Хотя и то, и другое может привести к значительным ошибкам в вашей модели, в отличие от Лорел и Харди, которые понимали силу ошибок в том, чтобы заставить людей смеяться, в машинном обучении ошибки не вызывают смеха. Если вы не будете осторожны с Bias и Variance, они могут стоить вам работы.
Чтобы помочь вам избежать неприятностей, давайте посмотрим, почему Laurel & Hardy в области машинного обучения заслуживают вашего внимания.
Дисперсия
«Лошадь можно вести к воде, но карандаш надо вести». — Лорел
Поклонники шоу помнят, что у Лорел были действительно хорошие идеи. Он придумывал интересный способ сделать что-то и делился им с Харди, который, в свою очередь, говорил: «Расскажи мне это еще раз». Как только эти слова произносились, Лорел спотыкалась и во второй раз выдавала совершенно бессмысленную версию своей идеи.
Лорел является примером вариативности в машинном обучении. Дисперсия — это ошибка вашей модели, когда она не может обобщить данные, которых раньше не видела. Если вы измените данные даже немного, предсказания модели полностью неверны. Подобно тому, как каждая итерация «Скажи мне это еще раз» приводила к другому ответу Лорел, то же самое происходит с вашей моделью машинного обучения, если она имеет очень высокую дисперсию.
Другими словами, ваша модель изучит шум вместе с сигналом, поэтому она просто не сможет разделить объекты, если отсутствует проводник!
Предвзятость
«Вы на самом деле используете свой мозг. Вот что приходит от общения со мной». — Харди
Харди, с другой стороны, никогда не понимал Лорел, когда впервые поделился своими идеями, которые, по крайней мере, для зрителя, были ясны. Однако у Харди была сверхъестественная способность понимать бессмысленную версию, которую Лорел выпалила во второй раз.
Очевидно, у Харди были большие трудности с отделением сигнала от шума, и в этом вся суть Bias. В упрощенном смысле смещение можно определить как ошибку, вызванную тем, что ваша модель не может ничего узнать из обучающих данных.
Другими словами, вы будете выглядеть умнее, если просто будете использовать свой мозг, а не модель с большим уклоном.
И что?
Вот обычное дело и что? Какое вам дело до этих ужасно натянутых аналогий? Вы должны заботиться о них, потому что каждая проблема машинного обучения связана с поиском компромисса между ними.
Если ваша модель имеет очень высокую предвзятость, она просто недостаточно учится (или вообще не учится), так что это превосходит смысл машинного обучения. Это может произойти, например, потому что вы используете линейную регрессию для нелинейной задачи. Таким образом, один из способов превратиться из Харди в Лорела — использовать более сложные модели.
Если затем вы сделаете свою модель слишком сложной, например, используя замысловатый SVM с обратным распространением, у Лорел начнутся галлюцинации о карандашах и лошадях, как будто я только что галлюцинировал название модели, так что вы тоже должны этого избежать.
По сути, вам нужно найти компромисс между ними, счастливое место, где вы и Лорел и Харди живете в полной гармонии.
До тех пор, пока вы не попадете в еще один приятный беспорядок! но в этом вся жизнь Data Scientist, не так ли?
Теперь, если есть кто-то из вас, кто пострадал так далеко, ниже я привожу ссылку для лучшего объяснения компромисса смещения и дисперсии, которая может помочь вашему мозгу оправиться от того, что вы только что прочитали:
