Эта часть из двух частей серии охватывает методы оценки моделей, методы регуляризации, логистическую регрессию и компромисс смещения дисперсии.
Недавно я закончил смотреть этот плейлист по машинному обучению (StatQuest by Josh Starmer) на Youtube и подумал о том, чтобы обобщить каждую концепцию в виде вопросов и ответов. Готовясь к большему количеству собеседований по науке о данных, я подумал, что будет хорошим упражнением убедиться, что я четко и лаконично излагаю свои мысли во время собеседования. Дайте мне знать в комментариях, если я не очень хорошо объясняю какие-либо концепции.
ПРИМЕЧАНИЕ. Эта статья не предназначена для обучения новичков. Предполагается, что читатель имеет достаточный опыт в концепциях науки о данных. Если вы только начинаете работать с ML, я настоятельно рекомендую вам проверить StatQuest на Youtube, это один из моих любимых.
1. Что такое перекрестная проверка? Когда это используется? Можем ли мы использовать перекрестную проверку для настройки параметра модели? Какие бывают типы перекрестной проверки?
Перекрестная проверка - это метод оценки модели, при котором мы разделяем заданный набор данных на разные группы, скажем, 5, а затем итеративно используем 4 группы для обучения и 1 для проверки. Цель использования этого метода - проверить устойчивость модели к различным комбинациям обучающих и тестовых наборов. Он также используется для сравнения двух моделей и определения того, какая из них в целом работает лучше.
Да, мы можем использовать перекрестную проверку для настройки параметров модели. Существует N-кратная перекрестная проверка, которая используется чаще, исключая одну перекрестную проверку, при которой один образец используется в качестве тестового набора, а остальные - в качестве набора для обучения.
2. Что такое матрица неточностей?
Матрица неточностей - это еще один метод оценки модели, который мы используем для задач классификации. В этом методе мы создаем матрицу NxN, где N - количество различных классов, которые необходимо предсказать, поэтому для задачи двоичной классификации N = 2. У нас есть фактические значения по оси X и прогнозируемые значения по оси Y. Оценка модели выполняется на основе некоторых показателей, которые могут быть получены из нее, таких как специфичность, чувствительность, точность и отзывчивость.
3. Как мы определяем чувствительность, специфичность и точность?
Чувствительность, отзывчивость, мощность или показатель истинных положительных результатов - это отношение истинных положительных результатов к общему количеству положительных результатов. Для данной задачи классификации он сообщает нам долю положительных результатов, которые правильно классифицированы, от всех положительных.
Специфичность или истинно отрицательный показатель - это отношение ложноотрицательных результатов к общему количеству отрицательных. Он сообщает нам долю правильно классифицированных негативов от всех негативов.
Точность - это соотношение истинно положительных результатов ко всем случаям, прогнозируемым как положительные.
4. Что такое оценка F?
Оценка F - это мера для проверки точности бинарной классификации. Это гармоничное средство точности и запоминания. F-оценка принимает значение от 0 до 1, и чем выше F-оценка, тем выше мощность модели классификации.
5. Когда мы используем ROC и AUC? Что они означают? Что такое специфичность и чувствительность, точность и отзывчивость? Зачем нам использовать кривую ROC?
Кривая ROC отображает процент истинных положительных результатов (чувствительность) и частоту ложных положительных результатов (специфичность 1). Кривые ROC используются для настройки параметров. Допустим, у нас есть модель логистической регрессии, и мы не знаем, какой порог использовать для классификации истинных положительных и истинно отрицательных значений, тогда в этом случае создание матрицы путаницы для каждого порога может быть обременительным процессом, чтобы решить, какой порог использовать. Таким образом, мы строим кривую ROC, чтобы решить, какой порог использовать на основе истинно положительных и ложных положительных результатов, которые лучше всего подходят для нас. Мы используем AUC, чтобы решить, какая модель лучше. Модель с максимальной площадью под кривой - лучшая модель.
6. Каков компромисс между отклонением и отклонением?
Компромисс смещения и дисперсии помогает нам решить, насколько хорошо модель соответствует набору для обучения и тестирования. Модель, которая идеально подходит для обучающего набора, но очень плохо работает на тестовом наборе, имеет высокую дисперсию, тогда как модель, которая хорошо подходит для тестового набора, но не для обучающего набора, имеет высокую систематическую ошибку.
7. В чем разница между шансом и вероятностью? Как каждое из них определяется? Как логарифм (шансы) связан с логистической регрессией?
Шансы - это отношение того, что что-то происходит, к тому, что чего-то не происходит, тогда как вероятность - это отношение того, что что-то происходит, к общему количеству возможностей.
Вероятность логистической регрессии моделируется как
Теперь, если мы преобразуем это уравнение, чтобы сделать его линейным по X, мы получим что-то вроде
где левая сторона представляет журнал (шансы)
8. Что такое логистическая регрессия? Объясните разницу между логистической и линейной регрессией?
Логистическая регрессия - это метод машинного обучения, который моделирует вероятность того, что ответ Y принадлежит определенной категории в зависимости от набора наблюдаемых переменных X. Вероятность моделируется логистической функцией, которая записывается как
Линейная регрессия используется для прогнозирования непрерывного ответа, тогда как логистическая регрессия используется для категориальной классификации.
9. Сравните коэффициенты линейной и логистической регрессии.
Уравнение простой линейной регрессии можно записать как Y = b0 + b1 * X, где b1 представляет собой среднее увеличение Y для увеличения X на 1 единицу, а b0 - пересечение с Y.
Уравнение логистической регрессии можно записать как
Это уравнение представляет собой S-образную кривую, и чтобы визуализировать это уравнение в виде прямой линии, мы можем произвести некоторые манипуляции с логистической функцией, чтобы получить
Функция слева представляет логарифм (шансы), а уравнение справа теперь линейно относительно X. Таким образом, увеличение X на 1 единицу в случае логистической регрессии связано с увеличением логарифма (шансов) на β1 или, что то же самое, умножает коэффициент на e ^ β1.
Однако в обоих случаях, линейной и логистической регрессии, положительное значение β1 связано с увеличением Y в случае линейной регрессии и логарифма (шансы) в случае логистической регрессии.
10. Объясните метод максимального правдоподобия? Почему мы используем максимальное правдоподобие, а не метод наименьших квадратов для расчета коэффициентов логистической регрессии?
Это метод, используемый для оценки неизвестных параметров для распределения, которое наилучшим образом описывает заданные данные. Уравнение правдоподобия:
Где theta - неизвестный параметр, а x1, x2,…. , xn - точка данных
Логистическая функция - это нелинейная функция, которая представлена S-образной кривой. Теперь, чтобы вычислить наименьшие квадраты, нам нужно подобрать линию, которая минимизирует сумму квадратов расстояний от каждой точки данных до этой линии. Поэтому, поскольку вычисление остатков для S-образной кривой сложнее, лучше всего подходит метод правдоподобия, который представляет собой метод оценки параметров.
11. В чем разница между вероятностью и правдоподобием?
Вероятность и правдоподобие, хотя часто используются, взаимозаменяемо различаются в определенных сценариях. Они представляют собой одно и то же в дискретном случае, но означают совершенно разные в контексте непрерывного распределения.
В непрерывном сценарии вероятность равна (данные | распределение), читается как данные при заданном распределении, тогда как вероятность равна (распределение | данные), читается как данные о распределении.
Начнем с вероятности: всякий раз, когда нас спрашивают о вероятности в контексте непрерывного распределения, это площадь под кривой. Короче говоря, нам дается распределение, а площадь под кривой помогает нам найти вероятность наблюдения значения в определенном диапазоне, то есть P (данные | распределение). На рисунке ниже показано нормальное распределение, которое представляет рост баскетболистов со средним значением = 6,583 и стандартным отклонением = 0,3. Площадь под кривой дает нам P (высота от 6,7 до 6,9 | среднее значение = 6,583 и стандартное отклонение = 0,3)
Принимая во внимание, что в случае вероятности нам дается набор данных, и наша задача - найти параметры распределения, которые лучше всего описывают данный набор данных, то есть L (распределение | данные). Мы делаем это, беря производную от функции правдоподобия по каждому параметру (среднее значение, стандартное отклонение), пока не найдем параметры, которые максимизируют функцию правдоподобия. На следующем рисунке крестики в нижней части оранжевого распределения представляют заданный набор выборок, для которого мы хотим оценить среднее значение и стандартное отклонение. Итак, мы начинаем с принятия значений для среднего и стандартного отклонения и продолжаем процесс до тех пор, пока не найдем распределение, в данном случае оранжевое распределение, которое максимизирует функцию правдоподобия L (среднее, стандартное отклонение) или наилучшим образом описывает данные.
12. Почему мы используем регуляризацию?
Для уменьшения переобучения модели используются методы регуляризации. Обычно используются два метода регуляризации: регуляризация L1 или лассо и L2 или регрессия Риджа. Мы делаем это, вводя небольшую погрешность (или штрафной член), которая делает модель менее чувствительной к обучающим данным, что позволяет избежать переобучения и уменьшить дисперсию данных тестирования. Цель методов регуляризации - минимизировать следующее уравнение для Риджа:
и последующие за Лассо
Лямбда определяет штраф за наклон, члены эпсилон являются остатками, а члены бета - наклонами. Чем выше лямбда, тем выше штраф.
13. В чем разница между Лассо и Ридж? Как выбрать лямбда в качестве параметра настройки?
Большое различие между Лассо и Ридж состоит в том, что регрессия Риджа может асимптотически уменьшить наклон, близкий к 0, в то время как регрессия Лассо может уменьшить наклон полностью до 0. Лассо полезно, когда есть много бесполезных переменных, тогда как Ридж полезен, когда большинство переменных полезны.
Лямбда может принимать любое значение от 0 до бесконечности. Если лямбда = 0, у нас есть линия наименьших квадратов. Мы можем выбрать значение лямбда с помощью перекрестной проверки. Чем больше лямбда, тем больше изменение коэффициентов модели.
14. Какова связь между количеством переменных и количеством выборок при подборе линии регрессии по методу наименьших квадратов?
n всегда должно быть не меньше p, где n - размер выборки, а p - количество переменных. Скажем, n = 1 и p = 2, чтобы не умещаться в какой-либо строке, нам нужны как минимум 2 точки данных, с одной точкой данных мы можем иметь бесконечное количество строк, проходящих через эту одну точку.
15. Какими способами можно заменить недостающие данные?
Есть много способов справиться с этой ситуацией.
- Если количество экземпляров с пропущенными значениями составляет небольшой процент от всего набора данных, их можно безопасно удалить.
- Вписать отсутствующие значения с помощью среднего, медианы или режима. Единственное предостережение этого метода заключается в том, что, если данные предвзяты, вменение может привести к ложному представлению. Например, предположим, что в нашем наборе данных есть 2 столбца: возраст человека и индекс, который измеряет физическую форму этого человека. Теперь, если в нашем наборе данных отсутствуют значения индекса пригодности и если данные смещены в сторону более молодой группы людей, то есть вероятность, что если отсутствует значение для пожилого человека, мы можем заменить его индексом пригодности, который представляет младшая группа людей.
- Третий подход заключается в том, что мы можем найти переменные, которые сильно коррелируют с переменной, у которой отсутствуют значения и соответствуют регрессии.
16. Объясните наивный алгоритм Байеса.
Наивный Байесовский алгоритм классификации, использующий теорему Байеса для отнесения экземпляра к определенному классу. Он предполагает независимость между предикторами, что является основным допущением, учитывая, что практически невозможно, чтобы набор предикторов был полностью независимым. Это хорошо работает, когда предикторы категоричны.
Это должно быть хорошее место для остановки. В этой части II мы рассмотрим некоторые из наиболее часто задаваемых вопросов на собеседовании по различным алгоритмам машинного обучения.
Вопросы по Data Science для подготовки к собеседованию (Концепции машинного обучения) - Часть II
