Вопросы для интервью о методах оценки моделей для алгоритмов классификации
О сериале
Область науки о данных — это захватывающий карьерный выбор, и мы видим много найма на свежие, нестандартные и опытные должности. Одно дело знать концепции, и совсем другое — пройти строгие собеседования на должности в области науки о данных. Если кандидат знаком с различными вопросами и процессом собеседования, он находится на правильном пути к отличной карьере в развивающейся области науки о данных.
Это трехнедельное руководство для начинающих по Ace Data Science Interview будет полезным для тех, кто готовится к собеседованию по Data Science. Каждый день в течение следующих 21 дня мы будем говорить о различных областях науки о данных и подробно их освещать. Так что устройтесь поудобнее и начните читать статью, чтобы лучше понять область науки о данных и подготовиться к интервью.
Хотя обучение модели является ключевым шагом, то, как модель обобщает или работает с невидимыми данными, является не менее важным аспектом, который следует учитывать в каждом конвейере машинного обучения. Нам нужно знать, действительно ли он работает так же, как если бы для данных поезда, и, следовательно, можем ли мы доверять его предсказаниям.
Может ли модель просто запоминать данные, которыми она питается, и поэтому не может делать хорошие прогнозы для будущих выборок или выборок, которые она не видела раньше?
В этой статье мы объясним методы, используемые для оценки того, насколько хорошо модель машинного обучения Classification обобщает новые, ранее неизвестные данные.
Вопрос 1. Укажите матрицу оценок, используемую для обобщения алгоритмов классификации.
Решение:
- Матрица путаницы
- Оценка F1
- Графики усиления и подъема
- Колмогоров Смирнов Диаграмма
- АУК — ОКР
- Потеря журнала
- Матрица путаницы
Вопрос 2.Из трех заданных двух оценочных показателей (точность|AUC-ROC), какие оценочные показатели обеспечивают лучшую модель обобщения.
Решение:
- Заявления о каких-либо показателях, безусловно, безосновательны, все зависит от того, какие данные у нас есть.
Точность: работает хорошо, когда наша целевая переменная равномерно распределена, она работает хорошо, но когда данные сильно несбалансированы, нет необходимости использовать точность_оценки в качестве матрицы оценки.
AUC-ROC: работает лучше всего в обоих случаях.
Вопрос 3. У вас есть данные о раке, какие из приведенных ниже оценочных матриц приведут к ошибочным результатам.
(а) Точность
(б) АУК-РПЦ
© F1-счет
Решение: (а)
Потому что из трех оценочных матриц Accuracy_score не сможет определить прогноз модели в случае, если наш набор данных сильно несбалансирован.
Вопрос 4. Объясните матрицу путаницы применительно к алгоритмам машинного обучения.
Решение:
Матрица путаницы (или матрица ошибок) — это специальная таблица, которая используется для измерения производительности алгоритма. Он в основном используется в обучении с учителем; в неконтролируемом обучении это называется матрицей соответствия.
Матрица путаницы имеет два параметра:
- Действительный
- Предсказанный
Он также имеет идентичные наборы функций в обоих этих измерениях.
Рассмотрим матрицу путаницы (бинарную матрицу), показанную ниже:
(лишний текст слева нужно удалить с изображения)
Здесь,
Для фактических значений:
Всего Да = 12+1 = 13
Всего № = 3+9 = 12
Аналогично, для прогнозируемых значений:
Всего Да = 12+3 = 15
Всего № = 1+9 = 10
Чтобы модель была точной, значения по диагоналям должны быть высокими. Общая сумма всех значений в матрице равна общему количеству наблюдений в наборе тестовых данных.
Для приведенной выше матрицы общее количество наблюдений = 12+3+1+9 = 25.
Теперь точность = сумма значений по диагонали / общий набор данных.
= (12+9) / 25
= 21 / 25
= 84%
Вопрос 5. Что такое ложноположительный и ложноотрицательный результат и насколько они значимы?
Решение:
Ложноположительные результаты — это те случаи, которые ошибочно классифицируются как истинные, но являются ложными.
Ложноотрицательные — это те случаи, которые ошибочно классифицируются как Ложные, но являются Истинными.
В термине «ложноположительный» слово «положительный» относится к строке «Да» прогнозируемого значения в матрице путаницы. Полный член указывает, что система предсказала его как положительное, но фактическое значение отрицательное.
Итак, глядя на матрицу путаницы, мы получаем:
Ложноположительный = 3
Истинный положительный = 12
Точно так же в термине «Ложноотрицательный» слово «Отрицательный» относится к строке «Нет» прогнозируемого значения в матрице путаницы. И полный член указывает, что система предсказала его как отрицательное, но фактическое значение положительное.
Итак, глядя на матрицу путаницы, мы получаем:
Ложноотрицательный = 1
Правда отрицательный = 9
Вопрос 6.Объясните, чем отличается точность от полноты.
Решение:
Точность
Precision пытается ответить на следующий вопрос:
Какая доля положительных идентификаций была на самом деле правильной?
Отзывать
Recall пытается ответить на следующий вопрос:
Какая доля фактически положительных результатов была определена правильно?
Вопрос 7. Как узнать, какой алгоритм машинного обучения выбрать для вашей задачи классификации?
Решение:
Хотя не существует фиксированного правила выбора алгоритма для задачи классификации, вы можете следовать следующим рекомендациям:
- Если важна точность, протестируйте разные алгоритмы и проверьте их перекрестно.
- Если набор обучающих данных небольшой, используйте модели с низкой дисперсией и высоким смещением.
- Если набор обучающих данных большой, используйте модели с высокой дисперсией и небольшим смещением.
Вопрос 8.Какую метрику ошибок вы бы использовали для оценки качества бинарного классификатора? Что делать, если классы не сбалансированы? Что делать, если групп больше 2?
Решение:
- Двоичная классификация включает в себя классификацию данных на две группы, например. независимо от того, покупает ли клиент конкретный продукт или нет (да/нет), на основе независимых переменных, таких как пол, возраст, местонахождение и т. д.
- Поскольку целевая переменная не является непрерывной, модель бинарной классификации предсказывает вероятность того, что целевая переменная будет иметь значение Да/Нет. Для оценки такой модели используется метрика, называемая матрицей путаницы, также называемая матрицей классификации или совпадения. С помощью матрицы путаницы мы можем рассчитать важные показатели производительности:
- Истинная положительная частота (TPR), или частота попаданий, или отзыв, или чувствительность = TP / (TP + FN)
- Частота ложных срабатываний (FPR) или частота ложных тревог = 1 — Специфичность = 1 — (TN / (TN + FP))
- Точность = (TP + TN) / (TP + TN + FP + FN)
- Error Rate = 1 — точность или (FP + FN) / (TP + TN + FP + FN)
- Точность = TP / (TP + FP)
- F-мера: 2/((1/точность) + (1/отзыв))
- ROC (рабочие характеристики приемника) = график зависимости FPR от TPR
- AUC (площадь под кривой)
- Если в целевой переменной несколько классов, то формируется матрица путаницы с размерностями, равными количеству классов, и все показатели эффективности могут быть рассчитаны для каждого из классов. Это называется многоклассовой матрицей путаницы. например в переменной ответа есть 3 класса X, Y, Z, поэтому отзыв для каждого класса будет рассчитываться, как показано ниже:
- Отзыв_X = TP_X/(TP_X+FN_X)
- Отзыв_Y = TP_Y/(TP_Y+FN_Y)
- Отзыв_Z = TP_Z/(TP_Z+FN_Z)
Вопрос 9.Что такое хорошая точность и полнота?
Решение:
В информационном поиске показатель идеальной точности 1,0 означает, что каждый результат, полученный в результате поиска, был релевантным (но ничего не говорит о том, были ли получены все релевантные документы), в то время как идеальный отзыв Оценка 1,0 означает, что в результате поиска были получены все релевантные документы (но ничего не говорит о том, сколько нерелевантных документов также было получено).
- Точность больше сосредоточена в положительном классе, чем в отрицательном классе, она фактически измеряет вероятность правильного обнаружения положительных значений, в то время как FPR и TPR (показатели ROC) измеряют способность различать между классы.
Вопрос 10.Говоря об оценке модели, какой из показателей оценки вы отдаете предпочтение точности или полноте и почему?
Решение:
Общей целью каждого делового руководителя было бы максимизировать как точность, так и полноту, и это во всех отношениях логично. Но технологии машинного обучения не так сложны, как ожидается. Любой алгоритм можно настроить так, чтобы он фокусировался на одной метрике больше, чем на другой. Либо ваш алгоритм может быть чувствительным, либо точным.
- Важность метрики зависит от вашей бизнес-цели.
Например, в случае алгоритма отзыв является более важным показателем. Очевидно, что важно выявлять все возможные случаи мошенничества, даже если это означает, что властям придется пройти через некоторые ложные срабатывания. С другой стороны, если алгоритм создан для анализа настроений и все, что вам нужно, этовысокоуровневое представление об эмоцияхуказывается в твитах, тогда нужно стремиться к точности.
Вопрос 11. Что такое f1-score?
Решение:
F-Measure обеспечивает единую оценку, которая уравновешивает как точность, так и полноту в одном числе. С точки зрения расчета, f1-score представляет собой гармоническое среднее между точностью и отзывом.
- Гармоническое среднее – это тип числового среднего. Он рассчитывается путем деления количества наблюдений на обратную величину каждого числа в ряду.
- Оценка F достигает наилучшего значения, что означает идеальную точность и полноту, при значении 1. Наихудшая оценка F, которая означает самую низкую точность и наименьшую полноту, будет равна 0.
Вопрос 12.Какую из оценочных метрик следует использовать, если наш набор данных сильно несбалансирован.
Решение:
Вместо того, чтобы писать свою собственную версию для этой проблемы, я обнаружил, что этот блог лучше всего объясняет с примерами правильных вариантов использования.
- Ссылка на блог: Какие-метрики-мы-должны-использовать-на-несбалансированном-наборе-данных-точности-отзыва
Спасибо за внимание, и я с нетерпением жду ваших вопросов :)Приятного просмотра!
Резюме
В этом блоге я представил вам основные концепции машинного обучения, и я надеюсь, что этот блог был вам полезен и достаточно мотивировал вас, чтобы заинтересоваться этой темой.
Если этот блог каким-то образом вам помог, нажмите Подпишитесь и Аплодируйте👏, потому что ваша поддержка стимулирует вдохновение и помогает создавать еще больше таких крутых вещей. Как всегда, я приветствую отзывы и конструктивную критику, рад услышать от вас.
Проверьте, что находится в День 1, День 2, День 3, День 4, День 5, День 6, День 7, День 8, День 9, День 10.
Источники:
