Линейный дискриминантный анализ (LDA) - очень распространенный метод, используемый для задач контролируемой классификации. Давайте вместе разберемся, что такое LDA и как он работает.
Что такое линейный дискриминантный анализ?
Линейный дискриминантный анализ - это метод уменьшения размерности, используемый в качестве этапа предварительной обработки в приложениях машинного обучения и классификации шаблонов.
Основная цель технологий уменьшения размерности - уменьшить размеры путем удаления избыточных и зависимых элементов путем преобразования элементов из пространства более высоких измерений в пространство с более низкими измерениями.
Линейный дискриминантный анализ - это метод контролируемой классификации, который учитывает метки. Эта категория уменьшения размерности используется в биометрии, биоинформатике и химии.
Как работает линейный дискриминантный анализ?
Цель линейного дискриминантного анализа - спроецировать характеристики пространства более высокого измерения на пространство более низкого измерения.
Этого можно добиться в три этапа:
Первый шаг - вычислить разделимость между разными классами (то есть расстояние между средними значениями разных классов), также называемое межклассовой дисперсией.
Второй шаг - вычислить расстояние между средним значением и выборкой каждого класса, которое называется дисперсией внутри класса.
Третий шаг - построить пространство более низкой размерности, которое максимизирует дисперсию между классами и минимизирует дисперсию внутри класса. Пусть P будет пространственной проекцией более низкой размерности, которая называется критерием Фишера.
Расширение до LDA:
Линейный дискриминантный анализ - простой и эффективный метод классификации. Поскольку это простой и хорошо понятный метод, существует множество расширений и вариаций этого метода. Некоторые популярные расширения включают в себя:
- Квадратичный дискриминантный анализ (QDA): каждый класс использует свою собственную оценку дисперсии (или ковариации при наличии нескольких входных переменных).
- Гибкий дискриминантный анализ (FDA): используются нелинейные комбинации входных данных, например сплайны.
- Регуляризованный дискриминантный анализ (RDA): вводит регуляризацию в оценку дисперсии (фактически ковариацию), смягчая влияние различных переменных на LDA.
Первоначальная разработка была названа линейным дискриминантным анализом или дискриминантным анализом Фишера. Мультиклассовая версия была отнесена к множественному дискриминантному анализу. Все это сейчас называется просто линейным дискриминантным анализом.
Ссылка: https://machinelearningmastery.com/linear-discriminant-analysis-for-machine-learning/
Удачного обучения!
