Этот пост посвящен RDA и тому, чем RDA отличается от LDA и QDA, а также некоторым свойствам RDA. Начнем с того, что такое DA.
DA:
Дискриминантный анализ используется для определения того, какие переменные различают две или более встречающиеся в природе группы. Дискриминантный анализ может использоваться для двух целей: либо мы хотим оценить адекватность классификации, учитывая принадлежность к группе изучаемых объектов; или мы хотим отнести объекты к одной из ряда (известных) групп объектов. Дискриминантный анализ, таким образом, может иметь описательную или прогностическую цель. В обоих случаях перед проведением дискриминантного анализа необходимо знать некоторые групповые назначения. Такие групповые присвоения или маркировка могут быть достигнуты любым способом. Следовательно, дискриминантный анализ можно использовать в качестве полезного дополнения к кластерному анализу (для оценки результатов последнего) или анализу основных компонентов.
РДА:
RDA — это метод регуляризации, который сочетает в себе LDA и QDA. Это похоже на то, как эластичная сетка сочетает в себе хребет и аркан. Он использует ту же общую настройку, что и LDA и QDA, но оценивает ковариацию новым способом, который объединяет ковариацию QDA (^Σk) с ковариацией LDA (^Σ) с использованием параметра настройки λ.
RDA) является обобщением линейного дискриминантного анализа (LDA) и квадратичного дискриминантного анализа (QDA). Оба алгоритма являются частными случаями этого алгоритма. Если для альфа-параметра установлено значение 1, этот оператор выполняет LDA. Точно так же, если для параметра альфа установлено значение 0, этот оператор выполняет QDA.
Почему РДА:
LDA и QDA работают напрямую для случаев, когда количество наблюдений намного больше, чем количество предикторов n>p. В этих ситуациях он предлагает очень преимущества, такие как простота применения (поскольку нам не нужно вычислять ковариацию для каждого класса) и устойчивость к отклонениям предположений модели.
Однако использование LDA становится серьезной проблемой, когда используется, например, количество наблюдений меньше, чем предикторы, такие как настройки микромассива, потому что здесь есть две проблемы.
· Образцовая ковариационная матрица является сингулярной и не может быть инвертирована.
· Высокая размерность делает прямую матричную операцию сложной, что затрудняет применение этого метода.
СВОЙСТВА ИНВАРИАНТНОСТИ:
RDA вращательно инвариантен. То есть, если переменные измерения обучающих данных и будущих тестовых данных подвергаются одному и тому же ортонормированному вращению, правило классификации RDA не изменится. То же самое, конечно, верно для LDA и QDA. Однако, в отличие от LDA и QDA, RDA обычно не зависит от масштаба. То есть изменение относительных масштабов переменных измерения или их линейных комбинаций может изменить правило классификации. Это отсутствие масштабной инвариантности является результатом введения параметра усадки собственного значения y. Если y = 0, то RDA не зависит от масштаба. Это отсутствие масштабной инвариантности является общим свойством многих методов регуляризации, которые сокращают собственные значения, таких как гребневая регрессия и регрессия главных компонентов.
Я надеюсь, что этот пост поможет вам в кратком понимании RDA, его свойств и преимуществ перед LDA и QDA.
Спасибо за прочтение, удачного обучения!!
Использованная литература:
http://www.leg.ufpr.br/~eferreira/CE064/Regularized%20Discriminant%20Analysis.pdf
