Что такое KullbackLeiblerSelector? Это селектор функций, основанный на дивергенции Кульбака-Лейблера. Дивергенция — это мера различия между двумя вероятностными распределениями. В случае машинного обучения мы можем рассмотреть распределения данных и рассчитать, насколько отличается определенный столбец признаков от целевого столбца. Как это рассчитывается? Дивергенция Кульбака-Лейблера, также называемая относительной энтропией в теории информации, рассчитывается по следующей..

Что такое ItakuraSaitoSelector? Это селектор, основанный на расхождении Итакура-Сайто, который измеряет разницу между исходным спектром и его аппроксимацией. Спектр можно рассматривать как непрерывное распределение. Поскольку в машинном обучении мы обычно имеем дело с наблюдаемыми данными, мы будем рассматривать дискретные распределения или конечные распределения. Как это рассчитывается? Дивергенция Итакура-Сайто - это дивергенция Брегмана, порожденная минус-логарифмической..