- Теория больших выборок для повышения бесконечно малого градиента(arXiv)
Автор:Клеман Домбри, Жан-Жиль Дюшан
Аннотация. Повышение бесконечно малого градиента определяется как предел скорости обучения при исчезновении популярного алгоритма повышения градиента на основе дерева из машинного обучения (Dombry and Duchamps, 2021). Он характеризуется как решение нелинейного обыкновенного дифференциального уравнения в бесконечномерном функциональном пространстве, где бесконечно малый повышающий оператор, управляющий динамикой, зависит от обучающей выборки. Рассмотрено асимптотическое поведение модели в пределе большой выборки и доказана ее сходимость к детерминированному процессу. Этот бесконечный предел населения снова характеризуется дифференциальным уравнением, которое зависит от распределения населения. Мы исследуем некоторые свойства этого предела совокупности: мы доказываем, что динамика приводит к уменьшению ошибки теста, и мы рассматриваем его поведение в течение длительного времени.
2. Кодирование функций для повышения градиента с помощью Automunge(arXiv)
Автор:Николас Дж. Тиг
Аннотация: Automunge — это табличная библиотека предварительной обработки, которая кодирует кадры данных для контролируемого обучения. При выборе стратегии кодирования признаков по умолчанию для обучения с градиентным усилением можно учитывать показатели продолжительности обучения и достигнутой прогностической эффективности, связанной с представлениями признаков. Automunge предлагает по умолчанию бинаризацию для категориальных функций и нормализацию z-оценки для числовых. В представленном исследовании была предпринята попытка проверить эти значения по умолчанию путем сравнительного анализа ряда разнообразных наборов данных путем кодирования вариантов с помощью настроенного обучения с ускоренным градиентом. Мы обнаружили, что в среднем выбранные нами значения по умолчанию были самыми эффективными как с точки зрения продолжительности настройки, так и с точки зрения производительности модели. Другой ключевой вывод заключался в том, что одно горячее кодирование не работало в соответствии с пригодностью для использования в качестве категорического значения по умолчанию по сравнению с категориальной бинаризацией. Мы представляем здесь эти и другие тесты
3. FairGBM: усиление градиента с ограничениями справедливости(arXiv)
Автор:Андре Ф. Крус, Катарина Белен, Жоао Браво, Педро Салейро, Педро Бизарро
Аннотация . Алгоритмы машинного обучения (ML), основанные на деревьях решений с градиентным усилением (GBDT), по-прежнему используются для многих задач с табличными данными в различных критически важных приложениях, от здравоохранения до финансов. Однако алгоритмы GBDT не лишены риска предвзятости и дискриминационного принятия решений. Несмотря на популярность GBDT и быстрый темп исследований справедливого ML, существующие методы справедливого ML в процессе обработки либо неприменимы к GBDT, требуют значительных затрат времени на обучение или не подходят для проблем с высоким дисбалансом классов. Мы представляем FairGBM, обучающую среду для обучения GBDT в условиях ограничений справедливости, практически не влияющую на эффективность прогнозирования по сравнению с LightGBM без ограничений. Поскольку общие метрики справедливости недифференцируемы, мы используем «прокси-лагранжеву» формулировку, используя гладкие выпуклые прокси частоты ошибок, чтобы обеспечить оптимизацию на основе градиента. Кроме того, наша реализация с открытым исходным кодом показывает ускорение времени обучения на порядок по сравнению с соответствующей работой, что является ключевым аспектом для содействия широкому внедрению FairGBM практикующими специалистами.
