Читая о XGBoost в оригинальной статье , я заметил, что алгоритм заменяет фактическую функцию потерь ее так называемым расширением Тейлора 2-го порядка. Это умный математический трюк, который позволяет XGBoost работать не только с квадратом ошибки в качестве функции потерь, но и практически с любой полезной функцией потерь (при условии, что она дважды дифференцируема и выпукла) и делает это очень эффективно. Чтобы вспомнить, что делает разложение Тейлора и почему оно работает, я..

В этом посте описывается многомерное расширение функции и ее использование в машинном обучении. Ряд Тейлора функции f,  – это представление функции в виде бесконечного ряда, в котором используются только производные в одной точке. Это представление ряда работает для функций с хорошим поведением — это упражнения в реальном математическом анализе, чтобы показать, когда и почему. Для большинства задач, возникающих в машинном обучении, задействованные функции работают хорошо, и нам..