Стандартизация, нормализация, робастное масштабирование, нормализация среднего значения, максимальное абсолютное масштабирование и масштабирование длины единицы вектора.

Многие алгоритмы машинного обучения должны иметь функции одного и того же масштаба.

Существуют разные типы методов масштабирования функций, которые мы можем выбирать в различных сценариях. У них разные (технические) названия. Термин Масштабирование функций просто относится к любому из этих методов.

Topics
------
1. Feature scaling in different scenarios

   a. Feature scaling in PCA
   b. Feature scaling in k-means
   c. Feature scaling in KNN and SVM
   d. Feature scaling in linear models
   e. Feature scaling in neural networks
   f. Feature scaling in the convergence
   g. Feature scaling in tree-based algorithms
   h. Feature scaling in LDA

2. Feature scaling methods

   a. Standardization
   b. Min-Max Scaling (Normalization)
   c. Robust Scaling
   d. Mean Normalization
   e. Maximum Absolute Scaling
   f. Vector Unit-Length Scaling

3. Feature scaling and distribution of data

4. Data leakage when feature scaling

5. Summary of feature scaling methods

Масштабирование функций в различных сценариях

  • Масштабирование признаков в PCA. При анализе главных компонентов компоненты PCA очень чувствительны к относительным диапазонам исходных признаков, если они не измеряются в одном масштабе. PCA пытается выбрать компоненты, которые максимизируют дисперсию данных. Если максимизация различных функций происходит из-за более высоких диапазонов некоторых функций, эти функции могут иметь тенденцию доминировать в процессе PCA. В этом случае истинная дисперсия может не отражаться компонентами. Чтобы избежать этого, мы обычно выполняем масштабирование функций перед PCA. Однако есть два исключения. Если нет существенной разницы в масштабе между признаками, например, один признак находится в диапазоне от 0 до 1, а другой — от 0 до 1,2, нам не нужно выполнять масштабирование признаков, хотя если мы это сделаем, это не принесет никакого вреда! Если вы выполняете PCA путем разложения корреляционной матрицы вместо ковариационной матрицы, вам не нужно масштабировать признаки, даже если признаки не измеряются по одному и тому же…