LabelEncoder - инвертировать и использовать категориальные данные в модели

Я работаю над проектом прогнозирования (для удовольствия), и в основном я взял мужские и женские имена из nltk, пометил имена как 'мужские' или 'женские', затем получил последнюю букву каждого имени и, в конце концов, использовал другое машинное обучение алгоритмы для обучения и прогнозирования пола на основе последней буквы.

Итак, мы знаем, что sklearn Python НЕ обрабатывает категориальные данные, поэтому я использовал LabelEncoder для преобразования последней буквы в числовые значения:

Перед преобразованием:

     name     last_letter    gender
0    Aamir    r              male
1    Aaron    n              male
2    Abbey    y              male
3    Abbie    e              male
4    Abbot    t              male

     name       last_letter    gender
0    Abagael    l              female
1    Abagail    l              female
2    Abbe       e              female
3    Abbey      y              female
4    Abbi       i              female

И если мы объединим два фрейма данных, отбросим столбец имени и перемешаем:

     last_letter    gender
0    a              male
1    e              female
2    g              male
3    h              male
4    e              male

Затем я использовал LabelEncoder:

from sklearn.preprocessing import LabelEncoder
label_encoder = LabelEncoder()

for col in df.columns:
    df[col]= label_encoder.fit_transform(df[col])
df.head()

Фрейм данных становится:

     last_letter    gender
0    1              male
1    5              female
2    7              male
3    8              male
4    5              male

Как видите, после обучения модели (скажем, здесь случайный лес). Если я хочу использовать модель для предсказания случайной буквы

e.g. rf_model.predict('a')

Это не сработает, поскольку модель принимает только числовые значения. В этом случае, если я это сделаю:

rf_model.predict(1) (assume letter 'a' is encoded as number 1)

Результат прогнозирования модели возвращает

array([1])

Итак, как мне сделать что-то вроде:

rf_model.predict('a') 

и получить результат типа «женский» или «мужской» вместо того, чтобы вводить числовое значение и получать результат в виде числового значения?


person thatMeow    schedule 25.06.2017    source источник
comment
Используйте конвейер для объединения labelEncoder с оценщиком (случайный лес)   -  person Vivek Kumar    schedule 26.06.2017


Ответы (1)


Просто используйте тот же LabelEncoder, который вы создали! Поскольку вы уже fit это с данными обучения, вы можете напрямую применить новые данные с помощью функции transform.

In [2]: from sklearn.preprocessing import LabelEncoder

In [3]: label_encoder = LabelEncoder()

In [4]: label_encoder.fit_transform(['a', 'b', 'c'])
Out[4]: array([0, 1, 2])

In [5]: label_encoder.transform(['a'])
Out[5]: array([0])

Чтобы использовать его с RandomForestClassifier,

In [59]: from sklearn.ensemble import RandomForestClassifier

In [60]: X = ['a', 'b', 'c']

In [61]: y = ['male', 'female', 'female']

In [62]: X_encoded = label_encoder.fit_transform(X)

In [63]: rf_model = RandomForestClassifier()

In [64]: rf_model.fit(X_encoded[:, None], y)
Out[64]: 
RandomForestClassifier(bootstrap=True, class_weight=None, criterion='gini',
            max_depth=None, max_features='auto', max_leaf_nodes=None,
            min_impurity_split=1e-07, min_samples_leaf=1,
            min_samples_split=2, min_weight_fraction_leaf=0.0,
            n_estimators=10, n_jobs=1, oob_score=False, random_state=None,
            verbose=0, warm_start=False)

In [65]: x = ['a']

In [66]: x_encoded = label_encoder.transform(x)

In [67]: rf_model.predict(x_encoded[:, None])
Out[67]: 
array(['male'], 
      dtype='<U6')

Как видите, вы можете получить строковый вывод 'male', 'female' прямо из классификатора, если вы использовали их для соответствия классификатору.

См. _8 _

person YLJ    schedule 25.06.2017