В недавнем посте я обсуждал использование алгоритма логистической регрессии для прогнозирования проблемы двоичной классификации.
В этом посте я собираюсь обсудить алгоритм softmax, который используется для прогнозирования задачи полиномиальной логистической регрессии.
Softmax — это математическая функция, которая преобразует вектор чисел в вектор вероятностей, где вероятности каждого значения пропорциональны относительному масштабу каждого значения в векторе. Это обобщение логистической функции на несколько измерений, используемое в полиномиальной логистической регрессии.
Формула функции softmax:
Алгоритм softmax можно изобразить в коде ниже.
Первое, что необходимо сделать, это добавить смещения к функциям. Это дополнительный параметр функции, который используется для настройки выходных данных вместе с взвешенной суммой входных данных функции. Смещение — это константа, которая помогает модели лучше всего соответствовать заданным данным.
В приведенном ниже коде столбец с единицами добавляется к кадрам данных X_train и X_test:
Целевые метки имеют горячее кодирование, что является требованием для выполнения операции логистической регрессии на метке, имеющей более двух классов. Горячее кодирование — это преобразование категориальной информации в формат, который можно использовать в алгоритмах машинного обучения для повышения точности прогнозирования:
Затем я определил функцию softmax:
Я инициализировал веса, которые будут добавлены к входным данным. Веса также известны как коэффициенты или параметры. Эти веса определяют взаимосвязь между входными переменными и вероятностью двоичного результата:
После инициализации весов важно установить параметры, такие как скорость обучения и количество…
