Расчет градиента потерь Хэмминга для классификации по нескольким меткам

Я делаю многозначную классификацию, используя некоторую повторяющуюся структуру нейронной сети. Мой вопрос касается функции потерь: мои выходные данные будут векторами истинных / ложных (1/0) значений, чтобы указать класс каждой метки. Многие ресурсы заявили, что потеря Хэмминга является подходящей целью. Однако потеря Хэмминга имеет проблему при вычислении градиента: H = среднее (y_true XOR y_pred), XOR не может получить градиент потери. Так есть ли другие функции потерь для обучения многозначной классификации? Я пробовал MSE и двоичную кросс-энтропию с индивидуальным сигмовидным входом.




Ответы (1)


H = среднее значение (y_true * (1-y_pred) + (1-y_pred) * y_pred)

является непрерывным приближением потерь Хэмминга.

person Juan Wang    schedule 22.07.2017
comment
Привет, Хуан, спасибо за ответ. В вашем приближенном уравнении мне интересно, являются ли y_true и y_pred вероятными или фактическими метками? - person William Chou; 25.07.2017
comment
y_true - это фактические метки, а y_pred - вероятность. - person Juan Wang; 26.07.2017