Тензорный поток потерь NAN

Я тренирую проблему регрессии ограничивающей рамки и использую координатный компонент функции потерь, описанный в документ YOLO.

Метод 1. В качестве входных данных для ИНС использовался вектор признаков HOG. Та же функция потерь. Подарили хорошую модель.

Метод 2: Использование изображений в качестве входных данных для CNN. Последний слой остается таким же, как и в методе 1. Такая же функция потерь. Но я столкнулся с проблемой расчета потерь. Он печатает nan loss для обучения, разработки и тестирования с самой первой эпохи.

Как мне заставить CNN работать, если та же самая функция потерь отлично работает с ANN? И в чем может быть причина такого явления? Я хотел бы иметь возможность использовать ту же функцию потерь.


python tensorflow nan convolutional-neural-network
person Blue    schedule 28.06.2018    source источник
comment
Это все еще проблема?   -  person gab    schedule 23.10.2019

Ответы (1)


arrow_upward
0
arrow_downward

Предполагая, что функция потерь хорошо реализована, по моему опыту, проблемы с потерями обычно связаны либо с неверными входными данными (т. е. из-за какой-то операции увеличения данных или каких-то других ошибок, ваши данные выглядят очень плохо), либо ваша скорость обучения слишком высока. . Попробуйте уменьшить скорость обучения; если это не сработает, сделайте хорошую отладку и убедитесь, что данные «точно» соответствуют вашим ожиданиям непосредственно перед тем, как они будут загружены в нейронную сеть.

person gab    schedule 28.06.2018
comment
Я пробовал все это. Моя скорость обучения составляет 10e-4. Данные верны вместе с соответствующими метками. Функция потерь использует операцию квадратного корня, а окончательная активация слоя является сигмовидной. Это не повлияло на обучение ANN, но, похоже, оказало огромное влияние на обучение CNN. - person Blue; 29.06.2018