Начальное расстояние Фреше для DC GAN, обученное на наборе данных MNIST

Я начинаю с GAN и тренирую DC-GAN на наборе данных MNIST. Я хочу оценить свою модель с помощью начального расстояния Фреше (FID).

  1. Поскольку начальная сеть не обучена классифицировать цифры MNIST, могу ли я использовать любой простой классификатор MNIST или есть ли какие-либо условия в отношении того, какой тип классификатора мне нужно использовать? Или я должен использовать только сеть Inception? У меня есть несколько других вопросов
  2. Имеет ли смысл вычислять FID для MNIST GAN?
  3. Сколько изображений из реального набора данных следует использовать при вычислении FID
  4. Для классификатора, который я использую, я получаю FID в порядке 10^6. Значение нормальное или что-то ужасно неправильное?

Если вы сможете хотя бы частично ответить на любой из этих вопросов, это будет для меня огромной помощью. Спасибо!


python evaluate generative-adversarial-network
person Nagabhushan S N    schedule 24.07.2019    source источник

Ответы (2)


arrow_upward
1
arrow_downward

вы можете ссылаться на это. Используйте автоматический кодировщик, обученный MNIST, и активации узких мест в качестве функций, как описано здесь

person manoj surya k    schedule 06.09.2019
comment
Добро пожаловать в stackoverflow.com. Лучше всего включать ключевые детали в свой ответ, чтобы он был полезен, даже если контент, на который вы ссылаетесь, изменится. - person Simon.S.A.; 06.09.2019
comment
Вы пробовали подход автоэнкодера? [Насколько мне известно, этот подход мог не сработать] Не стесняйтесь не соглашаться :), сам заинтересовался этим - person saurabheights; 06.01.2020

arrow_upward
1
arrow_downward

Модель, обученная на Mnist, плохо справляется с вычислениями FID. Насколько я могу судить, основными причинами являются слишком узкое распределение данных (изображения Гана слишком далеки от модели распределения, на которой обучается модель распределения), а модель недостаточно глубокая, чтобы изучить множество вариаций функций.

Обучение модели с несколькими сверточными слоями дает 10 ^ 6 значений FID. Чтобы проверить приведенную выше гипотезу, просто добавив регуляризацию L2, значения FID упали примерно до 3k (подтверждая узкое распределение данных), однако значение FID не улучшается по мере продолжения обучения GAN. :(.

Наконец, прямое вычисление значений FID из начальной сети дает хороший график, поскольку изображения становятся лучше. [Примечание. Вам необходимо изменить масштаб изображения mnist и преобразовать его в RGB, повторив один канал 3 раза. Убедитесь, что реальное изображение и сгенерированное изображение имеют одинаковые шкалы интенсивности.]

FID и начальная оценка

person saurabheights    schedule 06.01.2020
comment
Скоро загружу сюжеты. Было бы полезно, если бы кто-то тоже попробовал подход автоэнкодера :). - person saurabheights; 06.01.2020