КОДЕКС

Нейронные дикие догадки

Алгоритмы раскрашивания нейронных изображений создают галлюцинации на изображениях в оттенках серого. Но задача невыполнима. Они могут производить только те результаты, которые мы воспринимаем как правдоподобные, но потенциально необъяснимые предположения о реальности: «правдоподобная воспринимаемость - это не реальность»!

Рассмотрим изображение сатанинского подберезовика (слева). Красный сундучок с белой шляпкой смотрится плохо и опасно. Теперь возьмите его версию в оттенках серого (в центре) и раскрасьте ее своим любимым API раскрашивания (т.е., алгоритм нейронной сети). У нас получается вкуснейший болеут (справа).

Результат алгоритма раскрашивания кажется правдоподобным, но радикально отличается от исходного гриба. Алгоритм раскраски не ошибается; среди множества возможных решений окраски можно сделать только одно предположение.

Чтобы оценить различные алгоритмы раскрашивания, людей просят различать исходное цветное изображение и такое же изображение, преобразованное в оттенки серого и перекрашенное. Какой из хороших или ядовитых грибов оригинальный?

коэффициент обманчивости измеряет человеческую неспособность определить истинную истину. Интересно, что в основополагающей работе по раскрашиванию с помощью нейронных сетей в 2016 году уровень обмана составлял 32 процента, а в недавней работе в 2021 году он достиг 60 процентов. Следовательно, после всего лишь нескольких лет разработки раскраски на основе глубокого обучения большинство созданных изображений кажутся более правдивыми, чем обычные изображения.

Многие проблемы присущи алгоритмам нейронных сетей, см., например, состязательные примеры, ошибки в машинном обучении или ложные корреляции. Эти проблемы стимулировали множество исследований и решений. Однако здесь все иначе: чем лучше работают алгоритмы раскраски, тем выше вероятность обмана и тем труднее будет отличить правдоподобную воспринимаемость от реальности.

Но почему эта тонкость вообще имеет значение? Потому что эти изображения будут везде. А невозможность отличить исходные изображения от частично сгенерированных может иметь нежелательные побочные эффекты.

Кроме того, задача раскрашивания - лишь одна из многих задач, в которых мы экстраполируем информацию, которой нет во входном изображении. Сверхвысокое разрешение заставляет детали появляться на грубом изображении; Inpainting позволяет заполнить всю область изображения; Алгоритмы преобразования изображений в более общем смысле изменяют формат изображения, например, путем преобразования рисунка в реалистичное изображение или инфракрасного изображения в изображение RGB и т. Д.

И все эти задачи имеют общие черты, которые скоро сделают их товаром (если еще не сделали).

  • Это очень полезно.
  • Множество его версий, управляемых пользователем, т.е., вы можете взаимодействовать с алгоритмами.
  • Уже интегрируется в программу творческого помощника.
  • И, конечно же, они становятся все более успешными, а с оставшимися артефактами постепенно уходят.

Этот успех означает, что Интернет будет сканировать выходы этих алгоритмов. Например, попробуйте погуглить «Звездная ночь». Уже на первой странице результатов работы с изображениями присутствуют стилевые версии шедевра Ван Гога.

Теперь необходимо понять важное явление: наши возросшие возможности изменять цифровые изображения могут повлиять на доверие общества к информации.

С момента появления изображений мы можем их изменять. Вспомните знаменитую фотографию Иосифа Сталина, где им удается снять Николая Ежова после его разрыва с партией… Сегодня наши возможности по автоматизации и качеству таких модификаций резко увеличились; посмотрите, например, чего можно добиться с помощью GAN.
Это, в частности, усилило угрозу злонамеренного изменения информации (изображений, видео, звуков), так называемого глубокого фальсификации .
В мире, где доверие к информационной системе падает и такие явления, как фальшивые новости приобрели огромное значение в публичных дебатах, подтверждение правдивой информации стало серьезной проблемой.

С выходными данными алгоритмов раскраски или других подобных алгоритмов, которые экстраполируют безвозвратную информацию на изображение, нет злонамеренного агентства для создания подделки. Однако все типы изображений будут смешаны, что сделает невозможным отличить эти правдоподобные результаты от реальности. В конечном итоге это может вызвать чувство недоверия и случайно подорвать доверие к цифровой информации.

Точно так же мы помним, что корреляция не является причинностью; мы должны быть осторожны, чтобы правдоподобное восприятие не соответствовало действительности. Еще одно простое решение - убедиться, что эти изображения помечены (и рассматриваются пользователями) как потенциально дикая экстраполяция реальности.

Последний пример для дороги.