1. Сгенерированные лица в дикой природе: количественное сравнение Stable Diffusion, Midjourney и DALL-E 2 (arXiv)

Автор:Али Борджи

Аннотация. Область синтеза изображений добилась больших успехов за последние пару лет. Последние модели способны генерировать изображения с удивительным качеством. Детальная оценка этих моделей по некоторым интересным категориям, таким как лица, все еще отсутствует. Здесь мы проводим количественное сравнение трех популярных систем, включая Stable Diffusion, Midjourney и DALL-E 2, по их способности генерировать фотореалистичные лица в дикой природе. Мы обнаружили, что Stable Diffusion генерирует лица лучше, чем другие системы, в соответствии с оценкой FID. Мы также представляем набор данных сгенерированных лиц в дикой природе, получивший название GFW, включая в общей сложности 15 076 лиц. Кроме того, мы надеемся, что наше исследование подстегнет последующие исследования по оценке генеративных моделей и их улучшению. Данные и код доступны в data и code соответственно.

2.Что DALL-E 2 знает о радиологии? (архив)

Автор:Лиза С. Адамс, Феликс Буш, Дэниел Трун, Маркус Р. Маковски, Хьюго Дж.В.Л. Аэртс, Кено К. Брессем

Аннотация: Генеративные модели, такие как DALL-E 2, могут представлять собой многообещающий будущий инструмент для создания изображений, увеличения и обработки изображений для исследований искусственного интеллекта в радиологии при условии, что эти модели имеют достаточные знания в области медицины. Здесь мы показываем, что DALL-E 2 изучил соответствующие представления рентгеновских изображений с многообещающими возможностями с точки зрения нулевого генерирования текста в изображение новых изображений, продолжения изображения за его первоначальные границы или удаления элементов, в то время как генерация патологии или КТ, МРТ и ультразвуковые изображения все еще ограничены. Таким образом, использование генеративных моделей для дополнения и создания радиологических данных представляется возможным, даже если предварительно требуется дальнейшая тонкая настройка и адаптация этих моделей к соответствующей области.

3. Очень предварительный анализ DALL-E 2 (arXiv)

Автор:Гэри Маркус, Эрнест Дэвис, Скотт Ааронсон

Аннотация: система DALL-E 2 генерирует оригинальные синтетические изображения, соответствующие введенному тексту в качестве подписи. Здесь мы сообщаем о результатах четырнадцати тестов этой системы, предназначенных для оценки ее здравого смысла, рассуждений и способности понимать сложные тексты. Все наши подсказки намеренно были намного сложнее, чем типичные, которые демонстрировались в последние недели. Тем не менее, для 5 из 14 подсказок хотя бы одно изображение из десяти полностью удовлетворило нашим запросам. С другой стороны, ни один из десяти изображений не удовлетворил нашим запросам.