Использование GAN для создания проверенных профилей «сома» на Tinder и Bumble.
Многие из вас, возможно, останавливались на полпути, задаваясь вопросом, является ли человек, на котором вы собираетесь провести пальцем, реальным человеком. Конечно, если профиль управляется ботом, он не пройдет проверку, но может ли ИИ обойти это, успешно выловив вас в Tinder? Продолжайте читать, пока мы представляем концепцию обхода проверкии демонстрируем, как создавать примеры изображенийс различнымиоттенками кожи, типы волос и исторически сложившиеся мужские или женские черты лица, которые успешно прошли проверку в Tinder и Bumble.
Системы проверки лиц 101
Методы проверки лица используются для проверки того, принадлежат ли два лица одному и тому же человеку на основе некоторой метрики расстояния (показывающей, насколько разные лица). На практике это можно сделать с помощью FaceNet для преобразования лиц во встраивание векторов признаков, которые затем можно сравнить. Лица одного и того же человека должны иметь схожие векторы признаков (минимальное расстояние в скрытом пространстве вектора признаков).
Методы проверки лица используются в ряде известных приложений для обеспечения подлинности пользователя. Как мы видели ранее, приложения для знакомств, такие как Bumble и Tinder, например, используют проверку фотографий, чтобы подтвердить, что пользователь на платформе является тем, кем он себя называет. Это работает, предлагая пользователю сделать снимок с помощью камеры в приложении, который затем сравнивается с изображениями профиля пользователя.
Мозговой штурм атаки
Это мотивирует вопрос о том, возможно ли сгенерировать изображение лица A, которое качественно отличается от другого изображения лица B, но с такими же векторами признаков, что оно может пройти проверку.
Подобно возмущениям в состязательных атаках, мы можем либо слегка нарушить вектор признаков, либо исказить фактическое изображение, чтобы создать новое, но похожее вложение. Однако, поскольку векторы признаков сильно зависят от общих обучающих данных, обращение встраивания к исходному изображению лица является сложной проблемой. Кроме того, небольшие искажения исходного изображения лица не всегда приводят к качественно отличному новому изображению. Возможным решением этой проблемы является проведение управляемого синтеза в скрытом пространстве, однако это также не гарантирует разнообразной генерации.
Генеративно-состязательные сети — StarGAN
По сути, наша цель — генерировать разнообразные изображения в скрытом пространстве целевого пользователя. Мы можем достичь этой цели, используя StarGAN v2, модель преобразования изображения в изображение, которая гарантирует разнообразие генерируемых изображений. Кроме того, эта модель использует эталонные изображения в качестве кодов стиля для перевода исходного изображения почти как наивный метод управляемого синтеза.
Пользовательская система проверки лица
При экспериментировании с реальными приложениями у нас есть только одна попытка для каждой учетной записи, чтобы атака прошла успешно. Итак, чтобы максимизировать вероятность успеха, мы сначала создаем модель проверки лица для проверки концепции на основе общей реализации FaceNet и DeepFace, которая использует предварительно обученную модель ConvNet Inception для кодирования каждого входного изображения в 128-мерное встраивание. вектор.
Система опирается на базу данных, построенную на изображениях лиц из обучающего подмножества FairFace. Чтобы сравнить векторы признаков двух изображений, расстояние, индуцированное нормой Фробениуса изображения, вычисляется относительно предполагаемого пользователя в базе данных. Если расстояние между любыми двумя векторами признаков меньше порога (мы используем порог 0,7), предполагается, что соответствующие изображения принадлежат одному и тому же человеку, и проверка проходит успешно; в противном случае проверка не пройдена.
Результаты эксперимента
Чтобы имитировать управляемую генерацию, мы экспериментировали с различными эталонными изображениями, которые отличались чертами волос, оттенком кожи и общими чертами лица.
За исключением последнего изображения, все изображения успешно проходят проверку в пользовательской модели.
Смена пола
Теперь, когда мы успешно прошли проверку с «женскими» изображениями, мы можем перейти к созданию более «мужских» изображений, которые все еще имеют схожие векторы признаков. Мы делаем это, используя многодоменный (женский и мужской) перевод изображения в изображение с помощью мужских эталонных изображений в модели StarGAN. Интересно видеть, что среднее изображение проходит проверку в пользовательской модели, в то время как два других изображения проходят проверку в зависимости от угла и освещения.
Будущие эксперименты также могут включать в себя управляемую генерацию изображений в зависимости от возраста.
Приложения для знакомств
Несмотря на то, что системы проверки лица в дикой природе являются полностью черным ящиком, мы предположили, что аналогичные методы обхода будут работать. Мы протестировали наши сгенерированные изображения в системах проверки лиц Bumble и Tinder и успешно прошли проверку. Для проверки изображений с переключением полов на Bumble потребовалось две попытки с измененными условиями освещения. К счастью для пользователей Tinder, но к сожалению для нас, система проверки лица Tinder отклонила фотографии с переключением пола.
Заключение
В этом посте мы показываем краткий обзор методов и результатов обхода проверки лица и демонстрируем, что можно генерировать изображения с похожими векторами признаков, которые можно использовать для обхода систем проверки лица. Для получения более подробной информации см. бумагу и кодовую базу.
