Нейронные сети изо всех сил пытаются отделить правду от подделки

Скрытый покровом ночи, вандалвооружившись баллончиком с краской и ноутбуком, направляется к ближайшим дорожным знакам. С помощью набора инструментов для рисования он пытается воссоздать изображение на своем ноутбуке.

Его цель? Самоуправляемые автомобили и их системы компьютерного зрения.

Если все пойдет по плану, эти системы будут неправильно интерпретировать дорожные знаки. Знаки «Стоп» становятся «новая полоса впереди», ограничения скорости увеличиваются на 20 или 30 миль в час. Скоро крейсерские Теслы будут уверенно врезаться в ничего не подозревающие машины.

Этот иллюстрированный пример не так надуманен, как может показаться. Здесь описывается состязательная атака. Эти атаки портят входные данные, чтобы манипулировать выходами нейронной сети, ключевого компонента многих ИИ, с которыми мы сегодня взаимодействуем. Возвращаясь к примеру с беспилотными автомобилями, McAfee, популярная компания по кибербезопасности, в прошлом году начала исследование, направленное против старой версии системы компьютерного зрения Tesla, получившей название MobilEye (также используемой другими компаниями, такими как BMW, Nissian и Volkswagen). Один из многих душераздирающих результатов включал едва меняющиеся знаки ограничения скорости 35 миль в час с ленточными полосами. Люди по-прежнему могли легко правильно прочитать знак — MobilEye трагически интерпретировала ограничение скорости как 85 миль в час.

Хотя эти конкретные атаки относятся к более старой версии MobilEye, и сами MobileEye объяснили, что эти атаки были исправлены в более поздних версиях, это исследование по-прежнему служит доказательством концепции, бросая тень на будущее беспилотных автомобилей с искусственным интеллектом.

Многие ИИ, использующие нейронные сети, могут стать жертвами этих атак, и такие приложения, как фильтр спама в электронной почте или антивирусное программное обеспечение компьютера, переходят на внедрение ИИ для помощи в операциях. В результате эти приложения также наследуют те же уязвимости, от которых страдают нейронные сети. Любой, у кого есть достаточно времени, энергии и ресурсов, может изменить данные просто нужным образом, чтобы управлять действиями ИИ, как в примере с ограничением скорости.

В связи с этим возникает вопрос: как мы можем защитить ИИ от этих атак?

Сначала нам нужно рассмотреть эти атаки поближе, опираясь на наш предыдущий пример спам-фильтров. Как упоминалось ранее, эти спам-фильтры начинают использовать искусственный интеллект, чтобы помочь быстро различать сотни и тысячи входящих электронных писем. В этом случае злоумышленник может начать с примеров спама, который ИИ правильно интерпретирует, и медленно изменять определенные аспекты электронной почты, пока фильтр не классифицирует электронную почту как не спам. Затем это оптимизируется (часто злоумышленник также использует искусственный интеллект) для быстрой и эффективной маскировки спам-сообщений перед их отправкой в ​​целевые почтовые ящики.

Переходя к возможным средствам защиты, логично предположить, что решения, перехватывающие способность злоумышленника пройти этот процесс, помогут сдержать такие атаки. В нашем случае мы могли бы помешать злоумышленникам напрямую взаимодействовать с ИИ спам-фильтра.

Это предположение, к сожалению, ошибочно, поскольку не решает общей проблемы. Злоумышленник может легко обойти это решение, создав собственный ИИ по образцу спам-фильтра. Затем злоумышленник попытается обойти созданный ими искусственный интеллект и, в конце концов, найдет эксплойты, которые также работают против настоящего спам-фильтра (см. свойство переносимости). В конце концов, эти защитные подходы требуют постоянных заплат (исправлений) для каждого возникающего эксплойта, и эти исправления не обеспечивают дополнительной защиты от будущих атак. Николас Папернот, профессор Университета Торонто, исследующий конфиденциальность и безопасность с помощью машинного обучения (подмножество ИИ), объясняет проблему:

«Как правило, это гонка вооружений, потому что противнику нужно найти всего одну уязвимость, а вы как защитник должны доказать, что уязвимостей вообще нет во всей системе».

Целью гонки вооружений является получение преимущества над противником. Это верно и в нашем случае; Взаимный обмен новыми уязвимостями и последующими исправлениями приводит в лучшем случае к нейтральному игровому полю, а в худшем случае преимущество остается за злоумышленником. В худшем случае злоумышленник может игнорировать все предыдущие исправления с вновь найденным эксплойтом.

Если бы у нас была настоящая защита, которая не фокусировалась бы на конкретных атаках, а вместо этого могла бы гарантировать определенную степень безопасности в отношении многих, если не всех уязвимостей нейронной сети. Защита, которая превзошла этот характер око за око в нашей нынешней гонке вооружений и вместо этого гарантировала, что мы всегда одерживали верх.

К сожалению, этого не существует. Однако Дифференциальная конфиденциальность — это хороший шаг вперед. В двух словах, дифференциальная конфиденциальность — это математическое определение конфиденциальности, которое гарантирует анонимность в большом наборе данных. Это также означает, что незначительные изменения в наборе данных не повлияют на общее поведение алгоритма. По своей сути он служит для обеспечения того, чтобы набор данных был достаточно рандомизирован, чтобы третья сторона не могла уверенно определить конкретного человека из набора данных.

Дифференциальная конфиденциальность может быть применена к ИИ для решения некоторых проблем, которые мы описали выше; ИИ, вдохновленный методами дифференциальной конфиденциальности, будет хранить личную информацию, содержащуюся в исходных данных, на которых он обучался, в безопасности от любых хакерских захватов, и, как выразился доктор Пейпернот:

«Имея больше моделей машинного обучения (ИИ), сохраняющих конфиденциальность, в том смысле, что они тренируют дифференциальную конфиденциальность, [вы] также побуждаете их вести себя лучше и больше обобщать».

Обобщая больше, ИИ будет менее восприимчив к незначительным изменениям входных данных. В случае с беспилотным автомобилем ИИ сосредоточился бы на более широкой картине, игнорируя полосу ленты и по-прежнему правильно интерпретируя знак как ограничение скорости 35 миль в час.

По мере того, как ИИ продолжает проникать в нашу повседневную жизнь, становится все более важным также разрабатывать средства защиты, которые защищают их реализацию. Наличие большего количества моделей, использующих различные меры конфиденциальности, — это всего лишь один шаг к тому, чтобы будущее с широким использованием ИИ также было безопасным и надежным.