Краткое введение о защите алгоритмов машинного обучения от злоумышленников.
Введение
Эта серия разделена на 3 части:
- Введение в сферу состязательного машинного обучения
- Решающие тайм-атаки и способы их защиты
- Отравляющие атаки и способы защиты от них
С ростом использования моделей машинного обучения в различных приложениях, параллельно возрастает их риск от злоумышленников. Таким образом, существует острая необходимость в разработке нескольких стратегий безопасности для защиты моделей машинного обучения от повреждений. Это открывает путь для изучения науки о состязательном машинном обучении. Было предложено несколько механизмов для понимания природы таких атак и обеспечения мер защиты от них.
Итак, что такое состязательное машинное обучение?
Соревновательное машинное обучение - это область исследований, которая находится на пересечении машинного обучения и компьютерной безопасности. Его цель - обеспечить безопасное внедрение методов машинного обучения в условиях противоборства, таких как фильтрация спама, обнаружение вредоносных программ и биометрическое распознавание. Злоумышленники используют уязвимости алгоритмов и моделей машинного обучения, чтобы причинить вред. Эта область направлена на понимание этих атак и поиск способов, с помощью которых можно сделать модели машинного обучения устойчивыми к таким атакам.
Примеры использования
С появлением все новых и новых технологий и новых ресурсов возрастает потребность в безопасности, и в настоящее время наблюдается тенденция к возникновению атак в популярной области машинного обучения. Теперь злоумышленники находят все новые и новые способы атаковать модели машинного обучения, чтобы сделать их бесполезными или по своему личному мотиву уклоняться от атаки.
Если не позаботиться о защите алгоритмов машинного обучения, это может иметь катастрофические последствия для приложений реального времени. Возьмем случай с беспилотным автомобилем [1]. Рис.1.1 - это то, что должна делать машина, когда видит сигнал. На рис. 1.2 показано, что происходит, когда злоумышленник добавляет к изображению шум, который может оказаться фатальным.
Другие приложения включают:
- В больницах для прогнозирования любых аномалий в образцах или отчетах
- Обнаружение вредоносного ПО
- ПО для защиты от спама
Классификация состязательных атак
Состязательные атаки можно классифицировать тремя разными способами:
- Время атаки
Это относится к тому моменту, когда атака действительно имеет место, и, соответственно, они бывают двух типов - атаки времени принятия решения и атаки отравления.
Атаки времени принятия решения происходят после того, как модель была обучена
Атаки отравления происходят до того, как модель будет обучена.
2. Информация
Это относится к уровню информации, которой обладает злоумышленник, и подразделяются на атаки типа «белый ящик» и атаки «черный ящик».
В атаках типа «белый ящик» злоумышленник имеет полное представление обо всем, например об обучающих данных, используемом алгоритме и обученной модели.
В атаках черного ящика злоумышленник имеет ограниченные знания.
3) Цель
В зависимости от цели злоумышленника их можно разделить на целевые атаки и атаки на надежность.
В целевой атаке цель злоумышленника - вызвать ошибку в определенных экземплярах, чтобы они были неправильно классифицированы.
Напротив, атака на надежность направлена на ухудшение модели за счет максимизации ошибки прогнозирования.
Надеюсь, вы получили краткое представление о том, что такое состязательное машинное обучение, его мотивации, где оно используется и как классифицируется.
Следите за обновлениями части 2!
Использованная литература:
[1] Евгений Воробейчик - Adversarial Machine Learning Book, март 2017.
