Насколько безопасны ваши алгоритмы?

К настоящему времени очевидно, что машинное обучение можно использовать практически в любой отрасли. Это мощная технология. Как сказал дядя Бен: «С большой силой приходит большая ответственность».

Какой бы революционной она ни была, есть одна загвоздка. Алгоритмы машинного обучения могут быть атакованы, взломаны по нескольким причинам и разными способами. В продолжение нашей предыдущей статьи Обман самых точных моделей глубокого обучения в мире, в которой нам удалось успешно атаковать лучшие модели глубокого обучения, здесь мы даем обзор пяти общих методов, которые кто-то может использовать для атаки на ваши модели.

Различные типы атак

Кража моделей

  • Представьте, что вы создаете программу, которая помогает вам находить смешные лица на ваших семейных фотографиях. Данные, которые вам нужны, являются довольно личными. Атака уклонения может забрать у вас все это.
  • Методы кражи моделей используются для доступа к моделям или информации о данных, используемых во время обучения.
  • Эти атаки могут быть жестокими в сценариях, когда модели ИИ могут иметь встроенную информацию, представляющую важную интеллектуальную собственность, или обучены работе с конфиденциальными данными, такими как финансовые сделки, медицинские записи или транзакции пользователей.
  • Хотя такое нападение маловероятно, оно является самым опасным из всех. Данные — это то, что можно подделать, запуск алгоритмов на подделанных данных может сделать модели нежелательно предвзятыми и в конечном итоге будет передавать неверную информацию, которая может показаться полностью законной.
  • Любой разработчик может стать жертвой, но в то же время получить к нему доступ крайне сложно, так как все модели, обученные онлайн, тщательно охраняются, а доступ к локальным настройкам будет затруднен.
  • Поэтому угроза довольно низкая, но об этом следует знать.
  • Эта статья предлагает довольно своеобразный выход из сложившейся ситуации.

Атаки с отравлением данных

  • Прошел месяц, вы наконец-то взломали код, а ваша модель продолжает нести чушь! Что могло случиться? Ваш компьютер стал жертвой яда?
  • Атаки с отравлением данных осуществляются на этапе логического вывода и предназначены для нарушения целостности и доступности.
  • Отравление изменяет наборы обучающих данных, вставляя, удаляя или редактируя точки принятия решений для изменения границ целевой модели.
  • Эту атаку очень легко создать и развернуть, и в основном страдают те, кто обрабатывает обучающие данные, но не имеет опыта машинного обучения. С опытом человек понимает данные. Поэтому отравление данных легко заметить, когда работаешь в одной и той же области.
  • Новичкам будет сложно разобраться. Но в то же время новички не публикуют свои результаты, поэтому это не является высоким риском.
  • Одной из проблем могут быть большие данные. Проходить большие данные сложно, из миллиона образцов, если один загрязнит 100 из них, это будет сложно. И только представьте, что 100 пакетов содержат эти ошибочные данные.
  • Эта статья предлагает прекрасные способы решения проблемы, в основном фокусируясь на границах данных и выбросах.

Атаки уклонения

«UGH» — это первое, что приходит на ум, когда вы видите спам.

  • Атака уклонения предполагает, что злоумышленники постоянно проверяют классификаторы новыми входными данными, пытаясь избежать обнаружения, поэтому их иногда называют входными данными злоумышленников, поскольку они предназначены для обхода классификаторов.
  • Так как такие программы создаются головой, найти лазейку довольно просто! Атака на эту лазейку и изменение ваших данных и создание нежелательных неправильных классификаций.
  • Хотя спам на самом деле не является «угрозой», прохождение цензурного фильтра в детских фильмах действительно может навредить некоторым семьям!
  • Эта статья хорошо читается, дает сценарий, объясняет исходную информацию и помогает разобраться с проблемой!

Целевые атаки

Хороший бургер может иметь плохой вкус, если вы добавите в него один соус, который вы просто ненавидите. То же самое может произойти с моделями машинного обучения!

  • Целевые атаки в основном используются для снижения производительности классификаторов на конкретном образце или на определенной группе образцов.
  • Хотя эту атаку можно сочетать с другими, мы подчеркиваем ее, потому что в мире науки результаты решают все. Ваша модель классификатора животных может работать потрясающе, но в тот момент, когда она классифицирует собаку как кошку, вам конец!
  • Одним из преимуществ является то, что эти типы атак, как правило, легко обнаружить, поскольку каждый знает, что происходит не так!

Инверсионные атаки

  • Инверсия модели извлекает скрытые данные из вашей модели ML.
  • Если кто-то имеет доступ к вашей модели, он может извлечь данные, на которых она была обучена. Очень известный пример — это то, как люди могут извлекать фотографии человека только по его имени.
  • Этот метод довольно сложен в реализации, так как кому-то нужен высокий уровень знаний в предметной области. Так что обычный практикующий в безопасности.
  • Но высококлассным исследователям всегда нужны необходимые меры предосторожности, чтобы их модели оставались недоступными для кого-либо, кроме них самих.
  • Эта статья ясно объясняет детали этой темы!

Мы хотели бы остановиться на одном коротком моменте: в настоящее время всем нужен Объяснимый ИИ. Что, если сделать модели более объяснимыми и сделать их более уязвимыми для атак? Означает ли это, что поле должно быть полностью исключено? Хотя случаи не были упомянуты, следует отметить, что эти методы облегчают отслеживание того, как модель принимает решение. Таким образом, это поможет пользователю легче понять модель и разобраться с атаками! Но дайте нам знать ваше мнение ниже!

Упомянутые здесь атаки в основном происходят в конкурентной среде. Да, блокчейн может помочь защитить информацию, но всегда есть лазейки! Одной из основных проблем является обнаружение атак, для их анализа и защиты нужны сильные статистические знания. Но если кто-то знает, он может легко предотвратить это. Никто не хочет, чтобы его исследования или личная информация была украдена, и именно на это направлен пост. Имея небольшое представление о вышеупомянутых атаках, можно легко избежать их и убедиться, что их результаты есть только для сохранения! Мы имеем в виду, честно говоря, кто хочет, чтобы их лицо и личная информация скрывались в руках какого-то незнакомца?

Редакционная заметка-

Эта статья была разработана Адитья Вивек Тхота и написана Сумья Кунду из The Research Nest.

Следите за новостями, чтобы узнавать о новых тенденциях в исследованиях и идеях со всего мира в области науки и техники, уделяя основное внимание искусственному интеллекту!