Отличная демонстрация того, как мы можем эффективно использовать ненейронные сетевые архитектуры.

Присоединяйтесь к более чем 34 тысячам людей и получайте самые важные идеи в области искусственного интеллекта и машинного обучения бесплатно на свой почтовый ящик

Все мы слышали пословицу: Знание — сила. Предоставление людям доступа к знаниям позволяет им выдвигать отличные идеи и подвергать стресс-тестирование своих теорий другим людям. Это одна из причин того, что темпы инноваций и новых знаний в программном обеспечении с открытым исходным кодом так высоки — у нас есть миллионы людей, работающих над улучшением различных проектов независимо. Безумное развитие LLM после Llama связано с этим. Даже этот информационный бюллетень был бы невозможен без свободного доступа к информации. Чтобы публиковаться традиционными средствами, мне нужен был бы кто-то, кто финансировал бы печать, просматривал закрытые журналы, рассылал копии тем, кто мог себе это позволить, и т. д. Достижение роста, которого мы достигли, было бы почти невозможно без значительных инвестиций. Интернет и свободный доступ к информации, который он предоставляет, позволяют человечеству совершить скачок в инновациях и создать технологии следующего поколения.

Чтобы поддержать эту эволюцию, в отчете содержится призыв к международному сообществу сделать правила глобальной торговли более благоприятными для зарождающейся зеленой промышленности в развивающихся странах и реформировать права интеллектуальной собственности, чтобы облегчить передачу технологий в эти страны.

Доклад ООН о технологиях и инновациях много говорит о том, как передача знаний может широко стимулировать инновации.

К сожалению, по мере развития технологий растет и вероятность неправомерного использования. Машинное обучение можно использовать для автоматизации многих сложных задач способами, которые были бы невозможны всего 15 лет назад. К сожалению, это включает в себя цензуру и массовую слежку в ранее невообразимых масштабах. Наблюдение за ИИ может усугубить социальное неравенство, чего следует опасаться. Как ни странно, ИИ и машинное обучение также становятся одними из лучших инструментов для решения таких проблем.

На один такой проект я наткнулся в видео: ИИ против цензуры: генетические алгоритмы, Женевский проект, машинное обучение в безопасности и многое другое! . Мне в нем понравились две вещи: тот факт, что это исследование сделало что-то полезное с ИИ, и использование ими генетических алгоритмов. Как человек, который некоторое время говорил о недостаточном использовании эволюционных алгоритмов, это меня заинтересовало. В этой статье я поделюсь некоторыми интересными (выводами о машинном обучении), а также некоторыми идеями, которые у меня возникли при рассмотрении этой идеи. Эта статья предназначена для того, чтобы познакомить вас с этим важным проектом и привлечь к нему ваше внимание. Убедитесь, что вы изучаете их, поскольку они играют важную роль в будущем.

О Женеве

Глядя на веб-сайт, «Geneva — это новый экспериментальный генетический алгоритм, который обходит цензуру, манипулируя потоком пакетов на одном конце соединения, чтобы сбить с толку цензора». Он состоит из 2 компонентов-

  1. Механизм стратегии: Механизм стратегии отвечает за выполнение заданной стратегии уклонения от цензуры в отношении активного сетевого трафика.
  2. Генетический алгоритм. Генетический алгоритм — это обучающий компонент, который разрабатывает новые стратегии (используя движок) против данного цензора.

Инструмент с открытым исходным кодом, и их Github можно найти здесь. Любой может настроить и запустить Geneva со своих компьютеров. Его запуск запустит алгоритм, который попытается протестировать разные стратегии. Он пробовал все более и более изощренные стратегии. В случае взлома шифрования команда изучает результаты, чтобы извлечь информацию о базовой системе цензуры.

Учитывая характер проекта, в их документации много терминов, связанных с сетями. Я ничего не знаю об этой области, поэтому не буду притворяться, что могу разобрать эти аспекты. Если кто-то более опытный в этих областях захочет поговорить об этих факторах, я буду более чем счастлив открыть для вас свою платформу. Но я могу объяснить интересные аспекты ИИ.

Диапазон

В видео, которое я поделился о дифференциальной эволюции, я рассказал о том, что алгоритмы, основанные на эволюции, имеют большее возможное пространство поиска, чем традиционные методы, основанные на градиенте. Это преимущество действительно проявляется в подобных задачах. Эволюционный алгоритм (например, упомянутые здесь генетические алгоритмы) может проходить через гораздо более разнообразное пространство поиска.

Методы на основе градиента нуждаются в гладком непрерывном пространстве поиска (поскольку они полагаются на дифференцирование для вычисления весов). Генетические алгоритмы могут работать в тех случаях, когда это не так. Они могут работать в дискретных пространствах, что делает их идеальными для настройки решений и объединения компонентов их пространства поиска для создания новых решений-кандидатов.

Лидер фактически коснулся этого во время интервью по ссылке. Он упомянул, что нет градиента для вычислений методов ML. Это справедливо как для пространства поиска (мы строим стратегии, объединяя команды), так и для вывода (проходя через цензуру). Фактически, он даже упомянул, что, поскольку генетические алгоритмы могут тестировать все, им фактически пришлось ограничить алгоритм некоторыми основными командами.

Поиск космических команд

Методы, основанные на эволюции, всегда имеют действительный базовый набор команд, которые они могут протестировать. Это то, что они используют для создания решений-кандидатов и для настройки существующих решений на этапах рекомбинации/мутации. Они зависят от домена. Для этого проекта у нас есть следующие строительные блоки.

Важно понять, как они взяли их за основу. Команда использовала простое определение цензуры: цензура — это просто модификация сетевого трафика. Таким образом, стратегия — это просто «описание того, как следует модифицировать сетевой трафик». С этой точки зрения становится ясно, что блок должен состоять из возможных способов модификации сетевых пакетов.

Цель стратегии уклонения от цензуры состоит в том, чтобы изменить сетевой трафик таким образом, чтобы цензор не смог его подвергнуть цензуре, но не повлиял на связь между клиентом и сервером. — От авторов

Readme GitHub содержит довольно краткое описание каждого из строительных блоков.

  1. duplicate: принимает один пакет и возвращает две копии пакета
  2. drop: принимает один пакет и не возвращает ни одного пакета (отбрасывает пакет)
  3. tamper: принимает один пакет и возвращает измененный пакет
  4. fragment: принимает один пакет и возвращает два фрагмента или два сегмента

Важно отметить, что дублирование и фрагментация «вводят ветвление, эти действия объединяются в структуру двоичного дерева, называемую деревом действий. Триггер описывает, какие пакеты должно запускать дерево, а дерево описывает, что должно произойти с каждым из этих пакетов при срабатывании триггера». Пример дерева можно найти здесь.

Деревья действий объединяются для создания полноценных стратегий уклонения.

Фитнес-функция

Фитнес-функции имеют решающее значение для всех генетических алгоритмов. Они определяют, что алгоритм будет считать хорошим, а что плохим, и в конечном итоге определяют, какие стратегии использовать. Как и в случае со строительными блоками, проектирование этого не является тривиальным. У авторов этого протокола была относительно простая функция (и это здорово, потому что она допускает множество улучшений и модификаций). В документации они разделяют следующие приоритеты

Как упоминалось ранее, возможное пространство поиска решений бесконечно. Это означает, что рентабельная производительность имеет решающее значение. Это особенно важно, потому что система работает с локальных компьютеров (а не с больших серверов, как большинство ML в наши дни), и это противоречит вычислительной мощности штата. Вот почему авторы уделяют такое внимание раннему отключению потенциальных мертвых решений.

Эта иерархия обеспечивает значительное сокращение пространства поиска. Вместо того, чтобы Женевская фаззинговала все пространство возможных стратегий (которых существует множество!), вместо этого она быстро устраняет стратегии, которые разрывают базовую связь, и поощряет генетический алгоритм концентрировать усилия только на тех стратегиях, которые поддерживают живую базовую связь.

Фитнес-функция формирует учащихся с упором на минимизацию сожалений (здесь сожаления — бесполезные решения). Это работает для них, потому что пространство поиска, естественно, велико, поэтому мы можем надеяться, что достигнем наилучшей жизнеспособной производительности. Мне было бы интересно попробовать прогоны с «оговоркой» на несколько плохих решений. Иногда они могут представить сильных учеников, если смешать их с сильными кандидатами через много поколений. Поскольку строительные блоки просты, в данном случае это может быть не очень эффективно, но мне бы очень хотелось на это посмотреть.

Закрытие

Это интересный пример состязательного дизайна, когда учащийся учится, пытаясь обойти цензоры. Во время интервью Кевин рассказал о том, как они сами пытались разработать несколько цензоров. Было бы интересно изучить автоматический цензор, который развивается вместе с этим убегающим. Мало того, что это может произойти в будущем, такое решение ускорит процесс. Такой подход добился больших успехов в большинстве машинного обучения

Сочетание этого и настройки, в которой мы можем связать результаты всех пробегов с основной системой (как мы делаем для беспилотных автомобилей), было бы отличным способом перегрузить агента уклонения. Это также очень хорошо использовало бы масштабирование. Обязательно изучите проект и поделитесь своими мыслями.

Кратко о работе системы

Если кого-то из вас вдохновило попробовать эволюционные алгоритмы для обхода сетевой цензуры, вот краткая шпаргалка по основным компонентам, которые вы можете использовать:

Изучение государственной цензуры с помощью генетических алгоритмов

Это все для этого произведения. Я ценю ваше время. Как всегда, если вы хотите связаться со мной или ознакомиться с другими моими работами, ссылки будут в конце этого письма/сообщения. «Если вам нравится то, что я пишу, я был бы очень признателен за анонимный отзыв. Вы можете бросить его здесь. И если вы нашли ценность в этой статье, я был бы признателен, если бы вы поделились ею с большим количеством людей. Рекомендации из уст в уста, такие как ваши, помогают мне расти.

Сэкономьте время, энергию и деньги, просмотрев все эти видео, курсы, продукты и "тренеров" и легко найдя все, что вам нужно, в одном месте Технологии стали проще! Оставайтесь на шаг впереди в области искусственного интеллекта, разработки программного обеспечения и технической отрасли с помощью экспертных идей, советов и ресурсов. Скидка 20 % для новых подписчиков, перешедших по этой ссылке. Подпишитесь сейчас и упростите свое путешествие в мир технологий!

Использование этой скидки снизит цены-

800 индийских рупий (10 долларов США) → 640 индийских рупий (8 долларов США) в месяц

8000 индийских рупий (100 долларов США) → 6400 индийских рупий (80 долларов США) в год

Получи скидку 20% на 1 год

Свяжитесь со мной

Воспользуйтесь ссылками ниже, чтобы ознакомиться с другим моим контентом, узнать больше о репетиторстве, связаться со мной по поводу проектов или просто поздороваться.

Небольшие фрагменты о технологиях, искусственном интеллекте и машинном обучении здесь

Информационный бюллетень ИИ- https://artificialintelligencemadesimple.substack.com/

Любимый технический бюллетень моей бабушки — https://codinginterviewsmadesimple.substack.com/

Ознакомьтесь с другими моими статьями на Medium. : https://rb.gy/zn1aiu

Мой Ютуб: https://rb.gy/88iwdd

Свяжитесь со мной в LinkedIn. Подключаемся: https://rb.gy/m5ok2y

Мой Инстаграм: https://rb.gy/gmvuy9

Мой Твиттер: https://twitter.com/Machine01776819