Начало работы с федеративным обучением
- Объединенное обучение на графиках, отличных от IID, посредством обмена структурными знаниями(arXiv)
Автор: Юэ Тан, Исинь Лю, Годун Лун, Цзин Цзян, Цинхуа Лу, Чэнци Чжан
Аннотация : Графовые нейронные сети (GNN) продемонстрировали свое превосходство в моделировании графовых данных. Благодаря преимуществам федеративного обучения, федеративное обучение на графах (FGL) позволяет клиентам обучать сильные модели GNN распределенным образом, не делясь своими личными данными. Основной проблемой в федеративных системах является проблема отсутствия IID, которая также широко распространена в графических данных реального мира. Например, локальные данные клиентов могут поступать из разных наборов данных или даже доменов, например, социальных сетей и молекул, что усложняет для методов FGL сбор общедоступных знаний и изучение обобщенного кодировщика. Из реальных наборов данных графов мы наблюдаем, что некоторые структурные свойства являются общими для различных доменов, что представляет большой потенциал для обмена структурными знаниями в FGL. Вдохновленные этим, мы предлагаем FedStar, инфраструктуру FGL, которая извлекает и совместно использует информацию об общей базовой структуре для задач федеративного обучения между графами. Чтобы явно извлечь информацию о структуре, а не кодировать ее вместе с функциями узла, мы определяем вложения структуры и кодируем их с помощью независимого кодировщика структуры. Затем кодировщик структуры передается клиентам, в то время как знания, основанные на функциях, изучаются персонализированным образом, что позволяет FedStar собирать больше инвариантной доменной информации на основе структуры и избегать проблем с несоответствием функций. Мы проводим обширные эксперименты с настройками FGL, не относящимися к IID, как между наборами данных, так и между доменами, демонстрируя превосходство FedStar.
2. Динамически взвешенное федеративное обучение для классификации вредоносных программ для Android(arXiv)
Автор: Аюши Чаудхури, Ариджит Нанди, Буддхадеб Прадхан
Аннотация .Атаки вредоносных программ для Android ежедневно увеличиваются в огромных масштабах, что делает пользователей Android более уязвимыми для кибератак. Исследователи разработали множество методов машинного обучения (ML)/глубокого обучения (DL) для обнаружения и смягчения атак вредоносного ПО для Android. Однако из-за технического прогресса количество мобильных устройств Android растет. Кроме того, устройства географически рассредоточены, что приводит к распределению данных. В таком сценарии традиционные методы ML/DL неприменимы, поскольку все эти подходы требуют хранения данных в центральной системе; это может создать проблему для конфиденциальности пользователей из-за массового распространения мобильных устройств Android; помещение данных в центральную систему создает накладные расходы. Кроме того, традиционные методы классификации вредоносных программ для Android, основанные на ML/DL, не масштабируемы. Исследователи предложили систему классификации вредоносных программ для Android на основе федеративного обучения (FL), чтобы решить проблему сохранения конфиденциальности и масштабируемости с высокой производительностью классификации. В традиционном FL Federated Averaging (FedAvg) используется для построения глобальной модели в каждом раунде путем слияния всех локальных моделей, полученных от всех клиентов, участвовавших в FL. Однако традиционный FedAvg имеет недостаток: если в разработку глобальной модели для каждого раунда включается одна неэффективная локальная модель, это может привести к неэффективной глобальной модели. Потому что FedAvg при усреднении одинаково отдает предпочтение всем локальным моделям. Чтобы решить эту проблему, нашей основной целью в этой работе является разработка стратегии динамического взвешенного федеративного усреднения (DW-FedAvg), в которой веса для каждой локальной модели автоматически обновляются в зависимости от их производительности на клиенте. DW-FedAvg оценивается с использованием четырех популярных эталонных наборов данных: Melgenome, Drebin, Kronodroid и Tuandromd, используемых в исследованиях классификации вредоносных программ для Android.
3. Вертикальное федеративное обучение(arXiv)
Автор:Ян Лю, Ян Кан, Тяньюань Цзоу, Яньхун Пу, Юаньцинь Хэ, Сяочжоу Е, Е Оуян, Я-Цинь Чжан , Цян Ян
Аннотация. Вертикальное федеративное обучение (VFL) — это федеративное обучение, в котором несколько сторон с разными функциями для одного и того же набора пользователей совместно обучают модели машинного обучения, не раскрывая свои необработанные данные или параметры модели. Вдохновленные быстрым ростом исследований VFL и реальных приложений, мы предоставляем всесторонний обзор концепции и алгоритмов VFL, а также текущих достижений и проблем в различных аспектах, включая эффективность, действенность и конфиденциальность. Мы предоставляем исчерпывающую классификацию настроек VFL и протоколов сохранения конфиденциальности и всесторонне анализируем атаки на конфиденциальность и стратегии защиты для каждого протокола. В конце концов, мы предлагаем унифицированную структуру, называемую VFLow, которая рассматривает проблему VFL с учетом ограничений связи, вычислений, конфиденциальности и эффективности. Наконец, мы рассматриваем самые последние достижения в области промышленного применения, выделяя нерешенные проблемы и будущие направления для VF.
