- Новый взгляд на настройку гиперпараметров с дифференциальной конфиденциальностью(arXiv)
Аннотация. Настройка гиперпараметров является обычной практикой в применении машинного обучения, но этот аспект обычно игнорируется в литературе по машинному обучению с сохранением конфиденциальности из-за его негативного влияния на общий параметр конфиденциальности. В этой статье мы стремимся решить эту фундаментальную, но сложную проблему, предоставив эффективную структуру настройки гиперпараметров с дифференциальной конфиденциальностью. Предлагаемый метод позволяет нам использовать более широкое пространство поиска гиперпараметров и даже выполнять поиск по сетке по всему пространству, поскольку его параметр потери конфиденциальности не зависит от количества кандидатов в гиперпараметры. Интересно, что вместо этого он коррелирует с полезностью поиска по гиперпараметрам, обнаруживая явный и обязательный компромисс между конфиденциальностью и полезностью. Теоретически мы показываем, что его дополнительная граница потери конфиденциальности, вызванная настройкой гиперпараметров, ограничена сверху квадратным корнем полученной полезности. Тем не менее, мы отмечаем, что дополнительная граница потери конфиденциальности будет эмпирически масштабироваться как квадратный корень из логарифма члена полезности, извлекая выгоду из конструкции шага удвоения.
2. Дифференциальная конфиденциальность пользователя и объекта при изучении моделей естественного языка(arXiv)
Автор: Фунг Лай, Нятхай Фан, Тонг Сун, Раджив Джайн, Франк Дернонкур, Цзюсян Гу, Николаос Бармпалиос.
Аннотация. В этой статье мы представляем новую концепцию дифференциальной конфиденциальности пользователя и объекта (UeDP), чтобы обеспечить формальную защиту конфиденциальности одновременно как для конфиденциальных объектов в текстовых данных, так и для владельцев данных при изучении моделей естественного языка (NLM). ). Чтобы сохранить UeDP, мы разработали новый алгоритм под названием UeDP-Alg, оптимизирующий компромисс между потерей конфиденциальности и полезностью модели с жесткой границей чувствительности, полученной в результате плавного объединения процессов выборки пользователей и конфиденциальных объектов. Обширный теоретический анализ и оценка показывают, что наш UeDP-Alg превосходит базовые подходы в полезности модели при том же потреблении бюджета на конфиденциальность в нескольких задачах NLM с использованием эталонных наборов данных.
3. О взаимодействии дифференциальной конфиденциальности и градиентного сжатия в глубоком обучении(arXiv)
Автор:Джимми Лин
Аннотация . Хотя дифференциальная конфиденциальность и градиентное сжатие являются отдельными хорошо изученными темами машинного обучения, изучение взаимодействия между этими двумя темами все еще относительно новое. Мы проводим подробное эмпирическое исследование того, как гауссовский механизм дифференциальной конфиденциальности и градиентное сжатие совместно влияют на точность тестов в глубоком обучении. Существующая литература по градиентному сжатию в основном оценивает сжатие в отсутствие дифференциальных гарантий конфиденциальности и демонстрирует, что достаточно высокие степени сжатия снижают точность. Точно так же существующая литература по дифференциальной конфиденциальности оценивает механизмы конфиденциальности в отсутствие сжатия и демонстрирует, что достаточно сильные гарантии конфиденциальности снижают точность. В этой работе мы наблюдаем, что, хотя сжатие градиента обычно оказывает негативное влияние на точность теста в неиндивидуальном обучении, оно иногда может повысить точность теста в дифференциально-индивидуальном обучении. В частности, мы наблюдаем, что при использовании агрессивной разреженности или понижения ранга градиентов на точность теста меньше влияет гауссовский шум, добавленный для дифференциальной конфиденциальности. Эти наблюдения объясняются с помощью анализа того, как дифференциальная конфиденциальность и сжатие влияют на систематическую ошибку и дисперсию в оценке среднего градиента. Мы следуем этому исследованию с рекомендацией о том, как повысить точность теста в контексте дифференциально частного глубокого обучения и градиентного сжатия. Мы оцениваем это предложение и обнаруживаем, что оно может уменьшить негативное влияние шума, добавляемого дифференциальными механизмами конфиденциальности, на точность теста до 24,6%, а также уменьшить негативное влияние градиентного разрежения на точность теста до 15,1.
