Публикации по теме deep-learning

Публикации по теме 'deep-learning'

Как работает проектируемый градиентный спуск, часть 2 (искусственный интеллект)

1. Об асимптотической линейной сходимости прогнозируемого градиентного спуска для метода наименьших квадратов с ограничениями (arXiv) Автор: Трунг Ву , Равив Райх Аннотация: многие недавние проблемы в обработке сигналов и машинном обучении, такие как сжатое восприятие, восстановление изображения, восстановление матрицы/тензора и неотрицательная матричная факторизация, могут быть представлены как оптимизация с ограничениями. Прогнозируемый градиентный спуск — это простой, но..

Работа с беспроводными вычислениями, часть 3

Частное федеративное обучение с динамическим контролем мощности посредством некогерентных беспроводных вычислений (arXiv) Автор: Аньбан Чжан , Шуайшуай Го , Шуай Лю Аннотация: Для дальнейшего сохранения конфиденциальности веса модели и повышения производительности модели в федеративном обучении (FL) предлагается схема FL через беспроводные вычисления (AirComp), основанная на динамическом управлении мощностью. Граничные устройства (ED) передают знаки локальных стохастических..

Your Daily AI Research tl;dr — 2022–07–26 🧠

Размытие лиц на мобильных телефонах, обучение агента RL «Лучший ответ» и события, которые вы не должны пропустить! Добро пожаловать в ваш официальный ежедневный исследовательский tl;dr (часто с кодом и новостями) для профессионалов в области ИИ, где я делюсь самыми интересными статьями, которые я нахожу ежедневно, а также однострочным резюме, которое поможет вам быстро определить, является ли…

Новые исследовательские идеи в области управления портфелем, часть 2 (расширенная статистика)

Оптимальные инвестиции и перестрахование в условиях экспоненциальных форвардных преференций (arXiv) Автор: Катя Коланери , Алессандра Кретарола , Бенедетта Салтерини Аннотация: Исследуется задача оптимального инвестирования и пропорционального перестрахования страховой компании, чьи инвестиционные предпочтения описываются форвардной динамической полезностью экспоненциального типа в стохастической факторной модели, учитывающей возможную зависимость между финансовыми и..

За пределами градиентного спуска

Термин «градиентный спуск» знаком всем, кто занимается машинным обучением. Градиентный спуск — наиболее часто используемый алгоритм оптимизации для обучения моделей машинного обучения и нейронных сетей. Это помогает определить наилучшие значения параметров для минимизации функции потерь. Мы можем систематически проходить поверхность ошибки, используя градиентный спуск, чтобы достичь точки минимума. Глядя на поверхность ошибок, становится очевидным, что когда кривая крутая,..

Внимание длинной последовательности с ⚡FlashAttention⚡

Новый год начинается с большого количества обсуждений интересных новых статей, следуя за приливом ChatGPT. Интро FlashAttention — одно из лучших. Основная проблема, которую он решает, является важной для архитектуры Transformer — увеличение скорости и улучшение потребления памяти для операций с самостоятельным вниманием. Почему это интересно? Один из способов распознать хорошую статью или новый метод — узнать, как быстро он принимается/адаптируется в мире открытого..

Чтение об искусственном интеллекте: № 8

Хлопайте и комментируйте, если вам нравится контент Автодополнение кода с расширенными возможностями машинного обучения повышает продуктивность разработчиков Возрастающая сложность кода создает ключевую проблему для производительности в разработке программного обеспечения. Завершение кода было важным инструментом, который помог уменьшить эту сложность в интегрированных средах разработки (IDE). Традиционно предложения по завершению кода реализуются с помощью семантических..