Еженедельный информационный бюллетень с более чем 100 000 подписчиков, в котором обсуждаются важные исследовательские работы по машинному обучению, интересные технические выпуски, деньги в ИИ и реальные реализации.
📝 От редакции: Распределенное обучение машинному обучению станет проблемой для всех
Крупномасштабное распределенное обучение — одна из тех проблем машинного обучения (ML), которую легко игнорировать. В конце концов, только крупные лаборатории искусственного интеллекта, такие как Google, Facebook и Microsoft, работают с этими огромными моделями, для обучения которых требуется множество графических процессоров. Я определенно так думал, пока не появились трансформеры. Если есть один вывод из появления моделей-трансформеров, так это то, что большие модели лучше, по крайней мере, на данный момент. Для обучения базовой модели трансформатора на основе BERT требуется довольно много инфраструктуры и распределенных процессов. В результате распределенное обучение постепенно становится основной проблемой для всего сообщества ИИ.
Как человек, которого мало интересовало распределенное обучение машинному обучению, я следил за исследованием периферийно, не вдаваясь в детали. Это изменилось за последние пару лет, когда я начал играть с все более и более крупными моделями. Уровень исследований и разработок, встроенных в распределенные фреймворки для обучения машинному обучению, поражает воображение. Такие фреймворки, как Horovod и Ray, безусловно, более известны, но на этом инновации не останавливаются. Буквально на этой неделе Microsoft открыла несколько новых дополнений к своей распределенной учебной библиотеке DeepSpeed. В то же время Facebook и Tencent опубликовали очень продвинутое исследование по масштабированию распределенного обучения моделей-трансформеров. Инновации в этой области, безусловно, продолжатся в ближайшие несколько лет, и на данный момент распределенное обучение следует считать ключевым строительным блоком любого современного конвейера машинного обучения.
🗓 На следующей неделе в TheSequence Edge:
Преимущество №117:мы обсуждаем, как преобразователи выходят за рамки обработки естественного языка (NLP) в сценарии компьютерного зрения; рассказать об ImageGPT, адаптации OpenAI своей модели GPT к сценариям компьютерного зрения; изучите библиотеку Hugging Face, одну из немногих платформ, которая включает модели преобразования для компьютерного зрения.
Edge#118:мы рассматриваем WhyLabs — платформу сквозного наблюдения и мониторинга ИИ, которая обеспечивает прозрачность на разных этапах конвейера машинного обучения.
🔎 Исследование машинного обучения
PipeTransformer: масштабирование распределенного обучения
Исследователи из Facebook, Tencent и Университета Южной Калифорнии опубликовали документ, в котором предлагается PipeTransformer, платформа на основе PyTorch для эластичного распределенного обучения моделей трансформаторов -›подробнее читайте в блоге PyTorch
Причинно-следственная связь в наборах данных временных рядов
Исследование Amazon опубликовало документ, в котором подробно описан метод обнаружения причинно-следственных связей в наборе данных временных рядов -›подробнее читайте в блоге Amazon Research.
Отслеживание происхождения клеток
IBM Research опубликовала статью, в которой обсуждаются методы машинного обучения, которые можно использовать для реконструкции деревьев клеточных линий -›подробнее читайте в блоге IBM Research
🛠 Машинное обучение в реальном мире
Управление аппаратными ресурсами больших данных в Uber
Команда инженеров Uber опубликовала анализ инфраструктуры и процессов, используемых для управления аппаратными ресурсами в своих решениях для больших данных и искусственного интеллекта -›подробнее читайте в блоге Uber
🤖 Крутые релизы AI Tech
DeepSpeed MoE
Microsoft Research представила смесь экспертов DeepSpeed (MoE) — дополнение к библиотеке DeepSpeed, позволяющее обучать массивно-большие модели MoE -›подробнее читайте в блоге Microsoft Research
TensorFlow Lite MoveNet
TensorFlow представила версию своей библиотеки определения позы MoveNet, оптимизированную для TensorFlow Lite -›подробнее читайте в блоге TensorFlow
💸 Деньги в ИИ
- Компания GraphQL Apollo привлекла 130 миллионов долларов в раунде серии D при оценке более чем в 1,5 миллиарда долларов. Insight Partners возглавили раунд. Найм.
- Инструмент для поиска и навигации по коду Sourcegraph привлек 125 миллионов долларов в раунде финансирования серии D при оценке в 2,6 миллиарда долларов. Андреессен Горовиц лидировал в раунде. Найм дистанционно.
- Стартап по наблюдению за данными Монте-Карло привлек $60 млн финансирования под руководством Iconiq Growth. Найм по всем командам.
- Платформа исследования и визуализации данных Preset привлекла 35,9 млн долларов в рамках финансирования серии B под руководством Redpoint Ventures. Найм в Калифорнии, США.
- Компания Metabase, занимающаяся бизнес-аналитикой с открытым исходным кодом, привлекла раунд раунда B на сумму 30 миллионов долларов под руководством Insight Partners. Много удаленных вакансий.
- Платформа прогнозирования стоимости авиабилетов и отелей Hopper привлекла $175 млн в ходе раунда серии G под руководством GPI Capital. Найм по всему миру.
- Стартап по автоматизации колл-центров Balto привлек 37,5 млн долларов в раунде финансирования серии B под руководством Stripes. Найм в штате Миссури, США или удаленно.
- Создатель робота-оператора Rapid Robotics привлекла 36,7 млн долларов в рамках раунда серии B под руководством Кляйнера Перкинса и Tiger Global. Найм в Сан-Франциско, США.
- Стартап по проверке страховых компаний TrustLayer привлек раунд серии A $15,1 млн под руководством Craft Ventures. Найм в Тампе, Лос-Анджелесе или удаленно.
- Инструмент дизайна Uizard привлек 15 миллионов долларов финансирования от Insight Partners. Найм дистанционно.
- Платформа для автоматизации корпоративного комплаенса Regology привлекла $8 млн в Серии А под руководством Acme Capital.
- Стартап в области искусственного интеллекта в сфере здравоохранения Cardiomatics привлек посевной раунд на сумму 3,2 миллиона долларов под руководством венчурного капитала из Центральной и Восточной Европы Kaya. Найм в Польше.
- Компания SwoopTalent, занимающаяся технологиями машинного обучения, была приобретена SAP. Компании договорились не раскрывать цену покупки и другие финансовые детали этой сделки.
