Публикации по теме distributed-computing

Публикации по теме 'distributed-computing'

Учебное пособие по MPI для машинного обучения (часть 1/3)

Что такое ИМБ? MPI, или интерфейс передачи сообщений, является стандартизированным и переносимым стандартом передачи сообщений, разработанным исследователями из академических кругов и промышленности для работы на различных архитектурах параллельных вычислений. Стандарт определяет синтаксис и семантику библиотечных подпрограмм, применимых ко многим пользователям, пишущим переносимые программы для передачи сообщений. Предпосылки Знание программирования на Python Базовое понимание..

Распределенное обучение сверхшироких сетей GCN без усилий

В этом посте я сделаю обзор недавно предложенной распределенной обучающей среды для крупномасштабных сверточных сетей на основе графов (GCN), называемой обучением подсетей, не зависящих от графа (GIST) [1]. GIST значительно ускоряет процесс обучения GCN для любой архитектуры и может использоваться для обучения крупномасштабных моделей, которые превышают возможности одного графического процессора. Я постараюсь охватить наиболее важные аспекты GIST в этом посте, включая соответствующую..

Введение в распределенное обучение и федеративное обучение

Интуиция, стоящая за распределенным SGD и федеративным обучением. В этом посте мы поговорим об основной интуиции, стоящей за распределенным обучением и федеративным обучением, и о том, почему они работают. Во-первых, мы начнем с простого примера централизованного машинного обучения и пройдем путь к распределенному стохастическому градиентному спуску (D-SGD) и, наконец, к федеративному обучению (FL). Централизованное обучение Представьте, что мы хотим узнать линейную зависимость..

Распределенные вычисления с Raven Distribution Framework (RDF)

Текущая версия Raven Distribution Framework ( RDF v0.3) предоставляет простую в использовании библиотеку, которая позволяет разработчикам создавать математические алгоритмы или модели и вычислять эти операции, распределяя их между несколькими клиентами. Это обеспечивает увеличение скорости и эффективности при работе с большим количеством математических операций. Что такое распределенные вычисления? Распределенные вычисления — это связывание различных вычислительных ресурсов, таких..

Как сделать приложения масштабируемыми - драматические правила масштабируемости

В последнем блоге ( Как сделать приложения масштабируемыми - невысказанное введение ) мы вкратце обсудили Распределенные системы . Мы обсудили необходимость этого и рассмотрели два примера приложений, созданных с использованием распределенных систем. Такие интересные свойства, как масштабируемость, избыточность, доступность, надежность, можно обеспечить с помощью распределенных систем. В этом блоге мы обсудим правила масштабируемости. Сначала мы должны знать, что такое..

Эффективное обучение и использование моделей NLU и NLG

Вступление Сколько из нас пробовали обучить простого чат-бота нескольким специальным выражениям? На первый взгляд это может показаться простым и бесполезным занятием. Но когда дело доходит до языковых моделей и хороших возможностей передачи и обобщения, мы не можем полагаться ни на какие существующие готовые решения. Следует тщательно проанализировать все последствия и требования, которые возникают при обучении с нуля и с использованием современных языковых моделей (SOTA), например БЕРТ..

CodeFlare конвейеры

Беспрепятственное масштабирование сложных рабочих процессов от ноутбука до кластеров Совместно написано Рагху К. Ганти , Мудхакар Шриватса и Карлосом Коста В наши дни трубопроводы стали центральной темой, и некоторые из них получили широкое распространение за последние несколько лет, в том числе AirFlow , Argo , SKLearn pipelines , Spark pipelines , KubeFlow pipelines и многие другие. В IBM Research мы переосмыслили конвейеры, чтобы предоставить более интуитивно понятный..