OpenAI, fastai и Microsoft являются одними из них.
PyTorch, библиотека машинного обучения с открытым исходным кодом, основанная на библиотеке Torch, изначально разработанная исследовательской лабораторией AI Facebook, действительно получает поддержку благодаря принятию и поддержке со стороны крупных игроков в области ИИ, таких как OpenAI, fastai и Microsoft.
PyTorch - один из наиболее часто используемых фреймворков в исследованиях искусственного интеллекта из-за его динамических возможностей. PyTorch с самого начала поставляется с динамическим вычислительным графом, что упрощает выполнение относительно небольших частей кода. Пользователям не нужно ждать долгого процесса компиляции, чтобы построить и запустить свои модели, а это значит, что вычисления могут выполняться практически мгновенно. Это означает, что экспериментировать с PyTorch проще простого по сравнению с такими конкурентами, как Tensorflow от Google.
OpenAI стандартизирует PyTorch
В недавнем пресс-релизе Open AI стандартизировал свой фреймворк глубокого обучения на PyTorch.
Open AI - это исследовательская организация, направленная на открытие и внедрение пути к безопасному общему искусственному интеллекту, и она была основана Илоном Маском, Сэмом Альтманом, Ильей Суцкевером и Грегом Брокманом 11 декабря 2015 года.
Выбор базовой версии PyTorch в OpenAI дает огромный импульс для внедрения библиотеки PyTorch.
«В PyTorch очень легко опробовать новые исследовательские идеи; например, переход на PyTorch сократил время итерации исследовательских идей в области генеративного моделирования с недель до дней ».
План OpenAI - это использовать библиотеки, такие как Tensorflow, если это сделает его более надежным для определенного варианта использования. В противном случае по умолчанию будет реализован PyTorch.
Fastai использует PyTorch
Fastai - это библиотека глубокого обучения, которая предоставляет практикам компоненты высокого уровня, которые могут быстро и легко обеспечивать самые современные результаты в стандартных областях глубокого обучения, а также предоставляет исследователям компоненты низкого уровня, которые можно смешивать и сопоставлять. строить новые подходы.
Новая версия фреймворка fastai, fastai v2, использует возможности PyTorch, чтобы быть одинаково ценными как для исследователей, так и для практиков. Низкоуровневые API Fastai используют конвейерную систему преобразования, которая построена на основе основ, предоставляемых PyTorch.
«PyTorch предоставляет класс тензора, оптимизированный для графического процессора, библиотеку полезных слоев модели, классы для оптимизации моделей и гибкую модель программирования, которая объединяет эти элементы. fastai использует строительные блоки из всех частей библиотеки PyTorch, в том числе напрямую исправляет свой тензорный класс, полностью заменяет библиотеку оптимизаторов, предоставляет упрощенные механизмы для использования его ловушек и так далее ».
Наряду с этим, многоуровневая архитектура fastai позволяет пользователям PyTorch постепенно добавлять функциональность fastai к существующим базам кода. Это позволяет постепенно адаптировать код PyTorch для fastai путем постепенного добавления функций fastai к этому коду, не требуя обширных переписываний.
DeepSpeed от Microsoft для увеличения скорости и масштабирования моделей PyTorch.
Недавно Microsoft Research анонсировала DeepSpeed, новую библиотеку оптимизации глубокого обучения, которая может обучать массивные модели со 100 миллиардами параметров. Это оптимизационная библиотека для PyTorch, которая предназначена для уменьшения использования памяти и обучения моделей с лучшим параллелизмом на существующем оборудовании.
В своем сообщении в блоге Microsoft заявляет, что,
DeepSpeed предлагает современные методы обучения, такие как ZeRO, распределенное обучение, смешанная точность и контрольные точки, через легкие API, совместимые с PyTorch. Изменяя всего несколько строк кода в вашей модели PyTorch, вы можете использовать DeepSpeed для решения основных проблем производительности и повышения скорости и масштабов обучения.
API для DeepSpeed разработан как оболочка для PyTorch, что означает, что разработчики могут использовать отличительную эффективность и эффективность DeepSpeed для повышения скорости и масштабирования своих моделей PyTorch с помощью всего лишь нескольких строк кода.
DeepSpeed может обучать модели DL с более чем сотней миллиардов параметров на кластерах графических процессоров текущего поколения, достигая при этом производительности системы более чем в 5 раз по сравнению с современными технологиями. Это означает, что разработчики смогут обучать модели в 10 раз большего размера с минимальными изменениями кода в своей базе кода PyTorch.
Вывод:
Растущее внедрение и поддержка инструментов со стороны основных игроков определенно помогают PyTorch расправить крылья. Внутренняя динамическая природа самой библиотеки дала ей преимущество перед другими подобными фреймворками. При постоянной поддержке со стороны исследовательской группы Facebook мы можем надеяться, что PyTorch будет расширяться и дальше в ближайшие дни, поскольку интерес к этой библиотеке проявляется не только среди исследователей, но и среди практиков.
Спасибо за ваше время.
