Введение SmartNews — ведущее в мире приложение для сбора новостей с большой базой пользователей на рынках Японии и США. В нашем основном бизнесе, таком как реклама, мы широко используем модели глубокого обучения в таких сценариях, как поиск и рекомендации, чтобы оптимизировать взаимодействие с пользователем и увеличить доход. Однако по мере того, как наш онлайн-бизнес продолжает расти, количество обучающих выборок и размер моделей также быстро растут, из-за чего встроенному TensorFlow..

РАСПРЕДЕЛЕННОЕ ОБУЧЕНИЕ Распределенное параллельное обучение — параллельное обучение модели Параллельное обучение распределенной модели для больших моделей в PyTorch В последние годы наблюдается экспоненциальный рост масштабов моделей глубокого обучения и проблема распределенного параллельного обучения. Например, знаменитый GPT-3 имеет 175 миллиардов параметров и 96 уровней внимания с размером пакета 3,2 млн и 499 миллиардов слов. Учебная платформа Amazon SageMaker может..