Публикации по теме parallel-computing

Публикации по теме 'parallel-computing'

Параллелизм в Эликсире

Если вы читали мои предыдущие статьи, то, возможно, знаете, что я фанат параллельных вычислений. Так что это причина. Если у вас есть плата за ПК 💻 и если этот ПК имеет два или более ядер (в настоящее время почти все процессоры имеют более одного ядра), очевидно, вы должны платить за эти ядра, даже если вы не потребляете. В данном случае, я думаю, вы разработчик. В противном случае не вам решать, будете ли вы потреблять все эти ядра 😛. Так что, если у вас есть деньги за это, почему..

PySpark для людей, ценящих свое время

В этом посте я расскажу вам об основах PySpark. Я постараюсь сделать его кратким и лаконичным. Перво-наперво, что такое Spark? Распределенная система обработки, используемая для рабочих нагрузок больших данных или чего-либо еще;) Она быстрее, чем MapReduce (операции фильтрации, сортировки и суммирования), потому что работает в памяти. Итак, стоит помнить: MapReduce ~ = дисковые вычисления Spark ~ = вычисления, ориентированные на память Это, конечно, большое обобщение, но..

Сборка за один день: создание списка слов — часть 2

Вот и все, я, вероятно, не собираюсь возвращаться к этому снова (до тех пор, пока я не начну изучать вычислительные шейдеры, может быть?). Как уже упоминалось в прошлый раз , приложение, которое я написал на Javascript, сталкивается с какой-то ошибкой, связанной с памятью, которую я не совсем понимаю. Теперь я подозреваю, что поток записи файла имеет буфер, к которому был добавлен, и он будет записывать в файл, когда когда-либо будет доступен цикл, но поскольку я использую асинхронный..

Разреженный матрично-векторный продукт: OpenMP против CUDA на гибридных платформах

НЕБОЛЬШОЕ ПАРАЛЛЕЛЬНОЕ ПРОГРАММИРОВАНИЕ Погрузитесь в мир мелкомасштабного параллельного программирования, изучая производительность OpenMP и CUDA при обработке разреженного умножения матрицы на вектор, раскрывая сложную взаимосвязь между моделями программирования и характеристиками матриц. Литературный обзор Методология Полученные результаты Заключение Умножение разреженной матрицы на вектор (SpMV), важнейшая операция в научных вычислениях, представляет собой сложную и..

Используйте параллелизм в Python и верните свое время

Если вы программируете на Python и не используете параллелизм там, где это возможно, скорее всего, вы не сделаете столько, сколько могли бы. Используя параллелизм, мы можем сократить время, необходимое для получения ответов, давая нам больше времени, чтобы выйти на улицу, выгулять собаку и понюхать цветы. Верный своей форме, Python предоставляет простой и интуитивно понятный интерфейс для настройки параллельных рабочих процессов. Однако включать их в нашу работу может быть пугающе,..

Экономия оборудования до 46 раз для AIGC и автоматического параллелизма в новом выпуске Colossal-AI

В последнее время крупномасштабные модели искусственного интеллекта привлекли внимание и получили широкое распространение. AIGC остается популярным, а чат-бот ChatGPT вызвал широкий интерес и привлек миллионы пользователей всего за две недели, даже вызвав «красный код» в Google, потому что он может разрушить бизнес поискового гиганта. Другие мощные приложения ИИ, такие как AlphaCode для разработки программного обеспечения и ESM2 для исследования лекарств, также получили распространение...

Исследование производительности Flash-вывода внимания

Различия в производительности вывода между Flash Attention v1 и v2. 1. История С момента разработки преобразователя механизм внимания также проявил себя в LLM (большая языковая модель). Однако из-за вычислительных ограничений softmax процесс расчета MHA (Multi Head Attention) долгое время находился в состоянии серьезной привязки к памяти. Основываясь на математических характеристиках softmax, Flash Attention объединяет вычисление MHA в одном операторе и применяет стратегию обмена..