TL; DR PyTorch Lightning используется некоторыми довольно интересными проектами сообщества, чтобы делать больше с ИИ. В этой серии статей я расскажу о некоторых из моих любимых проектов сообщества, которые вдохновляют меня делать больше с ИИ.
PyTorch Lighting - это легкая оболочка PyTorch для высокопроизводительных исследований искусственного интеллекта. PyTorch Lightning обеспечивает истинную гибкость за счет сокращения количества инженерных шаблонов и ресурсов, необходимых для реализации современного искусственного интеллекта. Организация кода PyTorch с помощью Lightning обеспечивает беспрепятственное обучение на нескольких графических процессорах, TPU, CPU и использование сложных для реализации передовых методов, таких как сегментирование модели и даже 16-битная точность без изменения кода.
1. Унитарная детоксикация
Detoxify предоставляет модели PyTorch Lightning для прогнозирования токсичных комментариев по всем трем задачам Jigsaw Toxic Comment, включая многоязычную задачу классификации токсичных комментариев.
2. МОЛЬБЕРТ
Молекулярные представления резко влияют на эффективность открытия нового кандидата в лекарство. MolBERT - это современная модель обучения представлению, основанная на современной языковой модели BERT для молекулярного представления, реализованной с помощью PyTorch Lightning. Подробности описаны в « Обучение молекулярной репрезентации с языковыми моделями и вспомогательными задачами, относящимися к предметной области », представленным на семинаре Машинное обучение для молекул @ NeurIPS 2020.
3. AI2 Longformer
Longformer - это модель преобразователя с механизмом внимания, который линейно масштабируется с длиной последовательности, что упрощает обработку документов, состоящих из тысяч токенов и более, для достижения самых современных результатов на WikiHop и TriviaQA. AI2 использует PyTorch Lightning для обеспечения распределенного обучения на графических процессорах и TPU, а также для дополнительного 16-битного точного обучения.
4. Изучение шахмат вслепую: оценка языковых моделей с помощью отслеживания состояния мира
Обнаружение этого драгоценного камня после запойного просмотра Queens Gambit на Netflix - хороший способ завершить этот список. Этот репозиторий предоставляет PyTorch Lightning реализацию модели Transformer Language для шахмат с записными книжками Colab. Стоит проверить следующий Chess Bot.
Вот и все, четыре потрясающих проекта NLP PyTorch Lightning, которыми можно вдохновиться. Если вы чувствуете, что я пропустил интересный комментарий проекта PyTorch Lightning NLP ниже, я его проверю!
Следующие шаги
Пока вы здесь, если вы когда-либо хотели масштабировать свое обучение PyTorch Lightning со своего ноутбука в облако без изменения единственной строчки кода, обязательно ознакомьтесь с grid.ai, который в настоящее время находится в раннем доступе. Вы можете зарегистрироваться в листе ожидания по ссылке ниже.
Мы также всегда ищем более талантливых людей, чтобы присоединиться к команде Lightning. Лучший способ привлечь внимание - это внести свой вклад и отправить свое резюме по электронной почте на адрес [email protected]!
об авторе
Аарон (Ари) Борнштейн - исследователь искусственного интеллекта, увлеченный историей, занимающийся новыми технологиями и вычислительной медициной. В качестве главы отдела защиты разработчиков в Grid.ai он сотрудничает с сообществом машинного обучения, чтобы решать реальные проблемы с помощью технологий, меняющих правила игры, которые затем документируются, публикуются в открытом доступе и передаются остальному миру.
