TL; DR PyTorch Lightning используется некоторыми довольно интересными проектами сообщества, чтобы делать больше с ИИ. В этой серии статей я расскажу о некоторых из моих любимых проектов сообщества, которые вдохновляют меня делать больше с ИИ.
PyTorch Lighting - это легкая оболочка PyTorch для высокопроизводительных исследований искусственного интеллекта. PyTorch Lightning обеспечивает истинную гибкость за счет сокращения количества инженерных шаблонов и ресурсов, необходимых для реализации современного искусственного интеллекта. Организация кода PyTorch с помощью Lightning обеспечивает беспрепятственное обучение на нескольких графических процессорах, TPU, CPU и использование сложных для реализации передовых методов, таких как сегментирование модели и даже с 16-битной точностью без изменения кода.
1. Титры с разреженными изображениями с помощью Transformer
В этом замечательном репозитории представлен пример реализации моделей заголовков изображений Up-Down LSTM и Object Relation Transformer, разработанных с использованием PyTorch Lighting. Репо предоставляет несколько действительно крутых передовых практик обрезки моделей, таких как неструктурированная обрезка веса, постепенная обрезка, однократная обрезка лотерейных билетов и однократная обрезка сети (SNIP).
2. Решение Zindi CGIAR для этапа роста пшеницы, первое место
Страхование на основе изображений (PBI), при котором изображения с камеры смартфона фиксируют рост урожая и фиксируют любые случаи ущерба, которые повлияют на страховые выплаты, улучшает страхование урожая для мелких фермеров по всему миру. PBI позволяет страховщикам проверять и контролировать рост сельскохозяйственных культур, но также может генерировать огромные объемы данных после того, как изображения поступают от тысяч фермеров.
Задача Zindi CGIAR по выращиванию пшеницы заключается в оценке стадии роста урожая пшеницы на основе фотографий фермеров по шкале от 1 (урожай только отображается) до 7 (зрелый урожай). Победившее решение от Евгения Бабахина было разработано с помощью PyTorch Lightning.
3. Magic Leap ATLAS: комплексная реконструкция трехмерной сцены из поставленных изображений.
Atlas - это модель глубокого обучения, разработанная MagicLeap, которая восстанавливает трехмерную сцену из двухмерных монокулярных изображений. Атлас был разработан на основе PyTorch Lightning, что обеспечивает более четкое ведение журнала и распределенное обучение моделей.
4. Прогноз Covid в исследованиях Facebook
За последний год вирус COVID19 перевернул наш мир. Быстрое распространение случаев COVID-19 привело к нехватке ресурсов больниц, в результате чего возникла необходимость в быстрой и точной сортировке пациентов, поступающих в отделения неотложной помощи. Клинические данные, такие как рентген грудной клетки, можно использовать для прогнозирования того, какие пациенты подвержены наибольшему риску ухудшения состояния.
Эта работа, основанная на PyTorch Lightning компанией Facebook Research, представляет новую архитектуру на основе преобразователя, которая может обрабатывать последовательности нескольких изображений для прогнозирования, и показывает, что эта модель может достичь улучшенной AUC 0,786 для прогнозирования неблагоприятного события через 96 часов и AUC 0,848 для прогнозирования смертности через 96 часов.
Вот и все, четыре потрясающих проекта PyTorch Lightning для компьютерного зрения, которыми можно вдохновиться. Если вы считаете, что я пропустил интересный комментарий проекта сообщества компьютерного зрения PyTorch Lightning ниже, я его проверю!
Следующие шаги
Пока вы здесь, если вы когда-либо хотели масштабировать свое обучение PyTorch Lightning со своего ноутбука в облако без изменения единственной строчки кода, обязательно ознакомьтесь с grid.ai, который в настоящее время находится в раннем доступе. Вы можете зарегистрироваться в листе ожидания по ссылке ниже.
Мы также всегда ищем более талантливых людей, чтобы присоединиться к команде Lightning. Лучший способ привлечь внимание - это внести свой вклад и отправить свое резюме по электронной почте на адрес [email protected]!
об авторе
Аарон (Ари) Борнштейн - исследователь искусственного интеллекта, увлеченный историей, занимающийся новыми технологиями и вычислительной медициной. В качестве главы отдела защиты разработчиков в Grid.ai он сотрудничает с сообществом машинного обучения, чтобы решать реальные проблемы с помощью технологий, меняющих правила игры, которые затем документируются, публикуются в открытом доступе и передаются остальному миру.
