Вы должны прочитать…
TensorFlow: крупномасштабное машинное обучение в гетерогенных распределенных системах
Команда Google
Абстрактный -
TensorFlow - это интерфейс для выражения алгоритмов машинного обучения и реализация для выполнения таких алгоритмов. Вычисления, выраженные с помощью TensorFlow, могут выполняться с небольшими изменениями или без изменений в большом количестве разнородных систем, от мобильных устройств, таких как телефоны и планшеты, до крупномасштабных распределенных систем из сотен машин и тысяч вычислительных устройств, таких как карты GPU. . Система является гибкой и может использоваться для выражения широкого спектра алгоритмов, включая алгоритмы обучения и логического вывода для моделей глубоких нейронных сетей, и она использовалась для проведения исследований и для развертывания систем машинного обучения в производстве более чем в десятке областей. информатика и другие области, включая распознавание речи, компьютерное зрение, робототехнику, поиск информации, обработку естественного языка, извлечение географической информации и компьютерное открытие лекарств. В этом документе описывается интерфейс TensorFlow и реализация этого интерфейса, который мы создали в Google.
Бумагу можно найти здесь:
Https://arxiv.org/pdf/1603.04467v2.pdf
Код можно найти здесь:
Scikit-learn: машинное обучение на Python
Авторы: Фабиан Педрегоса, Гаэль Вароко, Александр Грамфор, Винсент Мишель, Бертран Тирион, Оливье Гризель, Матье Блондель, Андреас Мюллер, Жоэль Нотман, Жиль Лупп, Петер Преттенхофер, Рон Вайс, Винсент Дубур, Матве Вандерплас, Александр Пассос Брюше, Матье Перро, Эдуар Дюшне
Абстрактный -
Scikit-learn - это модуль Python, объединяющий широкий спектр современных алгоритмов машинного обучения для средних контролируемых и неконтролируемых задач. Этот пакет ориентирован на предоставление машинного обучения неспециалистам с использованием универсального языка высокого уровня. Особое внимание уделяется простоте использования, производительности, документации и согласованности API. Он имеет минимальные зависимости и распространяется под упрощенной лицензией BSD, что позволяет использовать его как в академических, так и в коммерческих целях.
Бумагу можно найти здесь:
Https://arxiv.org/pdf/1201.0490v4.pdf
Код можно найти здесь:
PyTorch: императивный стиль, высокопроизводительная библиотека глубокого обучения
Авторы: Адам Пашке, Сэм Гросс, Франсиско Масса, Адам Лерер, Джеймс Брэдбери, Грегори Чанан, Тревор Киллин, Земинг Лин, Наталья Гимельшейн, Лука Антига, Альбан Десмезон, Андреас Копф, Эдвард Янг, Захари Девито, Мартин Рейсон, Алихан Теджани, Сасанк Чиламкурти, Бенуа Штайнер, Лу Фанг, Джунджи Бай, Сумит Чинтала
Что, если бы языками программирования были персонажи« ИГРЫ Престолов
Последний забавный… naina0412.medium.com»
Абстрактный -
Фреймворки глубокого обучения часто ориентированы либо на удобство использования, либо на скорость, но не на то и другое одновременно. PyTorch - это библиотека машинного обучения, которая показывает, что эти две цели на самом деле совместимы: она была разработана с учетом первых принципов для поддержки императивного и питонического стиля программирования, который поддерживает код в качестве модели, упрощает отладку и согласуется с другими научно-популярными вычислительными библиотеками. , оставаясь при этом эффективными и поддерживая аппаратные ускорители, такие как графические процессоры. В этой статье мы подробно рассказываем о принципах, которые привели к внедрению PyTorch, и о том, как они отражены в его архитектуре. Мы подчеркиваем, что каждый аспект PyTorch - это обычная программа Python, находящаяся под полным контролем пользователя. Мы также объясняем, как тщательная и прагматичная реализация ключевых компонентов среды выполнения позволяет им работать вместе для достижения непревзойденной производительности. Мы демонстрируем эффективность отдельных подсистем, а также общую скорость PyTorch на нескольких часто используемых тестах.
Бумагу можно найти здесь:
Код можно найти здесь:
Автоматическая дифференциация в PyTorch
Авторы: Адам Пашке, Сэм Гросс, Сумит Чинтала, Грегори Чанан, Эдвард Янг, Закари Де Вито, Земинг Линь, Албан Десмезон, Лука Антига, Адам Лерер
Абстрактный -
В этой статье мы описываем модуль автоматической дифференциации PyTorch - библиотеки, предназначенной для быстрого исследования моделей машинного обучения. Он основан на нескольких проектах, в первую очередь Lua Torch, Chainer и HIPS Autograd, и обеспечивает высокопроизводительную среду с легким доступом к автоматическому различению моделей, выполняемых на разных устройствах (CPU и GPU). Чтобы упростить создание прототипов, PyTorch не следует символическому подходу, используемому во многих других средах глубокого обучения, а фокусируется на дифференциации чисто императивных программ с акцентом на расширяемость и низкие накладные расходы.
Бумагу можно найти здесь:
Https://openreview.net/pdf?id=BJJsrmfCZ
Код можно найти здесь:
Адаптация движка Tesseract с открытым исходным кодом OCR для многоязычного распознавания текста
Рэй Смит, Дарья Антонова, Дар-Шян Ли
Абстрактный -
Мы описываем усилия по адаптации механизма распознавания текста с открытым исходным кодом Tesseract для нескольких скриптов и языков. Усилия были сосредоточены на обеспечении универсальной многоязычной работы, так что для нового языка требуется незначительная настройка, помимо предоставления корпуса текста. Хотя потребовались изменения в различных модулях, включая анализ физического макета и лингвистическую постобработку, никаких изменений в классификаторе символов не потребовалось, кроме изменения нескольких ограничений. Классификатор Tesseract легко адаптировался к упрощенному китайскому языку. Результаты тестов по английскому языку, смеси европейских языков и русского, взятые из случайной выборки книг, показывают достаточно стабильную частоту ошибок в словах от 3,72% до 5,78%, а в упрощенном китайском языке коэффициент ошибок по символам составляет всего 3,77%.
Бумагу можно найти здесь:
Https://ai.google/research/pubs/pub35248.pdf
Код можно найти здесь:
Caffe: сверточная архитектура для быстрого встраивания функций
Авторы: Янцин Цзя, Эван Шелхамер, Джефф Донахью, Сергей Караев, Джонатан Лонг, Росс Гиршик, Серхио Гвадаррама, Тревор Даррелл
Абстрактный -
Caffe предоставляет ученым и практикам в области мультимедиа чистую и изменяемую структуру для современных алгоритмов глубокого обучения и коллекцию эталонных моделей. Фреймворк представляет собой лицензированную BSD библиотеку C ++ с привязками Python и MATLAB для обучения и эффективного развертывания сверточных нейронных сетей общего назначения и других глубоких моделей на стандартных архитектурах. Caffe удовлетворяет потребности отрасли и интернет-медиа с помощью вычислений на графическом процессоре CUDA, обрабатывая более 40 миллионов изображений в день на одном графическом процессоре K40 или Titan (≈ ≈ 2,5 мс на изображение). Отделив представление модели от фактической реализации, Caffe позволяет экспериментировать и плавно переключаться между платформами для простоты разработки и развертывания от машин прототипирования до облачных сред. Caffe поддерживается и развивается Berkeley Vision and Learning Center (BVLC) с помощью активного сообщества участников на GitHub. Он поддерживает текущие исследовательские проекты, крупномасштабные промышленные приложения и запускаемые прототипы в области компьютерного зрения, речи и мультимедиа.
Бумагу можно найти здесь:
Https://arxiv.org/pdf/1408.5093v1.pdf
Код можно найти здесь:
Начитанные студенты учатся лучше: о важности предварительного обучения компактных моделей
Юлия Турц, Минг-Вей Чанг, Кентон Ли, Кристина Тутанова
Абстрактный -
Недавние разработки в области представлений на естественном языке сопровождались большими и дорогостоящими моделями, которые используют огромные объемы текста общей предметной области посредством самостоятельного предварительного обучения. Из-за стоимости применения таких моделей к последующим задачам было предложено несколько методов сжатия моделей для предварительно обученных языковых представлений (Sun et al., 2019; Sanh, 2019). Однако, что удивительно, простая основа, состоящая только в предварительном обучении и точной настройке компактных моделей, была упущена. В этой статье мы сначала показываем, что предварительное обучение остается важным в контексте небольших архитектур, а точная настройка предварительно обученных компактных моделей может быть конкурентоспособной по сравнению с более сложными методами, предлагаемыми в параллельной работе. Начиная с предварительно обученных компактных моделей, мы затем исследуем перенос знаний о задачах из больших, точно настроенных моделей посредством стандартной дистилляции знаний. Получившийся простой, но эффективный и общий алгоритм Pre-обученной дистилляции вносит дополнительные улучшения. С помощью обширных экспериментов мы в более общем плане исследуем взаимодействие между предварительным обучением и дистилляцией по двум малоизученным переменным: размер модели и свойства немаркированных данных задачи. Одно удивительное наблюдение заключается в том, что они имеют сложный эффект даже при последовательном применении одних и тех же данных. Чтобы ускорить дальнейшие исследования, мы сделаем наши 24 предварительно обученных миниатюрных модели BERT общедоступными.
Бумагу можно найти здесь:
Https://arxiv.org/pdf/1908.08962v2.pdf
Код можно найти здесь:
FastText.zip: Сжатие моделей классификации текста
Авторы: Арман Жулен, Эдуард Граве, Петр Бояновски, Маттейс Дуз, Эрве Жегу, Томаш Миколов
Абстрактный -
Мы рассматриваем проблему создания компактных архитектур для классификации текста, в которых полная модель умещается в ограниченном объеме памяти. После рассмотрения различных решений, вдохновленных литературой по хешированию, мы предлагаем метод, основанный на квантовании продукта для хранения встраиваемых слов. Хотя оригинальный метод приводит к потере точности, мы адаптируем этот метод, чтобы избежать артефактов квантования. Наши эксперименты, проведенные на нескольких тестах, показывают, что наш подход обычно требует на два порядка меньше памяти, чем fastText, но лишь немного уступает по точности. В результате он с большим отрывом превосходит современные достижения с точки зрения компромисса между использованием памяти и точностью.
Бумагу можно найти здесь:
Https://arxiv.org/pdf/1612.03651v1.pdf
Код можно найти здесь:
Набор хитростей для эффективной классификации текста
Арман Жулен Эдуард Граве, Петр Бояновски, Томаш Миколов
Абстрактный -
В этой статье исследуется простая и эффективная базовая линия для классификации текста. Наши эксперименты показывают, что наш быстрый текстовый классификатор fastText часто не уступает классификаторам глубокого обучения с точки зрения точности и на много порядков быстрее для обучения и оценки. Мы можем обучить fastText более чем одному миллиарду слов менее чем за десять минут, используя стандартный многоядерный процессор, и классифицировать полмиллиона предложений среди ~ 312K классов менее чем за минуту.
Бумагу можно найти здесь:
Https://arxiv.org/pdf/1607.01759v3.pdf
Код можно найти здесь:
Обогащение векторов слов информацией о подсловах
Авторы: Петр Бояновски, Эдуард Граве, Арман Жулен, Томаш Миколов
Абстрактный -
Непрерывные представления слов, обученные на больших непомеченных корпусах, полезны для многих задач обработки естественного языка. Популярные модели, которые изучают такие представления, игнорируют морфологию слов, присваивая каждому слову отдельный вектор. Это ограничение, особенно для языков с большим словарным запасом и большим количеством редких слов. В этой статье мы предлагаем новый подход, основанный на модели skipgram, где каждое слово представлено в виде набора символов nn-граммов. Векторное представление связано с каждым символом nn-грамм; слова, представленные как сумма этих представлений. Наш метод является быстрым, позволяет быстро обучать модели на больших корпусах и позволяет нам вычислять представления слов для слов, которые не присутствовали в обучающих данных. Мы оцениваем наши представления слов на девяти разных языках, как по задачам сходства слов, так и по аналогии. Сравнивая с недавно предложенными морфологическими представлениями слов, мы показываем, что наши векторы достигают высочайшего уровня производительности при решении этих задач.
Бумагу можно найти здесь:
Https://arxiv.org/pdf/1607.04606v2.pdf
Код можно найти здесь:
OpenAI Gym
Грег Брокман, Вики Чунг, Людвиг Петтерссон, Йонас Шнайдер, Джон Шульман, Джи Тан, Войцех Заремба
Абстрактный -
OpenAI Gym - это набор инструментов для исследования обучения с подкреплением. Он включает в себя растущую коллекцию тестовых задач, предоставляющих общий интерфейс, и веб-сайт, на котором люди могут делиться своими результатами и сравнивать производительность алгоритмов. В этом техническом документе обсуждаются компоненты OpenAI Gym и дизайнерские решения, которые были включены в программное обеспечение.
Бумагу можно найти здесь:
Https://arxiv.org/pdf/1606.01540v1.pdf
Код можно найти здесь:
XGBoost: масштабируемая система повышения качества дерева
Авторы: Тианки Чен, Карлос Гестрин
Абстрактный -
Улучшение деревьев - это высокоэффективный и широко используемый метод машинного обучения. В этой статье мы описываем масштабируемую систему сквозного бустинга дерева под названием XGBoost, которая широко используется специалистами по обработке данных для достижения самых современных результатов при решении многих задач машинного обучения. Мы предлагаем новый алгоритм с учетом разреженности для разреженных данных и набросок взвешенных квантилей для приблизительного изучения дерева. Что еще более важно, мы предоставляем информацию о шаблонах доступа к кешу, сжатии данных и сегментировании для создания масштабируемой системы повышения дерева. Объединив эти идеи, XGBoost выходит за рамки миллиардов примеров, используя гораздо меньше ресурсов, чем существующие системы.
Бумагу можно найти здесь:
Https://arxiv.org/pdf/1603.02754v3.pdf
Код можно найти здесь:
MXNet: гибкая и эффективная библиотека машинного обучения для гетерогенных распределенных систем
Авторы: Тяньци Чен, Му Ли, Юйтянь Ли, Мин Линь, Найян Ван, Минцзе Ван, Тяньцзюнь Сяо, Бин Сю, Чиюань Чжан, Чжэн Чжан
Абстрактный -
MXNet - это многоязычная библиотека машинного обучения (ML), которая упрощает разработку алгоритмов машинного обучения, особенно для глубоких нейронных сетей. Встроенный в основной язык, он сочетает декларативное символьное выражение с императивным вычислением тензора. Он предлагает автоматическую дифференциацию для получения градиентов. MXNet обеспечивает эффективные вычисления и память и работает в различных гетерогенных системах, от мобильных устройств до распределенных кластеров графических процессоров. В этом документе описывается как дизайн API, так и системная реализация MXNet, а также объясняется, как встраивание как символьного выражения, так и тензорной операции обрабатывается унифицированным образом. Наши предварительные эксперименты показывают многообещающие результаты в крупномасштабных приложениях глубокой нейронной сети с использованием нескольких компьютеров с графическими процессорами.
Бумагу можно найти здесь:
Https://arxiv.org/pdf/1512.01274v1.pdf
Код можно найти здесь:
Сверхвысокое разрешение изображения с использованием глубоких сверточных сетей
Авторы: Чао Дун, Чен Чейндж Лой, Каймин Хэ, Сяоу Тан
Абстрактный -
Мы предлагаем метод глубокого обучения для сверхвысокого разрешения (SR) одного изображения. Наш метод непосредственно изучает сквозное сопоставление изображений с низким и высоким разрешением. Отображение представлено в виде глубокой сверточной нейронной сети (CNN), которая принимает изображение с низким разрешением в качестве входных данных и выводит изображение с высоким разрешением. Далее мы показываем, что традиционные методы SR на основе разреженного кодирования также можно рассматривать как глубокую сверточную сеть. Но в отличие от традиционных методов, которые обрабатывают каждый компонент отдельно, наш метод совместно оптимизирует все слои. Наша глубокая CNN имеет легкую структуру, но при этом демонстрирует самое современное качество восстановления и обеспечивает высокую скорость для практического использования в интерактивном режиме. Мы исследуем различные структуры сети и настройки параметров, чтобы добиться компромисса между производительностью и скоростью. Более того, мы расширяем нашу сеть, чтобы работать с тремя цветовыми каналами одновременно и показывать лучшее общее качество реконструкции.
Бумагу можно найти здесь:
Https://arxiv.org/pdf/1501.00092v3.pdf
Код можно найти здесь:
YOLOv4: Оптимальная скорость и точность обнаружения объектов
Автор: Алексей Бочковский, Цзянь-Яо Ван, Хун-Юань Марк Ляо
Абстрактный -
Существует огромное количество функций, которые, как говорят, улучшают точность сверточной нейронной сети (CNN). Требуется практическая проверка комбинаций таких функций на больших наборах данных и теоретическое обоснование результата. Некоторые функции работают исключительно с определенными моделями и исключительно для определенных задач или только для небольших наборов данных; в то время как некоторые функции, такие как пакетная нормализация и остаточные соединения, применимы к большинству моделей, задач и наборов данных. Мы предполагаем, что такие универсальные функции включают взвешенные остаточные соединения (WRC), межэтапные частичные соединения (CSP), кросс-мини-пакетную нормализацию (CmBN), самосостязательное обучение (SAT) и активацию мишени. Мы используем новые функции: WRC, CSP, CmBN, SAT, активацию Mish, увеличение данных Mosaic, CmBN, регуляризацию DropBlock и потерю CIoU, а также объединяем некоторые из них для достижения современных результатов: 43,5% AP (65,7 % AP50) для набора данных MS COCO со скоростью ~ 65 кадров в секунду на Tesla V100.
Бумагу можно найти здесь:
Https://arxiv.org/pdf/2004.10934v1.pdf
Код можно найти здесь:
Ссылки и кредиты -
