В последнее десятилетие не было абсолютно никакой AI Winter, со смещением вроде AlexNet (2012) к бреду GPT-3 (2020), AI как инновация действительно стартовал🚀.
Быстрое знакомство с графиком
В 2018 году Google предоставил BERT с открытым исходным кодом (B направленный E кодер R -презентации от T преобразователя), который стал довольно эталон в НЛП. Имеет 340M параметров. Позже, в 2019 году, OpenAI выпустила свой GPT-2 с параметрами 1500M. Кроме того, в 2020 году OpenAI анонсировала свою модель прогнозирования языка третьего поколения в серии GPT-n, GPT-3. Он имеет 175B параметров машинного обучения. да, вы не ослышались !! Я имею в виду, что в него включено огромное количество данных для вычислений и обучения. Если вы хотите увидеть несколько интересных экспериментов с GPT-3, перейдите по ссылке.
Итак, как МЫ использовать эти колоссальные сети для проведения экспериментов с нашими пользовательскими данными, поскольку их предварительное обучение было бы дорогостоящим в вычислительном отношении? Ответ - Трансферное обучение.
Создание текстовика AI с помощью GPT-2
Я большой поклонник ретро-песен на хинди, особенно Мохаммеда Рафи, Кишора Кумара, Мукеша Джи. Каждый раз удивляюсь, как переплетаются слова в песнях (жетоны 😁), рифмуются строки, так идеально повторяются строфы… ведь это ведь художественное мастерство лириков и певцов. И как практик НЛП, улавливание намерений, извлечение контекстной информации из текстовых данных - моя повседневная работа. Так что я подумал, как насчет хорошо разбирающейся модели GPT-2 выучить эту задачу по переплетению текстов и написать для нас несколько текстов? Звучит круто!? Хорошо, выстрел, давай попробуем.
- Подготовка данных. Для этого я просмотрел Интернет. Я взял текст на языке хинглиш, а текст в основном состоит из песен Кишора Кумара, Мохаммеда Рафи, Мукеша Кумара (Both Mix, синглы). Хотя обучающие выборки были небольшими, примерно 2500, но в том-то и дело, я просто хотел посмотреть, насколько хорошо GPT-2 может обобщать этот небольшой объем пользовательских данных. Ниже представлен фрейм данных после сканирования
После этого я сделал некоторую предварительную обработку (очевидно), чтобы уменьшить шум, после чего было создано два текстовых файла, то есть train.txt и eval.txt (сохраненные построчно мода).
2. Моделирование и обучение: SimpleTransformers (созданный на основе библиотеки Transformers Huggingface) - здесь спаситель. Это дает так много абстракции и скорости в использовании этих больших моделей в НЛП, и этот темп необходим, когда вы хотите сосредоточиться больше на исследованиях, чем на разработке (потому что он обрабатывает их все). Я настроил модель GPT-2 на моих пользовательских данных Hinglish с помощью всего нескольких строк кода.
Ниже приводится информация о тренировке:
а. Окружающая среда и инфраструктура: Блокнот Google Collab
б. Epoch: 5 (изначально я поставил 10 epoch, но ядро ноутбука collab вылетало, если вы специалист по данным или инженер машинного обучения, вы поняли, верно !? 😜)
c. Архитектура: gpt2-medium
3. Оценка. Потребовался 1 час для точной настройки модели на этом небольшом наборе данных. Я сделал деление 80/20 между обучением и тестированием. Lib создала файл eval_results.txt в конце процесса оценки. И эй !!!, мы довольно близко подошли к этому небольшому набору данных.
eval_loss = 3,159255956494531
недоумение = тензор (11,5531)
4. Вывод и обслуживание. Хотя этот шаг не требуется, но рекомендуется представлять результаты машинного обучения в пользовательском интерфейсе некоторых веб-приложений. И для этого я использовал streamlit (моя любимая библиотека как практикующего НЛП). давайте посмотрим, как наш автор текстов пишет песни на хинди 😋
Примечание. Здесь я указал атрибут max_length = 200.
Как видите, AI написал для вас несколько песен, некоторые из них действительно интересные, а некоторые также очень странные. Но я думаю, что с этим небольшим набором данных он проделал довольно приличную работу. Так что теперь все, что мне нужно, это музыкант, чтобы сочинить эти песни на хинди, созданные искусственным интеллектом 😎
Итак, это был мой эксперимент на выходных, и он действительно показал мощь искусственного интеллекта в обучении когнитивным навыкам. После этих результатов я думаю еще раз изучить эти модели. Буду очень рад, если AI напишет немного греческой философии;)
Спасибо за прочтение. Любые отзывы или предложения будут приветствоваться. Хорошего дня!
