Нет необходимости в дорогостоящем оборудовании или внутренних разработчиках для развертывания новейших и лучших моделей Transformer для классификации текста.

В этой статье мы обсудим, как реализовать модели классификации текста с помощью Hugging Face's Inference API. Люди часто испытывают затруднения при развертывании моделей Transformer, поскольку для правильной реализации требуется система со значительными знаниями в области вычислений и внутреннего программирования. С помощью API Hugging Face вы можете просто написать несколько строк кода и разрешить любому устройству использовать модели Transformer.

Hugging Face’s Model Hub позволяет любому загружать модели для всеобщего использования. Я предлагаю вам поискать, чтобы увидеть, загрузил ли кто-нибудь модель, соответствующую вашему варианту использования, прежде чем настраивать свою собственную. Например, доступно несколько моделей анализа настроений. Использование модели в Центре моделей Hugging Face вместо собственного обучения может сэкономить ваше время и деньги.

Прочтите эту статью, чтобы узнать, как загрузить свою собственную модель в Hugging Face’s Model Hub.

Реализация

Во-первых, перейдите на страницу, чтобы создать учетную запись Hugging Face. Затем вы можете выполнить поиск по классификации текста, перейдя на эту веб-страницу. В этом руководстве мы будем использовать одну из самых загружаемых моделей классификации текста под названием FinBERT, которая классифицирует тональность финансового текста.

После перехода на веб-страницу модели выберите «развернуть» в правом верхнем углу страницы и выберите «Ускоренный вывод».

Затем будет сгенерирован код, который вы можете скопировать в свою среду Python. Вот код, который был сгенерирован, когда я выполнил этот процесс.

Единственная библиотека, которую нам нужно установить, называется «запрос», который можно выполнить с помощью простой команды pip, как показано ниже.

pip install requests

Вот код, показанный выше, за исключением того, что я добавил комментарии, чтобы помочь объяснить его. Я также изменил ввод, чтобы он был более подходящим.

# the package we'll use to send an 
# HTTP request to Hugging Face's API import requests
import requests
# A URL to indicate which model we'll use. 
#If you visit it, the page displays information on the model.
API_URL = "https://api-inference.huggingface.co/models/ProsusAI/finbert"
# A dictionary that contains our private key.
# Be sure change this to include your own key. 
headers = {"Authorization": "PRIVATE"}
# A method that we'll call to run the model 
def query(payload):
 # Makes a request to Hugging Face's API  
 response = requests.post(API_URL, headers=headers, json=payload)
 return response.json()
    
output = query("Tesla's stock increased by 20% today!")
print(output)

Результат: [[{'label': 'положительный', 'score': 0,9411582946777344}, {'label': 'отрицательный »,' score ': 0,010023470968008041}, {' label ':' нейтральный ',' счет ': 0,0488181971013546}]]

Результатом является список списков, каждый из которых содержит словарь с полями «метка» и «оценка». Мы можем выделить этикетку и ее авторитетную оценку с помощью приведенного ниже кода.

print("Top label:", output[0][0]["label"]) 
print("Top score:", output[0][0]["score"])

Рекорд: 0,9411582946777344

Оценка составляет от 0 до 1, а сумма всех оценок равна 1.

Заключение

Вы только что узнали, как выполнять классификацию текста с помощью API Hugging Face. Таким образом, вам не нужно настраивать сервер или вкладывать средства в оборудование, чтобы использовать ваши любимые модели Transformer. Обязательно подпишитесь на мой список рассылки, а также на мой канал YouTube. Ниже пара ссылок на связанный контент, который я создал, и радуйтесь всем!

Классификация текста с помощью Happy Transformer

Вы хотите вместо этого запустить модель на собственном оборудовании? Затем ознакомьтесь с этим учебником о том, как реализовать модели классификации текста с помощью созданного мной пакета Python под названием Happy Transformer, который упрощает реализацию и обучение моделей Transformer.

Генерация текста с помощью API Hugging Face

Вот ссылка на статью, в которой описывается, как использовать API-интерфейс Hugging Face’s Inference для реализации GPT-Neo - версии GPT-3 с открытым исходным кодом.

Первоначально опубликовано на https://www.vennify.ai 8 октября 2021 г.