Нет необходимости в дорогостоящем оборудовании или внутренних разработчиках для развертывания новейших и лучших моделей Transformer для классификации текста.
В этой статье мы обсудим, как реализовать модели классификации текста с помощью Hugging Face's Inference API. Люди часто испытывают затруднения при развертывании моделей Transformer, поскольку для правильной реализации требуется система со значительными знаниями в области вычислений и внутреннего программирования. С помощью API Hugging Face вы можете просто написать несколько строк кода и разрешить любому устройству использовать модели Transformer.
Hugging Face’s Model Hub позволяет любому загружать модели для всеобщего использования. Я предлагаю вам поискать, чтобы увидеть, загрузил ли кто-нибудь модель, соответствующую вашему варианту использования, прежде чем настраивать свою собственную. Например, доступно несколько моделей анализа настроений. Использование модели в Центре моделей Hugging Face вместо собственного обучения может сэкономить ваше время и деньги.
Прочтите эту статью, чтобы узнать, как загрузить свою собственную модель в Hugging Face’s Model Hub.
Реализация
Во-первых, перейдите на страницу, чтобы создать учетную запись Hugging Face. Затем вы можете выполнить поиск по классификации текста, перейдя на эту веб-страницу. В этом руководстве мы будем использовать одну из самых загружаемых моделей классификации текста под названием FinBERT, которая классифицирует тональность финансового текста.
После перехода на веб-страницу модели выберите «развернуть» в правом верхнем углу страницы и выберите «Ускоренный вывод».
Затем будет сгенерирован код, который вы можете скопировать в свою среду Python. Вот код, который был сгенерирован, когда я выполнил этот процесс.
Единственная библиотека, которую нам нужно установить, называется «запрос», который можно выполнить с помощью простой команды pip, как показано ниже.
pip install requests
Вот код, показанный выше, за исключением того, что я добавил комментарии, чтобы помочь объяснить его. Я также изменил ввод, чтобы он был более подходящим.
# the package we'll use to send an # HTTP request to Hugging Face's API import requests import requests # A URL to indicate which model we'll use. #If you visit it, the page displays information on the model. API_URL = "https://api-inference.huggingface.co/models/ProsusAI/finbert" # A dictionary that contains our private key. # Be sure change this to include your own key. headers = {"Authorization": "PRIVATE"} # A method that we'll call to run the model def query(payload): # Makes a request to Hugging Face's API response = requests.post(API_URL, headers=headers, json=payload) return response.json() output = query("Tesla's stock increased by 20% today!") print(output)
Результат: [[{'label': 'положительный', 'score': 0,9411582946777344}, {'label': 'отрицательный »,' score ': 0,010023470968008041}, {' label ':' нейтральный ',' счет ': 0,0488181971013546}]]
Результатом является список списков, каждый из которых содержит словарь с полями «метка» и «оценка». Мы можем выделить этикетку и ее авторитетную оценку с помощью приведенного ниже кода.
print("Top label:", output[0][0]["label"])
print("Top score:", output[0][0]["score"])
Рекорд: 0,9411582946777344
Оценка составляет от 0 до 1, а сумма всех оценок равна 1.
Заключение
Вы только что узнали, как выполнять классификацию текста с помощью API Hugging Face. Таким образом, вам не нужно настраивать сервер или вкладывать средства в оборудование, чтобы использовать ваши любимые модели Transformer. Обязательно подпишитесь на мой список рассылки, а также на мой канал YouTube. Ниже пара ссылок на связанный контент, который я создал, и радуйтесь всем!
Классификация текста с помощью Happy Transformer
Вы хотите вместо этого запустить модель на собственном оборудовании? Затем ознакомьтесь с этим учебником о том, как реализовать модели классификации текста с помощью созданного мной пакета Python под названием Happy Transformer, который упрощает реализацию и обучение моделей Transformer.
Генерация текста с помощью API Hugging Face
Вот ссылка на статью, в которой описывается, как использовать API-интерфейс Hugging Face’s Inference для реализации GPT-Neo - версии GPT-3 с открытым исходным кодом.
Первоначально опубликовано на https://www.vennify.ai 8 октября 2021 г.