Pinferencia — это современный инструмент для развертывания ваших моделей с REST API и красивым пользовательским интерфейсом.

Установить зависимости

ОбниматьсяЛицо

pip install "transformers[pytorch]"

Если это не работает, посетите Установка (huggingface.co) и проверьте их официальную документацию.

Пинференсия

pip install "pinferencia[streamlit]"

Если это не работает, посетите и проверьте их официальную документацию.

Определить службу

Сохраните следующие коды в app.py :

Объяснение кодов:

Строка 1–7: импорт зависимостей.
Строка 9: Загрузите и инициализируйте модель Huggingface.
Строка 12–14. strong>: определите функцию для запуска прогноза.
Строки 17–18: инициализируйте сервер и зарегистрируйте модель.

Теперь давайте запустим службу

Запустить службу

Бегать:

pinfer app:service --reload

Дождитесь загрузки модели. Когда все будет готово, вы увидите в консоли следующее:

ваш браузер откроет страницу внешнего интерфейса, если нет, вы можете посетить http://127.0.0.1:8501:

Давайте попробуем изображение на странице:

Вы также можете включить режим отладки, чтобы проверить детализацию запроса и ответа:

Вы можете щелкнуть Backend API Doc в информации об отладке или перейти на http://127.0.0.1:8000, вы получите подробную документацию по API, и вы также можете попробовать API на этой странице:

Документация по API:

Детали API:

Попробуйте API:

Пинференсия

Если вы хотите узнать больше о Pinferencia, посетите: Главная | Гитхаб