Pinferencia — это современный инструмент для развертывания ваших моделей с REST API и красивым пользовательским интерфейсом.
Установить зависимости
ОбниматьсяЛицо
pip install "transformers[pytorch]"
Если это не работает, посетите Установка (huggingface.co) и проверьте их официальную документацию.
Пинференсия
pip install "pinferencia[streamlit]"
Если это не работает, посетите и проверьте их официальную документацию.
Определить службу
Сохраните следующие коды в app.py
:
Объяснение кодов:
Строка 1–7: импорт зависимостей.
Строка 9: Загрузите и инициализируйте модель Huggingface.
Строка 12–14. strong>: определите функцию для запуска прогноза.
Строки 17–18: инициализируйте сервер и зарегистрируйте модель.
Теперь давайте запустим службу
Запустить службу
Бегать:
pinfer app:service --reload
Дождитесь загрузки модели. Когда все будет готово, вы увидите в консоли следующее:
ваш браузер откроет страницу внешнего интерфейса, если нет, вы можете посетить http://127.0.0.1:8501:
Давайте попробуем изображение на странице:
Вы также можете включить режим отладки, чтобы проверить детализацию запроса и ответа:
Вы можете щелкнуть Backend API Doc в информации об отладке или перейти на http://127.0.0.1:8000, вы получите подробную документацию по API, и вы также можете попробовать API на этой странице:
Документация по API:
Детали API:
Попробуйте API:
Пинференсия
Если вы хотите узнать больше о Pinferencia, посетите: Главная | Гитхаб