Spirit Character Engine - это инструмент разработки и SDK для создания выразительных, управляемых ИИ персонажей в контексте повествования. Они могут проявлять индивидуальность, эмоциональную выразительность и разговорную насыщенность. Технология работает следующим образом: вы передаете пользовательский ввод (будь то вводимый текст или разговорный естественный язык и даже жесты) в API, и Character Engine выберет наиболее значимый ответ - из модели знаний персонажа и информации о сюжете. . Затем он отправляет этот выбор в обратном вызове игровому движку, предоставляя вам информацию о выбранной реакции персонажа (в тексте), его эмоциональном состоянии и многом другом.
Учитывая это, легко интегрировать Character Engine с рядом опций для аудиовизуального представления с использованием сторонних инструментов. Быстрый и простой вариант, если вы хотите создать персонажа AR с некоторой анимацией и возможностью синхронизации губ, привязанной к речевому выводу персонажа, - это использовать Unity со следующим технологическим стеком:
Механизм персонажей Spirit + SALSA + RTVoice + ARCore + Unity
Начиная
- Чтобы начать работу с Unity и ARCore, вам потребуется последняя версия Unity (2017.2+) и Android 7+ SDK (уровень API 24 или выше). Дополнительную информацию об этом можно найти в официальном Кратком руководстве Google для Unity.
- Также скачайте ARCore SDK for Unity.
- Создайте новый проект Unity 3D и импортируйте файл .unitypackage ARCore SDK для Unity, щелкнув меню Активы ›Импортировать пакет› Пользовательский пакет, и импортируйте все, что есть в пакете Unity.
- Как только вы узнаете, где находится ваш проект на диске, экспортируйте его из инструмента разработки Character Engine, нажав кнопку «Экспорт» в меню. Сначала убедитесь, что в настройках вашего проекта установлен экспорт в папку StreamingAssets в вашем проекте Unity.
- Настройте свой проект для Character Engine в соответствии с инструкциями в документации Spirit - в настоящее время это ограниченный доступ для существующих бета-клиентов, но вы также можете подписаться на доступ к бета-версии сейчас.
5. Далее, остальную часть настройки ARCore можно найти здесь: https://developers.google.com/ar/reference/unity/
6. Наконец, интеграция SALSA выполняется быстро и легко - вы можете загрузить SALSA с RandomEyes с LipSync из Unity Asset Store.
7. Установите SALSA с RandomEyes в свой проект, импортировав из хранилища ресурсов прямо в свой проект.
8. Установите RT-Voice. Вы можете скачать его из Unity Asset Store здесь: https://www.assetstore.unity3d.com/en/#!/content/41068
9. Импортируйте SALSA с пакетом поддержки RandomEyes RT-Voice (Salsa_RTVoice). Выберите [Assets] - ›[Import Package] -› [Custom Package…], перейдите к файлу [Salsa-RTVoice_1.0.0.unitypackage] и нажмите [Open].
10. Настройте визуального персонажа с поддержкой SALSA 2D или SALSA 3D. Интеграция SALSA быстрая и простая - для SALSA 2D или SALSA 3D AudioSource просто нужно установить RTVoice (TTS) плагин GameObject / AudioSource. Об остальном позаботится SALSA.
Вот и все! Ниже демонстрируется работа этого технологического стека с очень быстро созданным проектом Character Engine.
Этот пример демонстрирует настройку персонажа, который визуализируется в AR, и обеспечивает надежную, но с низкой точностью анимацию и синхронизацию губ в качестве 2D-персонажа в мультяшном стиле.
Однако мы также поддерживаем многие другие типы аудиовизуального представления персонажей, например синхронизацию губ с высоким разрешением и лицевую анимацию. Фактически, наши предстоящие демоверсии, которые будут представлены на Game Developers Conference 2018, обращаются к этим и предоставляют отличные примеры. Если вы хотите связаться с нами, чтобы обсудить это, дайте нам знать: [email protected].
Spirit AI создает инструменты, которые сделают будущее цифровых взаимодействий лучше: как с виртуальными, так и с реальными людьми. Мы создаем Механизм персонажей для создания динамических импровизационных ИИ-персонажей и Союзник, инструмент для обнаружения и вмешательства в социальный ландшафт онлайн-сообществ, чтобы ограничить онлайн-доступ. домогательства или поощрение позитивного поведения.