Spirit Character Engine - это инструмент разработки и SDK для создания выразительных, управляемых ИИ персонажей в контексте повествования. Они могут проявлять индивидуальность, эмоциональную выразительность и разговорную насыщенность. Технология работает следующим образом: вы передаете пользовательский ввод (будь то вводимый текст или разговорный естественный язык и даже жесты) в API, и Character Engine выберет наиболее значимый ответ - из модели знаний персонажа и информации о сюжете. . Затем он отправляет этот выбор в обратном вызове игровому движку, предоставляя вам информацию о выбранной реакции персонажа (в тексте), его эмоциональном состоянии и многом другом.

Учитывая это, легко интегрировать Character Engine с рядом опций для аудиовизуального представления с использованием сторонних инструментов. Быстрый и простой вариант, если вы хотите создать персонажа AR с некоторой анимацией и возможностью синхронизации губ, привязанной к речевому выводу персонажа, - это использовать Unity со следующим технологическим стеком:

Механизм персонажей Spirit + SALSA + RTVoice + ARCore + Unity

Начиная

  1. Чтобы начать работу с Unity и ARCore, вам потребуется последняя версия Unity (2017.2+) и Android 7+ SDK (уровень API 24 или выше). Дополнительную информацию об этом можно найти в официальном Кратком руководстве Google для Unity.
  2. Также скачайте ARCore SDK for Unity.
  3. Создайте новый проект Unity 3D и импортируйте файл .unitypackage ARCore SDK для Unity, щелкнув меню Активы ›Импортировать пакет› Пользовательский пакет, и импортируйте все, что есть в пакете Unity.
  4. Как только вы узнаете, где находится ваш проект на диске, экспортируйте его из инструмента разработки Character Engine, нажав кнопку «Экспорт» в меню. Сначала убедитесь, что в настройках вашего проекта установлен экспорт в папку StreamingAssets в вашем проекте Unity.
  5. Настройте свой проект для Character Engine в соответствии с инструкциями в документации Spirit - в настоящее время это ограниченный доступ для существующих бета-клиентов, но вы также можете подписаться на доступ к бета-версии сейчас.

5. Далее, остальную часть настройки ARCore можно найти здесь: https://developers.google.com/ar/reference/unity/

6. Наконец, интеграция SALSA выполняется быстро и легко - вы можете загрузить SALSA с RandomEyes с LipSync из Unity Asset Store.

7. Установите SALSA с RandomEyes в свой проект, импортировав из хранилища ресурсов прямо в свой проект.

8. Установите RT-Voice. Вы можете скачать его из Unity Asset Store здесь: https://www.assetstore.unity3d.com/en/#!/content/41068

9. Импортируйте SALSA с пакетом поддержки RandomEyes RT-Voice (Salsa_RTVoice). Выберите [Assets] - ›[Import Package] -› [Custom Package…], перейдите к файлу [Salsa-RTVoice_1.0.0.unitypackage] и нажмите [Open].

10. Настройте визуального персонажа с поддержкой SALSA 2D или SALSA 3D. Интеграция SALSA быстрая и простая - для SALSA 2D или SALSA 3D AudioSource просто нужно установить RTVoice (TTS) плагин GameObject / AudioSource. Об остальном позаботится SALSA.

Вот и все! Ниже демонстрируется работа этого технологического стека с очень быстро созданным проектом Character Engine.

Этот пример демонстрирует настройку персонажа, который визуализируется в AR, и обеспечивает надежную, но с низкой точностью анимацию и синхронизацию губ в качестве 2D-персонажа в мультяшном стиле.

Однако мы также поддерживаем многие другие типы аудиовизуального представления персонажей, например синхронизацию губ с высоким разрешением и лицевую анимацию. Фактически, наши предстоящие демоверсии, которые будут представлены на Game Developers Conference 2018, обращаются к этим и предоставляют отличные примеры. Если вы хотите связаться с нами, чтобы обсудить это, дайте нам знать: [email protected].

Spirit AI создает инструменты, которые сделают будущее цифровых взаимодействий лучше: как с виртуальными, так и с реальными людьми. Мы создаем Механизм персонажей для создания динамических импровизационных ИИ-персонажей и Союзник, инструмент для обнаружения и вмешательства в социальный ландшафт онлайн-сообществ, чтобы ограничить онлайн-доступ. домогательства или поощрение позитивного поведения.