Нравится нам это или нет, но видеоконференции стали и останутся образом жизни. У всех нас разные мнения о звонках Zoom: некоторые используют возможность общаться с людьми по всему миру; некоторым трудно общаться из-за отсутствия языка тела; некоторые просыпаются за минуту до урока, чтобы отметиться.
Однако правда в одном: использование технологий в качестве средства общения позволяет добиться многих улучшений, которых мы не могли достичь при личной встрече. В компании Brightlight Health мы использовали эту возможность для разработки новых технологий видеоконференцсвязи, которые используют обработку естественного языка и анализ эмоций на лице, чтобы психиатры могли лучше понимать своих пациентов и помогать им в эфире.
Машинное обучение позволяет нам экономить время и повышать производительность за счет автоматизации задач. Всего десять лет назад машинам было бы сложно интерпретировать человеческие настроения с помощью видеозаписи - теперь мы можем сделать это довольно легко и использовать эти данные для автоматизации отчетов или впечатлений в зависимости от контекста видеозвонка.
Одноранговая зашифрованная видеоконференцсвязь с WebRTC
Я создал специальную платформу видеоконференцсвязи, которая доставляет видеоданные в одноранговой сети. То есть соединение устанавливается напрямую от одного браузера к другому, без предварительного сохранения в центральной базе данных и без риска кибератак.
С согласия каждого пользователя речевые данные и данные о настроениях пользователей в реальном времени записываются, интерпретируются и отправляются на сервер.
Обработка естественного языка (NLP) и интеллектуальные сводки
Обработка естественного языка - это искусство понимания и генерации языка посредством вычислений, часто включающих преобразование слов в матрицу чисел на основе таких факторов, как частота их появления в разделе, чтобы компьютеры могли затем выполнять с ними операции.
НЛП - это постоянно расширяющаяся область с множеством методов и приложений, но вот некоторые методы, которые мы использовали при создании инструмента видеоконференцсвязи с искусственным интеллектом.
Резюме извлекаемого текста
Учитывая расшифровку записи (которую можно получить с помощью библиотек преобразования речи в текст ML, таких как Google Speech и NLTK), извлекающее резюмирование может применяться для удаления определенных частей стенограммы, сохраняя только некоторые предложения, отражающие ключевые идеи. , отсюда и название extract.
Мы можем использовать экстрактивное обобщение, чтобы получить базовое резюме встречи терапевта и пациента.
Резюме абстрактного текста
Экстрактивное резюмирование обеспечивает твердое резюме стенограммы, но, поскольку в нем используются только предложения, которые уже есть в стенограмме, оно не всегда соответствует формату отчета о встрече.
В отличие от простого извлечения информации, абстрактное обобщение создает резюме с использованием новых слов. Это позволяет нам создавать индивидуальные отчеты о посещениях в форматах, необходимых терапевту.
Косинусное сходство
Мы также можем использовать ИИ для сбора данных и отслеживания состояния пациента. Косинусное сходство - это мера сходства между двумя ненулевыми векторами; в НЛП его можно использовать для определения сходства слов и фраз, например, сопоставив фразу «У меня был плохой день» с «Сегодня был ужасен».
Мы можем использовать косинусное сходство, чтобы сопоставить фразы или слова пациента с помеченными данными в нашей базе данных , чтобы выявить симптомы, осложнения и улучшения их психического здоровья.
Распознавание настроения лица
Большая часть человеческого общения происходит невербально; используя видеоданные из нашего приложения, мы можем использовать технологии распознавания изображений (включая API, такие как MorphCast) для получения точных данных о настроениях пользователей, участвующих в видеозвонке, в режиме реального времени.
Комбинация этих технологий предоставляет множество возможностей для точного сообщения о содержании видеоконференции, которую мы разрабатываем в Brightlight Health. В то время как перенос собраний в онлайн-режим закрыл двери для многих социальных и разговорных преимуществ традиционных собраний, возможность использовать технологии в этих видеозвонках откроет возможности для экспоненциального улучшения нашего рабочего процесса и эффективности, от медицинских консультаций до собеседований в аспирантуре.
Спасибо за чтение! Вы можете связаться со мной в LinkedIn или написать мне по адресу [email protected].
