Yandex Cloud SpeechSense

Основные статьи:

• Распознавание речи (технологии, рынок)
• Речевые технологии: на пути от распознавания к пониманию
• Нейросети (нейронные сети)

2024: Представление нейросети-эмпата

Нейросеть-эмпат от облачной платформы Yandex Cloud поможет бизнесу лучше понять эмоции клиентов. Об этом разработчик сообщил 11 марта 2024 года.

Алгоритм способен по голосу распознать эмоции человека во время диалога. Данная ML-модель уже может определить негатив, неформальные высказывания и нецензурную лексику, а также пол спикера и его фразы в диалоге. В будущем алгоритм заработает в связке с YandexGPT: вместе нейросети смогут распознать более сложные эмоции, в частности – сарказм.Надежная ИТ-инфраструктура для финтеха: как перевести на российский Kubernetes крупнейшую финансовую платформу 3 т

Нейросеть-эмпат разработана на базе технологии распознавания речи Yandex SpeechKit. С ее помощью компании смогут создавать голосовых помощников и виртуальных операторов колл-центров, которые умеют понимать человеческие эмоции. Это позволит бизнесу улучшить качество аналитики телефонных разговоров, а также лучше адаптировать работу колл-центров под каждого клиента и оперативно реагировать на внештатные ситуации во время диалога.

ML-модель работает в потоковом режиме – расшифровка и анализ эмоций происходит сразу во время разговора. Например, если абонент негативно общается с голосовым помощником, нейросеть может передать информацию об этом во внутреннюю систему заказчика, которая автоматически переключит его на сотрудника колл-центра. Если же оператор нагрубил клиенту, эта система оповестит менеджмент о проблемах во время разговора.

Алгоритм может определять эмоции не только по содержанию речи спикера, но и по голосу – по скорости речи, высоте,тембру и другим параметрам. Нейросеть также определяет пол участников разговора и поддерживает технологию speaker labeling – она отмечает, кому принадлежит та или иная реплика. Это позволяет полноценно работать с одноканальными звуковыми дорожками: например, при записи с диктофона или при технологических ограничениях виртуальной АТС. Кроме того, ML-модель расширяет возможности оффлайн-аналитики: данные от нейросети помогут понять, какие именно темы и формулировки от оператора вызывают негатив у клиента, и позволит оптимизировать сценарии коммуникации.

Вскоре новая модель заработает в сервисе речевой аналитики SpeechSense, который включает в себя технологии Yandex SpeechKit и интегрирован с генеративной нейросетью YandexGPT. Взаимодействие нескольких ML-моделей позволит распознать более сложные эмоции спикера – например, неуверенность или сарказм. Также нейросети смогут оценить, насколько оператор действительно погрузился в проблему клиента, пытался ли помочь решению или старался как можно быстрее завершить разговор.

При разработке ML-сервисов мы всегда учитываем обратную связь рынка. Один из запросов наших клиентов и партнеров – умение определять эмоции при распознавании речи. Теперь эта функция доступна каждому пользователю. В будущем в рамках сервиса речевой аналитики SpeechSense мы планируем значительно расширить список распознаваемых эмоций и дать возможность клиентам самим выбирать, какие эмоции им необходимо определять, – отметил руководитель ML-сервисов Yandex Cloud Василий Ершов.