MTS AI и Сколтех: Детоксификатор языка

Основные статьи:

• Распознавание речи (технологии, рынок)
• Речевые технологии: на пути от распознавания к пониманию

2022: Представление детоксификатора

22 марта 2022 года компания MTS AI сообщила, что совместно со «Сколтехом» создала детоксификатор языка - ИИ-решение, которое распознает токсичные слова и выражения, а затем удаляет их либо заменяет близкой по смыслу, но не оскорбительной лексикой. Это решение позволяет сохранить смысл фразы и снизить градус агрессии в общении. Детоксификатор можно использовать не только в социальных сетях, но и в общении с голосовыми помощниками, чат- и войс-ботами.

Примеры замены лексики с помощью детоксификатора

«Интернет – источник информации, не только достаточно большой и доступный, но и стихийно развивающийся. Контент создают сами пользователи, поэтому проблема безопасного и нетоксичного общения всегда актуальна. Споры в комментариях часто перерастают в оскорбления, пользователи «на эмоциях» выражают своё мнение в грубой форме, ведь написать и отправить текст - дело нескольких секунд. Скорость генерации контента настолько высока, что невозможно качественно фильтровать его вручную. Часто социальные сети просто блокируют оскорбительные высказывания. Наше решение позволяет не просто удалять сообщения или банить пользователей, а предлагать замену текста на более нейтральный, при этом не теряя сути сообщения», - сказала Ирина Кротова, старший разработчик в группе NLP MTS AI.

Разработка MTS AI и «Сколтеха» актуальна для российского рынка, поскольку большинство подобных решений предназначены для английского языка. Для русскоязычных пользователей подобных сервисов практически нет, а разработанные ранее решения, по утверждению компании, оказались неэффективными.Российский рынок облачных ИБ-сервисов только формируется 2.5 т

MTS AI и «Сколтех» предложили два типа моделей для создания ботов и приложений, которые убирают негативную лексику из речи. Первый подход использует языковую модель BERT, основанную на нейросетевой архитектуре «Трансформер». Модель осуществляет точечное редактирование текста – находит в нем негативные слова и выражения, заменяет их на нейтральные синонимы или вовсе удаляет.

Второй подход также основан на архитектуре «Трансформер», однако он решает другую задачу - условную генерацию текста по входному запросу. То есть языковая модель создает нейтральную версию токсичной фразы. Для академического соревнования была подготовлена модель детоксификации на основе языковой модели ruT5.

«В рамках данного проекта, совместно с коллегами из МТS AI удалось создать ряд технологий для детектирования и переписывания токсичного контента. Предложенные методы и модели могут быть использованы для предотвращения репутационных рисков компании (чат-бот, обученный на текстах из сети, может ответить токсично). Возможны и другие применения. Например, до отправления комментария пользователю может быть предложена менее токсичная формулировка его сообщения. В подобном сценарии использования, свобода выражения не страдает, но количество эмоционально написанных негативных комментариев может быть значительно сокращено. В результате данного сотрудничества кроме методов, моделей и наборов данных появилось немало научных статей, опубликованных совместным коллективом исследователей, инженеров и студентов из «Сколтеха» и МТС», - сказал Александр Панченко, PhD, старший преподаватель «Сколтеха» и руководитель совместной лаборатории «МТС-Сколтех».

Протестировать возможности детоксификатора языка можно самостоятельно. Например, просто обругать бота в мессенджере Telegram. Подробнее о методах и моделях, которые были использованы в рамках данного подхода, можно узнать в статье «Методы детоксификации текстов для русского языка», подготовленной специалистами MTS AI и «Сколтеха», а также на страничке совместной лаборатории «МТС-Сколтех» в области ИИ.