Google Translatotron (ПО для перевода устной речи)

2021: Представление Translatotron 2

Google представила систему Translatotron 2, в которой решила проблему злоупотреблений путем сохранения оригинального голоса. Об этом стало известно 9 августа 2021 года.

Translatotron не просто переводил речь в режиме реального времени, а трансформировал голос говорящего таким образом, чтобы произносимые им слова на одном языке звучали на другом. Однако, несмотря на очевидные плюсы подобной технологии, у нее есть существенный недостаток. Поскольку система способна генерировать речь, сказанную разными голосами, ее могут использовать мошенники, в том числе для создания дипфейков.

Теперь Google представила систему Translatotron 2, в которой решила проблему возможных злоупотреблений путем сохранения оригинального голоса говорящего (голос перевода при этом отличается от голоса говорящего). Качество перевода и натуральное звучание речи также было улучшено благодаря уменьшению числа нежелательных помех, таких как невнятная речь и слишком длинные паузы между фразами. Кроме того, производительность Translatotron 2 намного выше по сравнению с оригинальной системой.

По словам специалистов, за последние несколько лет технологии преобразования голоса приобрели большую популярность. Эти технологии работают так эффективно, что даже автоматизированные системы не всегда могут отличить «живую» речь от модифицированной. В связи с этим необходимо сделать так, чтобы их нельзя было использовать во вред. Создатели Translation 2 надеются, что в случае успеха их проект может стать потенциальным прорывом в этой области^[1].

2019: Анонс

15 мая 2019 года Google представила инструмент для синхронного перевода устной речи с одного языка на другой. Технология получила название Translatotron.

Важной особенностью разработки стало то, что она позволяет переводить разговоры с сохранением голоса и интонации говорящего. При этом конвертация голоса в текст и обратно не производится, как в случае с «Google.Переводчиком». Translatotron пропускает этот этап и работает напрямую со звуком — система создаёт «слепок» исходной речи и преобразует её.

Архитектура Google Translatotron

Представленная Google нейросеть принимает спектрограмму — визуальное представленияечастот — исходной аудиозаписи с голосом и синтезирует спектрограмму с речью на другом языке. Затем алгоритм синтезирует аудиофайл. Такой метод позволяет существенно ускорить перевод устной речи, но к середине мая 2019 года точность ещё далека от совершенства.

Хотя наши результаты отстают от обычной каскадной системы, мы продемонстрировали возможность сквозного прямого преобразования речи в речь, — говорится на сайте Google.

При этом, по словам разработчиков, Translatotron обеспечивает более точный перевод, чем базовая каскадная модель, а также лучше обрабатывает имена собственные.

Синтезированный голос, правда, звучит несколько роботизированно, но схожесть с оригиналом все же большая. Прослушать образцы машинного перевода можно в блоге Google.^[2]Метавселенная ВДНХ 2.8 т

Специалисты Google проверили работу алгоритма с помощью BLEU-метода, при котором машинный перевод сравнивается с переводом, выполненным человеком. Они переводили устную речь с испанского на английский язык.

Translatotron может улучшить голосового помощника Google Assistant, который в мае 2019 года стал работать в 10 раз быстрее благодаря тому, что компания сократила рекуррентные нейронные сети и перенесла обработку речи на устройства.

Примечания