Содержание |
Введение
У TAdviser особое отношение к продуктам компании PROMT. В 2019 TAdviser и PROMT запустили совместный проект по созданию англоязычного портала www.tadviser.com, где весь контент сайта www.tadviser.ru переводится с русского языка на английский с помощью технологий машинного перевода PROMT. В течение первых двух лет перевод осуществлялся на основе RBMT-технологии (PROMT Rule-based Machine Translation – машинный перевод, основанный на правилах) – она обеспечивала перевод, достаточный для понимания смысла, но сохраняла «машинный акцент» в текстах. С начала 2021 года на портале заработала NMT-технология (PROMT Neural Machine Translation – нейросетевой машинный перевод), которая обеспечивает качество перевода, сопоставимое с переводом, выполненным человеком.
Автоматический (машинный) перевод в рамках этого проекта осуществляется с помощью серверного продукта PROMT Neural Translation Server, работающего в облаке. Именно это решение TAdviser взял для экспертного тестирования, но оценивал его для использования в локальной сети или закрытом контуре. Это связано с тем, что основные заказчики программ для машинного перевода компании - это коммерческие и государственные структуры, для которых принципиален вопрос обеспечения конфиденциальности при переводе корпоративной информации. С учетом этого условия подобраны и сценарии тестирования.
Сценарии тестирования
Для тестирования мы выделили два типа использования автоматического перевода и сформулировали ожидания пользователей по каждому из них.
Первый сценарий – это перевод текста или документа на русский язык для понимания его смысла. Эта задача регулярно возникает у пользователей, работающих с материалами на иностранных языках, такими как бизнес-переписка с зарубежными партнерами, финансовые и юридические документы из других стран, научные статьи и публикации на иностранных языках, техническая документация и т.д. Пользователь при этом может быть кем угодно (ИТ-специалистом, менеджером, госслужащим, научным сотрудником, экспертом в определенной предметной области, юристом, инженером), но требования к автоматическому переводу для понимания смысла одинаковы у всех пользователей. Прежде всего, ожидается высокое базовое качество перевода с точной передачей смысла оригинала и сохранением сущностей (имен, дат, географических названий, аббревиатур, названий продуктов). Кроме того, пользователям хотелось бы получать перевод в той среде, в которой они работают с текстом, не тратя время на копирование и вставку текста в приложение. Пользователям, работающим с документами на иностранных языках, также нужен перевод документа целиком с сохранением оригинального форматирования.Михаил Садиров, SMART technologies: На тестирование мультивендорных решений есть спрос 
Второй сценарий, который мы также считаем важным и востребованным среди пользователей – это автоматический перевод для дальнейшего постредактирования. Обычно эта задача возникает тогда, когда нужно подготовить текст или документ для иностранного адресата в сжатые сроки. В такой ситуации можно перевести имеющийся текст с русского языка на язык читателя средствами автоматического перевода, а затем обязательно проверить получившийся перевод и скорректировать принципиальные неточности. При таком сценарии использования, от автоматического перевода ожидают высокое качество перевода, чтобы на его редактирование уходило меньше времени, чем на перевод текста «с нуля».
Еще один аспект, который мы выделили для рассмотрения – это возможность пользователя влиять на качество автоматического перевода, заявленная разработчиками PROMT. Обучение нейронной модели для повышения качества перевода – это узкоспециализированная задача, которую мы сознательно оставили за рамками нашего тестирования. Однако возможность точечной коррекции отдельных терминов средствами пользовательского словаря мы решили проверить на практике.
Выбор конфигурации ПО для тестирования
Для тестирования была выбрана серверная версия переводчика PROMT (продукт PROMT Neural Translation Server), предоставляющая возможность многопользовательской работы через сервер внутри компании без передачи переводимых текстов в интернет.
C учетом требований по использованию отечественного ПО в российских организациях в качестве программной среды для серверной части решения PROMT была выбрана операционная система Astra Linux Common Edition, версия 2.12. В системных требованиях Linux-версии PROMT Neural Translation Server была заявлена совместимость с данной ОС, а также возможность работы сервера в двух режимах - CPU (средствами центрального процессора на сервере) и GPU (средствами видеокарты на сервере). Для режима GPU декларировалась существенно большая скорость перевода по сравнению с режимом CPU, но в рамках данного тестирования мы решили ограничиться текстами небольшого объема и всего несколькими пользователями, поэтому был выбран режим CPU как более экономичный с точки зрения стоимости оборудования.
Итоговая конфигурация серверной части PROMT получилась следующая:
- Выделенная физическая машина без доступа в интернет
- ЦП: Intel Core i5-7400 (4 ядра) с тактовой частотой 3 ГГц
- ОЗУ: 32 ГБ
- ОС: Astra Linux CE 2.12
На указанную конфигурацию была установлена серверная часть PROMT Neural Translation Server. Установка и активация тестовой лицензии, предоставленной разработчиком ПО, прошла штатно. В качестве клиентской части PROMT используются браузеры на рабочих станциях пользователей. С учетом большого количества рабочих станций Windows в российских организациях, в качестве клиентской части была выбрана рабочая станция с Windows 10 и браузером Firefox. Дополнительно на рабочую станцию эксперта было установлено клиентское приложение PROMT Агент для перевода выделенного фрагмента текста в любом редакторе, где поддерживается выделение.
Знакомство с интерфейсом программы
После установки серверной части администратор предоставил эксперту внутреннюю ссылку для подключения к серверу перевода через браузер и учетные данные для авторизации. На рисунке ниже представлен пользовательский интерфейс PROMT после перехода по ссылке и ввода учетных данных.
До начала тестирования эксперт TAdviser не изучал описания продуктов со скриншотами пользовательского интерфейса для тестирования первого сценария. Сегодня любой пользователь сталкивается с машинным переводом в виде общедоступных онлайн-сервисов, поэтому мы ожидали, что интерфейс должен быть интуитивно понятен. Но мы изучили документацию и видео, касающиеся перевода выделенного фрагмента с помощью PROMT Агент и добавления своих переводов в систему, или как это называет разработчик, настройки решения на глоссариях.
Первое впечатление от знакомства с интерфейсом – визуально спокойное оформление, все основные элементы узнаваемы и расположены логично. Структура меню также не вызывает вопросов. Основные разделы озаглавлены как Текст, Документ, Агент. Первые две возможности понятны по названиям, что такое Агент можно прочитать в самом разделе, перейдя на него, или в документации.
На вкладке Текст аналогично любым сервисам онлайн-перевода можно напечатать текст или вставить скопированный. В процессе тестирования выяснилось, что опция Мгновенный перевод управляет тем, будет ли перевод появляться по мере печатания или нет. Не совсем понятно, зачем нужно отключать появление перевода по мере печатания, но опция включена по умолчанию, поэтому особых вопросов к ней нет.
Стоит отметить, что язык оригинала можно не указывать. По умолчанию стоит опция «Определить язык», но можно и указать язык, выбрав нужный из списка. В нашей версии нам был доступен перевод с английского языка на русский и обратно. На сайте разработчика указано, что всего доступно 50+ языков в разнообразных комбинациях.
Если начать печатать текст в левом окне, то автоматически появляется не только его перевод, но и внизу появляются предложения, содержащие фрагменты нашего текста с переводом (Контексты). В документации мы нашли информацию, что это примеры употребления слов и словосочетаний с переводами из открытых источников. Данные примеры представляют собой не машинный перевод, а выполнены профессиональными переводчиками. По мнению разработчика это справочная информация, которая полезна для редактирования машинного перевода или самостоятельного составления текстов на иностранном языке.
При выделении в тексте отдельного слова в интерфейсе появится справочная информация для него - подраздел Словарь. В нем пользователю доступны все варианты перевода и словосочетания с этим словом.
На вкладке Документ мы видим интерфейс для загрузки документа для перевода, возможность указать языки. Доступен также расширенный режим, где можно еще самостоятельно указать формат загружаемого файла.
Дополнительно администратор установил на рабочую станцию эксперта приложение PROMT Агент и указал в настройках приложения ссылку на внутренний сервер с PROMT, а также включил режим запуска приложения при старте операционной системы. Таким образом, у эксперта появилась возможность выделить текст в любом приложении и перевести его по комбинации горячих клавиш. Работу этой функции мы рассмотрим в следующем разделе.
Результаты тестирования
Сценарий 1
Для проверки перевода с целью понимания смысла мы выбрали англоязычную публикацию по теме криптографии, доступную на сайте Национального института стандартов и технологий (NIST). Сначала мы перевели название данной публикации в списке на сайте, выделив интересующий нас текст (и получив его перевод по комбинации горячих клавиш с помощью приложения PROMT Агент). Результатом перевода PROMT был корректный связный текст.
Далее мы решили перевести публикацию целиком. Для этого мы скачали ее в виде файла PDF c сайта NIST и перевели через страницу перевод документа на нашем локальном сервере c установленным продуктом PROMT. Документ из 11 страниц А4 перевелся за 4 минуты, результат перевода PDF сервер вернул в редактируемом формате DOCX. Структура и форматирование оригинала в целом сохранились в переведенном файле, русский текст читался легко и точно передавал смысл оригинала.
Получив положительный результат на небольшом документе, мы решили перевести документ большого объема, чтобы оценить пропускную способность и устойчивость системы. Для этой задачи мы выбрали документ объемом 700 страниц на этом же сайте. Перевод документа такого объема занял 3,5 часа, в это время мы также переводили другие тексты и документы, сервер при этом был полностью работоспособен.
После успешного завершения перевода документа мы получили переведенный файл с сохранением оригинального форматирования, что является большим преимуществом. Работать с документом, в котором сохраняются все форматные признаки и выделения, намного удобнее, чем просто с текстом. Что касается качества перевода, то оно приятно удивляет. В основном это корректный и грамотный текст, который легко читать.
Чтобы проверить возможность изменения перевода терминов, мы добавили в пользовательский словарь термин «guidelines» с переводом «рекомендации» (по умолчанию PROMT переводил его как «руководящие принципы», что тоже корректно, но допустим, нам нужен другой перевод данного термина, который встречается в документе 58 раз).
При повторном переводе документа перевод термина «guidelines» был таким, каким мы его указали, при этом переведенный термины был употреблен в той словоформе, которую требовал контекст.
.JPG){kind=spacer}
Сценарий 2
Для проверки перевода с целью постредактирования мы выбрали файл презентации PROMT на русском языке (15 слайдов), полученный от PROMT. Допустим, нам необходимо в сжатые сроки подготовить англоязычную версию данной презентации для партнеров.
Автоматический перевод данной презентации на английский занял 1,5 минуты, при этом редактирование заняло перевода не более 30 мин. и было в основном связано с особенностями верстки.
Итоги тестирования и впечатления о работе
Продукт PROMT произвел приятное впечатление. Многие возможности продукта интуитивно понятны рядовому пользователю. Качество перевода тоже показалось высоким и достаточным для решения большинства задач. Для тех, кому нужно сделать перевод идеального качества, потребуется все-таки потратить некоторое время на редактирование, но очевидно, что использование машинного перевода существенно ускорит срок подготовки документа на другом языке.
Нам кажется, что наиболее востребованная возможность - это перевод документов. Именно ради того, чтобы переводить корпоративные документы без риска выкладывания их содержимого куда-то в облака, и стоит приобретать решение PROMT.
При этом все основные функции программ доступны через браузер и не требуют установки клиентского приложения на рабочую станцию. Использование Агента для перевода выделенного текста по комбинации горячих клавиш является дополнительным преимуществом. Перевод без переключения между окнами – это очень удобно.
К недостаткам продукта можно было бы отнести необходимость развертывания и поддержки выделенного сервера для PROMT внутри организации, а также длительное время перевода больших файлов на сервере без видеокарты.
