Mitsubishi Electric SwipeTalk Air

2019: Разработка интерфейса и приложения

21 марта 2019 года корпорация Mitsubishi Electric объявила о разработке пользовательского интерфейса SwipeTalk Air на основе технологии дополненной реальности (ДР) для мгновенного отображения произнесенной речи в виде трехмерного текста при записи видео в режиме реального времени. Для размещения текста достаточно провести пальцем по экрану планшета или смартфона. Технология легла в основу приложения SwipeTalk Air на базе операционной системы iOS, которое интегрирует пользовательский интерфейс, видеозапись и т.д. для создания «живых» видео в социальных сетях.

В Mitsubishi Electric планируют в будущем расширить возможности управления и функции пользовательского интерфейса и приложения для использования в коммерческих товарах и сервисах.

Ключевые характеристики решения, отмеченные разработчиком:

• Пользовательский интерфейс мгновенно отображает произнесенные слова в виде 3D-текста на видео, как только оператор проводит пальцем по экрану мобильного устройства. Камера устройства направляется на объект съемки, произносится несколько слов, на экране пальцем проводится линия, после чего в этой области немедленно появляется текст. Запись видео и редактирование полностью интегрированы, поэтому пользователи могут вести съемку и вводить текст одновременно.

• Приложение объединяет различные функции для создания выразительных видеозаписей. Размещение текста в любом месте виртуального пространства экрана позволяет добавить больше выразительности создаваемому видео. Поскольку текст остается на фиксированном месте даже при изменении угла камеры, создание объединяющих текст и изображение объектов видео расширяет возможности реализации идей пользователей. Благодаря быстрому размещению текста пользователь может легко создавать оригинальные видеоролики.

Другие характеристики приложения:

• Отображение текста с помощью маркеров дополненной реальности (ДР-маркеров)

Текст отображается на экране по траектории, задаваемой с помощью ДР-маркера.

• Рисование с применением дополнительной реальности (ДР)

Использование дополнительных иллюстраций в ходе видеозаписи, например, стрелок, геометрических фигур или мультипликационных изображений придаёт выразительность и наглядность сообщению.

• Многоязычный перевод

Размещенный текст можно мгновенно перевести на иностранный язык. Поддержка аудио при переводе отображаемого текста позволяет общаться и взаимодействовать с людьми, говорящими на других языках.

Портал Виртуальная реальность