МФТИ, AIRI и РАН: Метод обучения роботизированных систем определять оптимальный алгоритм действий

Основная статья: Роботы (робототехника)

2024: Анонс метода обучения роботизированных систем определять оптимальный алгоритм действий

Ученые из Московского физико-технического института, Института искусственного интеллекта AIRI и Федерального исследовательского центра «Информатика и управление» РАН разработали метод управления роботизированной системой, которая выполняет свои действия, опираясь на текстовые инструкции и визуальную информацию. Работа опубликована в журнале IEEE Access. Об этом 16 февраля 2024 года сообщили представители МФТИ.

𝓲

МФТИ

Как сообщалось, в результате роботизированная система получила возможность ориентироваться в незнакомой обстановке и самостоятельно определять алгоритм действий, оптимальный для решения поставленной задачи. Ученые считают, что дальнейшее развитие методики позволит создавать роботов для автономного выполнения или сложных многоходовых операций без участия человека. По словам ученых, это нетривиальная задача, решить которую пока не удалось никому в мире. Все разработки в этой области пока находятся на уровне прототипа.

В качестве модели мы задействовали роборуку с шестью степенями свободы. Нашей целью было научить ее самостоятельно сортировать по цветам и собирать их в заданную область. Свои действия роборука должна была на основе текстовой инструкции и данные с видеокамер. объяснил суть научной работы Алексей Староверов, один из авторов исследования, аспирант Центра когнитивного моделирования МФТИ

По его словам, принцип работы алгоритма обучения манипулятора напоминает модель GPT. Только в отличие от «интеллектуального чата», где пользователь, задав команду, получает сгенерированный текст, вместо выдает последовательность действий. При этом, как отметил ученый, для электронно-вычислительного устройства, которое управляет манипулятором, важно после каждого действия получать обратную связь с видеокамер, чтобы на основе полученной информации планировать свое следующее действие.

Новизна работы в том, что для обучения робота мы использовали готовые языковые модели — алгоритмы, которые помогают переводить естественную речь в код, понятный системе управления. Она представляют собой нейронные сети, которые предобучены на больших объемах текстовых данных. В нашем случае была применена мультимодальная модель RozumForme. В отличие от других, она, может генерировать ответ и на текстовые запросы, и на те, которые сделаны в виде изображений. рассказал Алексей Ковалев, соавтор работы младший научный сотрудник ФИЦ «Информатика и управление» РАН

Он пояснил, что в ходе работы была проведена тонкая настройка языковой модели. Ученые дообучили нейронную сеть, чтобы она могла «понимать» цвета кубиков, расстояния до них и другие параметры окружающей действительности. Настройка производилась в виртуальной среде, а потом дообученная языковая модель применялась для управления манипулятором в реальном окружении. Пошаговая адаптация позволила отрегулировать языковую модель, чтобы она, получая обратную связь с видеокамер, могла на основе усвоенных алгоритмов самостоятельно планировать дальнейшие действия и решать поставленные перед ней задачи.

Робототехника изначально подразумевает мультимодальный подход к обработке информации. То есть машинному интеллекту необходимо учитывать и синхронизировать, например, кадры с видеокамер, с данными от лидаров (приборов для определения расстояний). Это обычно называется комплексированием информации. Такие задачи решаются разными методами. Однако, применение для этих целей языковых моделей продемонстрировало перспективность метода. прокомментировал значение исследования Александр Панов, руководитель группы, ведущий научный сотрудник Института искусственного интеллекта AIRI и ФИЦ «Информатика и управление»

Как рассказали ученые, дальнейшей целью работы будет задача научить модель запоминать более длинные последовательности действий. Это в перспективе поможет роботам выполнять, которые требуют нестандартного для робототехнической системы подхода и оценки ситуации. Например, мыть посуду, различая предметы и действуя осторожно, или наводить порядок в квартире, различая разные комнаты и предметы и разделяя их по назначению.