Webpractik разработала платформу для конкурса РВК по разработке ИИ

2020: Создание платформы для разработки ИИ

18 марта 2021 года Вебпрактик (Webpractik) сообщил о создании платформы для конкурса по разработке искусственного интеллекта Up Great ПРО//ЧТЕНИЕ. Заказчиком выступила Российская венчурная компания (РВК).

Техзадание было получено в мае 2020 года. Уже в июле запустили Разметчик для Специалистов. В сентябре запустили тестирование платформы.

Платформа должна сравнить то, как тексты проанализировал программный комплекс, с анализом специалистов-учителей. Поэтому для старта испытаний на платформе нужны: тексты, учителя, инструменты для анализа текстов.

Браузерный сервис «Разметчик» помогает специалистам выделять смысловые блоки в тексте и оставлять единообразные комментарии с описанием ошибки, сверяясь с Классификатором.

В Программный Комплекс Участника (ПКУ) входит консольная утилита и два пакета данных.

Используя ПКУ, можно в любой момент через API установить сессию между своим локальным устройством и платформой. Последняя по запросу отдаёт файлы с неразмеченным эссе. Затем на локальном устройстве алгоритм размечает их и передает обратно. Пакет парсера собирает разметку и преобразует в машиночитаемую JSON-структуру.

Данные сессии и результаты проверки размеченных файлов отображаются в ЛК Участника. Пользователь может скачать отчёт и логи, посмотреть в визуальном интерфейсе, чем отличается его вариант разметки от Экспертной.

Когда на платформу приходят размеченные файлы, включается автоматическая система проверки решений, которая анализирует присланные разметки, сравнивая с Экспертными. Это алгоритмическая квалификация.

Кроме того, система проверяет состояние подключенного ПКУ каждые 4 часа и оценивает его готовность к работе. Этот процесс — техническая квалификация, имитирующая финальные состязания.

Чтобы снизить нагрузку на Систему проверки решений, разработан вспомогательный инструмент — Валидатор. Он автоматически проверяет присланные файлы на наличие логических ошибок в разметке и высылает Участнику багрепорт.Михаил Садиров, SMART technologies: На тестирование мультивендорных решений есть спрос

Для проведения финальных испытаний 9 ноября 2020 разработан отдельный сервис — Программа Сравнения Решений (ПСР). Он представляет собой worker, который считывает задачи из сервера очередей и сохраняет результаты в базу датасетов. Она хранится на отказоустойчивом облаке Yandex Object Storage. Логи сессий отправляются в ELK стек.

В ходе разработки платформы созданы:

• Сервис «Разметчик»,
• Сервис «Валидатор»,
• Систему проверки решений,
• Модуль «Персональный Комплекс Участника»,
• Программа Сравнения Решений.

Системы личных кабинетов на платформе получилось две, с разной архитектурой и функционалом. С визуальным интерфейсом, но без программного для Редакторов и с обоими для Участников.