МИСиС: Технология семантического быстрого поиска по специализированным базам данных

Основная статья: Data mining Интеллектуальный анализ данных

2021: Представление механизма семантического быстрого поиска по специализированным БД

Российские ученые разработали механизм семантического быстрого поиска по специализированным базам данных. Исследование по сегментации текстовых документов для оптимизации и 20%-ого ускорения поиска нужной информации пользователями было реализовано группой ученых НИТУ «МИСиС» в рамках гранта Российского научного фонда на сумму 18 миллионов рублей. Об этом 22 декабря 2021 года TAdviser сообщили в НИТУ «МИСиС».

Ученые решали задачу корректного поиска объемных документов, близких по смыслу. Обычно в больших сложных документах, особенно в рамках специализированных поисковых систем, содержится сразу несколько тем, что сильно затрудняет автоматический поиск. Исследователи предложили использовать метод сегментирования. Экосистема PROMT: больше, чем перевод 3 т

Технология «МИСиС» может использоваться для улучшения качества информационного поиска и анализа данных в специализированных поисковых системах, предназначенных для научных и промышленных организаций – по отчетам, патентам, научным публикациям.

«Сегментирование документов — это деление текста на такие отрывки, в которых речь идет об одном и том же, что может быть полезно в разных задачах обработки естественного языка. К таким задачам, например, относится анализ больших документов или поиск по содержанию документа. С точки зрения прикладного машинного обучения сегментация длинных текстов обоснована, так как на коротких текстах обычно лучше работают различные методы векторизации. Это логично, ведь чем больше текст, тем больше в нем разных смыслов и тем сложнее агрегировать все эти смыслы в некоторое общее векторное представление», — рассказал Никита Никитинский, научный сотрудник Центра исследования больших данных НИТУ «МИСиС».

Команда специалистов Центра предложила следующее решение этой проблемы: разбить документ на несколько сегментов, каждый из которых относится к одной теме. По таким тематически однородным кускам текста компьютерному алгоритму проще производить поиск.

«В рамках исследования мы использовали метод, основанный на подходе аддитивной регуляризации тематических моделей (additive regularization of topic models, ARTM) и алгоритме Topic Tiling. В результате экспериментов удалось улучшить точность работы узкоспециального поиска по научным публикациям с 55% до почти 82%», — добавил Никитинский.

По словам разработчиков, технология уже реализована в российском проекте создания Реестра обязательных требований. По их оценкам, с использованием предложенного метода до 15-20% увеличивается скорость и эффективность поиска нужной информации пользователями, что критично для научных и промышленных организаций.

Как известно, на декабрь 2021 года похожие проблемы решают исследователи и инженеры из других крупных организаций, в том числе Университет Мангейма, французский исследовательский центр Eurecom и Google Research, которые в рамках своих исследований изучали публикации членов научного коллектива по этой тематике.