T-Lite (Большая языковая модель, LLM)

Основные статьи:

• Распознавание речи (технологии, рынок)
• Речевые технологии: на пути от распознавания к пониманию

2024

*Открытие доступа к моделям T-Pro и обновленной T-Lite

Группа «Т-Технологии» открыла доступ к двум большим языковым моделям (LLM) — T-Pro на 32 млрд параметров и обновленной T-Lite на 7 млрд параметров. Теперь любая российская компания сможет бесплатно использовать их возможности. Об этом представители группы сообщили TAdviser 11 декабря 2024 года. По заявлению «Т-Технологий», как показали индустриальные бенчмарки (MERA, ruMMLU, Ru Arena Hard, MT Bench и AlpacaEval), T-Pro и T-Lite «превосходят все российские и зарубежные модели по общему уровню знаний, умению вести диалог и выполнять практические задачи».

Открытый доступ предполагает полностью бесплатное использование моделей для решения внутренних задач и создания новых продуктов на базе LLM — независимо от размера бизнеса. Например, с помощью LLM можно создавать умных чат-ботов в поддержке, которые более приближены к человеческому общению и отвечают не по скриптам, а в режиме живого диалога. Это позволит частично или полностью автоматизировать разбор клиентских обращений. Также с помощью LLM бизнес может создавать ассистентов для своих сотрудников: инструменты для автоматического написания кода, составления отчетов, написания исследований. Обзор российского рынка банковской цифровизации: импортозамещение, искусственный интеллект и собственные экосистемы 6.9 т

Использование моделей от «Т-Технологий» позволит бизнесу:

• не создавать собственные многомиллиардные модели с нуля, а дообучать имеющуюся базу под свои нужды;
• сэкономить на комиссиях сторонним поставщикам услуг за использование их проприетарных (закрытых) моделей.

Обе модели (T-Pro и T-Lite) входят в Gen-T — семейство собственных специализированных языковых моделей группы «Т-Технологии». Для создания моделей используется технология продолженного предобучения (Continual Pretraining). Это процесс, при котором уже обученную на больших объемах информации модель продолжают обучать на материалах, специфичных для определенной задачи или области, и адаптируют ее на русский язык. Модели T-Lite и T-Pro основаны на базе моделей семейства Qwen-2.5, но показывают более высокое качество на задачах русского языка, чем оригинальные модели, отметили в компании. Такой подход позволяет «Т-Технологиям» сократить затраты на создание больших языковых моделей.

«При нашем объеме бизнеса (более 46 млн клиентов и 90 тысяч сотрудников) возникают задачи такого уровня сложности, для которого подходят только собственные технологии. Когда мы начали развивать продукты на базе больших языковых моделей — например, копилотов для сотрудников и Вселенную AI-ассистентов, — мы еще раз убедились, что существующие на рынке решения не отвечают нашим требованиям», — поделился Виктор Тарнавский, директор по искусственному интеллекту «Т-Банка». — Так мы начали развивать Gen-T — семейство специализированных языковых моделей».

По его словам, целью банка было создать решения должного качества и при этом минимизировать затраты с применением наработок мирового научного и инженерного сообщества. Убедившись в эффективности созданного решения, в «Т-Банке» приняли решение поделиться им со всей индустрией и поменять подход к использованию LLM.

Зачем создавать собственные дорогие модели, если можно взять лучшее с рынка и настроить под себя. Наш опыт смогут перенять другие компании, а использование LLM станет гораздо шире», — добавил Виктор Тарнавский.

Обновленная T-Lite

Обновленная версия T-Lite с 7 млрд параметров подходит для дообучения под конкретные бизнес-задачи. Среди основных улучшений, по словам разработчиков:

• Точность и контекстуальность. Лучше улавливает контекст, понимает сложные запросы и выдает более точные ответы.
• Глубина генерации. Создает тексты, которые ближе к человеческому стилю письма, с меньшим количеством ошибок и большей логической связностью.
• Адаптивность. Модель легко дообучается под нужды конкретных отраслей — от финансов и медицины до ритейла и образования.

𝓲

«Т-Банк»

По данным «Т-Технологий», T-Lite стала лучшей в категории открытых моделей до 10 млрд параметров по результатам индустриальных бенчмарков, включая MERA, ruMMLU, Ru Arena Hard, MT Bench и AlpacaEval.

𝓲

«Т-Банк»

T-Pro

По сравнению с предшественницей T-Lite, в модели T-Pro увеличилось число параметров — с 7 до 32 млрд. Это делает модель более мощной и производительной. Большее число параметров позволяет модели учитывать больше контекста и особенностей языка, лучше запоминать информацию, делать более точные и сложные выводы.

𝓲

«Т-Банк»

Модель работает в двух режимах: ее можно дообучить под конкретные бизнес-задачи (Fine-tuning), а также использовать в режиме промптинга — ставить перед моделью задачи в режиме диалога.

𝓲

«Т-Банк»

По информации «Т-Технологий», среди открытых моделей своей весовой категории T-Pro занимает первое место в решении задач на русском языке согласно индустриальным бенчмаркам MERA, ruMMLU, Ru Arena Hard, MT Bench и AlpacaEval. Среди проприетарных (закрытых) моделей T-Pro занимает второе место по ряду бенчмарков, уступая только GPT-4o.

Доступность

Модели T-Lite и T-Pro уже доступны для скачивания на платформе Hugging Face под лицензией Apache 2.0.

При их совместном использовании с открытой библиотекой Turbo Alignment компании смогут не разрабатывать ИИ-приложения с нуля, а использовать уже готовые инструменты.

Анонс продукта

В июле 2024 года Т-Банк анонсировал выход самой мощной русскоязычной языковой модели T-lite. Она предназначена для создания ИИ-решений в области анализа данных, поиска и разработки чат-ботов.

T-lite имеет 8 млрд. Параметры — это числовые значения, которые модель настраивает, чтобы лучше понимать и генерировать текст. Чем больше параметров, тем больше возможностей у модели для выполнения сложных заданий, но с увеличением размера также ухудшается экономическая эффективность модели. T-lite же после дообучения на конкретные бизнес-задачи в области обработки естественного языка (NLP) дает качество, сопоставимое с проприетарными моделями размером от 20 млрд параметров, но при этом в разы дешевле в эксплуатации, заявили в банке.

Там же отметили, на индустриальных и внутренних бенчмарках модель обогнала по показателям зарубежные llama3-8b-instruct и chat-gpt 3.5. При этом T-lite создана с использованием всего 3% вычислительных ресурсов, которые обычно требуются для такого типа моделей.

T-lite входит в Gen-T — семейство собственных специализированных языковых моделей Т-Банка, которые умеют обучаться под решение конкретных узкоспециализированных задач. В отличие от универсальных моделей, таких как ChatGPT, технология Gen-T ориентирована на конкретные области и предлагает решения с максимальной адаптацией под нужды пользователя, отмечается в сообщении банка.

Наши модели семейства Gen-T показали свою эффективность в наших сервисах, оптимальны по соотношению используемых мощностей и качеству. И мы готовы поделиться этой разработкой с другими компаниями, с пользователями, с профессиональным сообществом. Это наш вклад в развитие искусственного интеллекта в России, - подчеркнул руководитель NLP в Центре искусственного интеллекта Т-Банка Артем Бондарь.