Grok (нейросеть)

2024: Открытие исходного кода

В марте 2024 года стартап xAI Илона Маска, занимающийся разработкой технологий искусственного интеллекта, объявил об открытии исходного кода своей большой языковой модели (LLM) Grok-1. Воспользоваться платформой могут разработчики, компании и энтузиасты по всему миру.

Модель Grok-1 выполнена на архитектуре Mixture of Experts (MoE), которая позволяет значительно увеличить скорость и повысить качество обработки запросов. Количество используемых параметров составляет 314 млрд. Базовая модель обучена на большом объеме текстовых данных, но при этом не настроена для выполнения какой-либо конкретной задачи, например, на ведение диалогов. Процесс предварительного обучения Grok-1 завершился в октябре 2023 года.

𝓲

xAI

Доступ к исходному коду модели предоставляется по условиям лицензии Apache 2.0, которая дает право использовать программное обеспечение для любых целей, свободно изменять и распространять измененные копии, за исключением названия. На середину марта 2024 года Grok-1 является одной из самых крупных ИИ-моделей с открытым исходным кодом. В сообщении xAI отмечается, что релиз включает «веса базовой модели и архитектуру».Дмитрий Бородачев, DатаРу Облако: Наше преимущество — мультивендорная модель предоставления облачных услуг

Отмечается, что из-за большого количества параметров для использования модели Grok-1 требуются значительные аппаратные ресурсы, включая ИИ-ускорители на основе графических процессоров. Опубликовав код Grok-1, Маск надеется побудить других разработчиков ИИ-систем передать свои продукты сообществу open source. С другой стороны, доступность кода мощных ИИ-моделей вызывает обеспокоенность со стороны некоторых критиков, которые говорят о возможном неэтичном и опасном применении таких платформ. В частности, системы ИИ могут использоваться для генерации дипфейков, вводящих пользователей в заблуждение.^[1][2]

2023: Запуск нейросети

6 ноября 2023 года компания xAI, которая принадлежит американскому предпринимателю Илону Маску, анонсировала и запустила в эксплуатацию свою первую нейросеть. Она получила название Grok.

Как сообщила пресс-служба xAI, искусственный интеллект Grok был создан вдохновленный путеводителем из книги и фильма «Автостопом по Галактике», рассказывающих о захватывающих приключениях в космосе.

xAI анонсировала и запустила в эксплуатацию свою первую нейросеть

Наш ИИ Grok обладает способностью остроумно отвечать на вопросы и имеет склонность к бунтарству, поэтому, пожалуйста, не используйте его, если вы не цените юмор! — подчеркнули в компании.

По словам разработчиков, основным преимуществом новой модели ИИ в xAI является то, что он получает информацию о мире в режиме реального времени через платформу Х (ранее известную как Twitter). Предполагается, что Grok сможет давать ответы на провокационные вопросы, на которые другие системы не могут ответить.

Сообщается, что разработка алгоритма началась с создания прототипа большой языковой модели (LLM) Grok-0 с 33 млрд параметров. Эта тестовая модель по своим возможностям сопоставима с показателями LLaMA 2 от Meta Platforms (компания признана экстремистской в России, ее деятельность запрещена в РФ) в стандартных тестах, но использует при этом только половину своих обучающих ресурсов. За последние два месяца разработчики сумели добиться существенных улучшений в плане возможностей логического анализа и кодирования, что привело к созданию значительно более мощной языковой модели Grok-1.

По словам Илона Маска, к 6 ноября 2023 года доступ к Grok можно получить только при приобретении подписки Premium+ на платформе X. О том, когда нейросеть будет доступна всем желающим, не уточняется.^[3]

Примечания