Разработчики: | DeepSeek |
Дата премьеры системы: | июнь 2024 г |
Отрасли: | Информационные технологии |
Технологии: | Средства разработки приложений |
2024: Анонс продукта
В середине июня 2024 года китайский стартап в области искусственного интеллекта DeepSeek анонсировал DeepSeek Coder V2 — открытую модель для программирования. Утверждается, что она превосходит по производительности такие закрытые аналоги, как GPT-4 Turbo, Claude 3 Opus и Gemini 1.5 Pro.
Первая версия DeepSeek Coder насчитывала 33 млрд параметров, поддерживала 86 языков программирования и имела контекстное окно на 16 тыс. токенов. Модель DeepSeek Coder V2 превосходит решение первого поколения по ключевым характеристикам: она использует 338 языков программирования, а размер контекстного окна увеличен до 128 тыс. токенов.
При тестировании в бенчмарках MBPP+, HumanEval и Aider, предназначенных для оценки возможностей больших языковых моделей (LLM) по генерации кода и решению проблем, DeepSeek Coder V2 набрала 76,2, 90,2 и 73,7 балла соответственно, опередив большинство других моделей, включая GPT-4 Turbo, Claude 3 Opus, Gemini 1.5 Pro, Codestral и Llama-3 70B. Высокая производительность также продемонстрирована в тестах, предназначенных для оценки математических возможностей модели (MATH и GSM8K). Единственной моделью, которой удалось превзойти DeepSeek Coder V2, оказалась GPT-4o, получившая более высокие оценки в HumanEval, LiveCode Bench, MATH и GSM8K.Опыт и перспективы использования российских СУБД в крупных организациях: результаты исследования TAdviser
Таких высоких показателей компания DeepSeek смогла добиться благодаря подходу «смесь экспертов» (Mixture of Experts, MoE), который подразумевает, что при отправке запроса запускается только часть общей модели, а не вся. Кроме того, было выполнено дополнительное обучение базовой модели DeepSeek V2 на 6 трлн токенов, включающих программный код и математические данные из GitHub и CommonCrawl. В результате, модель с 16 или 236 млрд параметров может активировать только 2,4 или 21 млрд «экспертных» параметров для эффективного решения поставленной задачи.[1]
Примечания
Подрядчики-лидеры по количеству проектов
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
Распределение систем по количеству проектов, не включая партнерские решения
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)