Содержание |
Почему экзафлопные вычисления так важны?
Системы, способные достичь производительности в 1 квинтиллион (или 1018) операций с плавающей запятой в секунду – в тысячу раз более производительны, чем петафлопные (или 1015) системы, и, вероятно, способны решать величайшие мировые научные проблемы.
Оценки рынка
2023: Объем мирового рынка высокопроизводительных вычислений за год достиг $50 млрд
По итогам 2023 года объем мирового рынка высокопроизводительных вычислений (НРС) достиг приблизительно $50 млрд. Для сравнения, годом ранее этот показатель составлял около $46 млрд. Таким образом, прибавка зафиксирована на уровне 8%. В дальнейшем прогнозируется устойчивый рост, что во многом связано со стремительным внедрением технологий искусственного интеллекта, в том числе генеративного. Об этом говорится в исследовании Fortune Business Insights, результаты которого обнародованы в первых числах июля 2024 года.
Отмечается, что пандемия COVID-19 оказала положительное влияние на НРС-отрасль из-за возросшего спроса на вычислительные ресурсы для эпидемиологического моделирования, геномики, биомедицинских исследований и разработки лекарств. В этот период нагрузка на центры обработки данных (ЦОД) значительно возросла, и их операторы начали наращивать мощности. Еще одним важным драйвером рынка являются ИИ-технологии. Для обучения больших языковых моделей (LLM) требуются огромные вычислительные мощности. Поэтому облачные провайдеры и гиперскейлеры активно закупают дорогостоящие ускорители на основе графических процессоров (GPU) и другое специализированное оборудование. Причем алгоритмы ИИ становятся все более сложными, что, в свою очередь, увеличивает потребность в НРС-ресурсах. На этом фоне отрасль демонстрирует устойчивую положительную динамику.
Кроме того, глобальный рынок высокопроизводительных вычислений набирает обороты в результате перехода к гибридным и мультиоблачным ИТ-средам. Чтобы создать гибкую и динамичную инфраструктуру НРС, организации используют комбинацию локальных систем, а также общедоступных и частных облаков. Такой подход способствует оптимальному использованию ресурсов и экономической эффективности.Известный писатель-фантаст Сергей Лукьяненко выступит на TAdviser SummIT 28 ноября. Регистрация 
С географической точки зрения крупнейшим регионом в плане развития и внедрения НРС является Северная Америка: по итогам 2023 года затраты здесь достигли $20,4 млрд. Годом ранее расходы оценивались в $18,91 млрд. Это соответствует росту на 7,9% в годовом исчислении. В целом, на Северную Америку приходится примерно 40,8% в общем объеме мирового рынка НРС. Доминирование региона объясняется сочетанием технологических инноваций, стратегических инвестиций и зрелой экосистемы облачных вычислений. Кроме того, Северная Америка лидирует в плане разработки процессоров, GPU-акселераторов, специализированных карт для ускорения ИИ и другого оборудования, составляющего фундамент НРС-систем. Технологический опыт региона и надежная инфраструктура позволяют решать сложные вычислительные задачи и стимулировать инновации в таких областях, как моделирование климата, финансовая аналитика, исследования в области геномики и приложения ГенИИ.
Среди ключевых игроков мирового рынка НРС значатся Dell, Lenovo, Fujitsu, Atos, Cisco, Nvidia, Amazon Web Services (AWS), Hewlett Packard Enterprise (HPE), AMD, Sugon, Inspur, NEC и др.
Аналитики Fortune Business Insights полагают, что в период с 2024-го по 2032 год глобальная отрасль НРС будет демонстрировать показатель CAGR (среднегодовой темп роста в сложных процентах) на уровне 9,2%. В результате, к концу указанного периода расходы могут достичь $110 млрд. При этом по итогам 2024 года ожидается результат на уровне $54,39 млрд. Одним из сдерживающих факторов названа недостаточная зрелость цифровой инфраструктуры в развивающихся странах. Этот цифровой разрыв может еще больше усугубить существующее неравенство в доступе к передовым технологиям и препятствовать общему росту рынка НРС.[1]
2018
Рынок услуг аренды высокопроизводительных серверов достиг $6,28 млрд
Объем мирового рынка услуг аренды высокопроизводительных серверов в 2018 году достиг $6,28 млрд, свидетельствуют данные аналитической компании ResearchAndMarkets. Речь идет о сервисах, называемые "HPC как услуга".
Эксперты не уточнили динамику на рынке в сравнении с 2017 годом, но заверили, что рассматриваемый рынок находится на подъем. Подчёркивается, что рост рынка высокопроизводительных вычислений обусловлен быстрой эволюцией технологий, таких как 3D-изображения, искусственный интеллект , Интернет вещей, а также быстрым увеличением объема анализируемых данных. Кроме того, растет популярность высокопроизводительных вычислений в качестве услуги, поскольку они позволяют обрабатывать данные в режиме реального времени для анализа тенденций рынка, тестирования новых продуктов и трансляции спортивных событий в прямом эфире.
Ожидается, что правительства вводят все больше инициатив для всеобщей цифровизации, и эта тенденция также положительно сказывается на росте высокопроизводительных вычислений, предоставляемых в формате услуги, во всем мире. Аналитики предполагают, что высокая распространенность облачных технологий в странах с формирующейся рыночной экономикой также станет важной средой для развития услуг аренды высокопроизводительных серверов.
Высокопроизводительные вычисления (HPC) в основном производятся на мощных серверах или суперкомпьютерах, которые могут выполнять квадриллионы вычислений в секунду. Таким серверам требуется более тысячи параллельно работающих вычислительных узлов. Услуга аренды подобных серверов позволяет использовать соответствующие приложения в облачной среде, обеспечивая доступ по требованию к необходимым компонентам.
Согласно исследованию, представленному на сайте ResearchAndMarkets.com, к 2026 году рынок сервисов "HPC как услуга". может вырасти до $17 млрд. Сегмент публичных облаков доминировал на мировом рынке высокопроизводительных вычислений в 2018 году, и ожидается, что он будет приносить наибольший доход в будущем. Наиболее высокие темпы роста расходов на высокопроизводительные вычисления в 2018 году наблюдались в здравоохранении.[2]
Рост рынка HPC-серверов на 15,6% до $13,7 млрд
Объем глобального рынка высокопроизводительных серверов (HPC) в 2018 году достиг $13,7 млрд, увеличившись на 15,6% относительно предыдущего года. Такие данные 9 апреля 2019 года обнародовали аналитики Hyperion Research.
Они отмечают, что продажи мощных серверов в мире оказались рекордными и больше, чем ожидали сами эксперты ($13 млрд). По словам старшего вице-президента по исследованиям Hyperion Research Стива Конуэя (Steve Conway), всплеск на рынке произошел благодаря «критически важной роли HPC в исследованиях искусственного интеллекта и растущему внедрению HPC-серверов в корпоративных дата-центрах для ускорения бизнес-операций». Генеральный директор Hyperion Research Эрл Джозеф (Earl Joseph) также связал подъем с устойчивым ростом американской и глобальной экономики.
Большая часть спроса на HPC-решения приходится на сегмент суперкомпьютеров, к которому относится оборудование стоимостью более $500 тыс. В 2018 году расходы на такие системы в глобальном масштабе составили $5,4 млрд.
Специалисты выделяют еще три категории HPC-систем: Divisional (серверы, обслуживающие подразделения компаний; цена — от $250 тыс. до $500 тыс.), Departmental (для департаментов; $100-250 тыс.) и Workgroup (для рабочих групп; до $100 тыс). Объемы этих сегментов по итогам 2018 года оказались равными $2,5 млрд, $3,9 млрд и $2 млрд соответственно.
Лидером рассматриваемого рынка аналитики назвали компанию HP, которая в 2018 году на реализации высокопроизводительных серверах заработала $4,77 млрд, что соответствует почти 35% в общем объеме рынка. В тройку крупнейших производителей также попали Dell и IBM.
Исследователи ожидают, что рынок серверов для высокопроизводительных вычислений будет расти на 7,8% в год и достигнет $20 млрд к 2023 году.[3]
Планы Европы
В феврале 2012 года Еврокомиссия заявила о намерении удвоить инвестиции в развитие эксафлопсных вычислений - с €630 млн. до €1,2 млрд. ($1,58 млрд). Согласно этому заявлению, финансирование будет осуществляться несмотря на введение правительствами европейских государств жёстких мер по предотвращению дефолтов.
Недавно также и Белый дом опубликовал свой бюджет на 2013 год, где третий год подряд предусмотрены весьма скромные средства на исследование и разработку этих технологий. В 2011 году министерство энергетики США просило на финансирование эксафлопсных разработок 2012 года почти $91 млн., а получило $73,4 млн. Правда, в сравнении с $28,2 млн. в предыдущем году это все-таки больше.
В бюджете-2013, предложенном на рассмотрение Конгресса, Белый дом запросил $89,5 млн на эксафлопы. Часть средств, которые США тратят на эксафлопсные исследования, расходуются также из других бюджетных статей министерства энергетики, а также министерства обороны.
Такой объем инвестиций со стороны США, по мнению аналитика IDC Эрла Джозефа (Earl Joseph), незначителен для программы, которой могут потребоваться миллиарды долларов. В то время как Китай в своих планах продвигается вперёд и имеет финансовые ресурсы, научные и технологические таланты, чтобы добиться прогресса в вычислениях масштаба эксафлопс.
По мнению аналитика, европейцам уже стоит обеспокоиться относительно успехов Китая на этом рынке. «Китай их попросту похоронит, - сказал Джозеф, говоря о Европе. – Но при таком уровне инвестиций у них есть шанс удержаться и, возможно, приподнять голову в этой игре».
Основная часть американских денег предназначена для фундаментальных исследований в области создания новых типов процессоров, памяти, операционных систем и компиляторов. Эти исследовательские достижения, по мнению Джозефа, могут быть использованы, в основном, в коммерческих целях.
Исследовательская компания IDC, консультирующая власти Европы в отношении технологий высокопроизводительных вычислений, рекомендовала руководству Евросоюза сосредоточиться на разработке приложений, использующих эксафлопсные системы, и меньше акцентировать внимание на разработках оборудования.
Европейцы, как и китайцы, видят преимущества в развитии технологий эксафлопс, которые включают в себя строительство систем в тысячу раз более мощных, чем действующие сегодня. Системы эксафлопсных вычислений могут достичь 1 трлн. (1018) операций с плавающей запятой в секунду.
Но подобные системы «создают множество трудных вопросов», говорится в докладе Европейской комиссия, который сопровождал решение о финансировании. В числе этих проблем необходимость 100-кратного снижения потребления энергии и разработка новых моделей программирования. Если Европа и Китай смогут их решить, то у них появится шанс - конкурировать с нынешним лидером рынка, США, в сфере высокопроизводительных вычислений.
Говоря о европейских инвестициях, вице-президент Еврокомиссии Нили Крус (Neelie Kroes), ответственная за эту инициативу, отметила в заявлении, что «для европейской промышленности и роста числа рабочих мест в Европе высокопроизводительные вычисления являются одним из важнейших движущих факторов». «Мы должны инвестировать в эту сферу, потому что не можем позволить себе уступить конкурентам», - заявила она.
Тем временем научное сообщество высокопроизводительных вычислений США выражает беспокойство по поводу отсутствия у правительства страны перспективного плана финансирования этих исследований и разработок. Джек Донгарра (Jack Dongarra), научный работник университета Теннесси, принимающий участие в создании списка ТОП-500 суперкомпьютеров мира, приветствует усилия Европы. «Дружеская конкуренция помогает движению вперёд», - подчеркнул он.
Отставание США
Во всем мире идёт гонка за создание суперкомпьютеров следующего поколения, однако усилия США по состоянию на начало 2012 года похоже зашли в тупик. Китай и Европа, в частности, продвигаются вперед со своими программами, Япония все больше и больше набирает обороты.
Не стоит забывать и об успехе российских разработчиков в области высокопроизводительных вычислений. В марте 2011 года в Саровском ядерном центре успешно прошел испытания суперкомпьютер мощностью 1 Пфлопс, который в мировом рейтинге ТОП-500 претендует на 12-е место, а генеральный директор компании "Т-Платформы" Всеволод Опанасенко попал в десятку наиболее влиятельных людей суперкомпьютерной индустрии по версии крупнейшего отраслевого изlания HPCwire.
Правительство США, тем временем, до сих пор не привело в действие план развития эксафлопных вычислений, считает Патрик Тибодо (Patrick Thibodeau), журналист-аналитик издания Computerworld.
По его словам, эти программы касаются не только строительства суперкомпьютеров. Развитие платформ эксафлопных вычислений является стартом к появлению новых поколений процессоров, новых систем хранения и сетевых технологий. Прорывы в этих областях в других странах могут привести к возникновению новых проблем с технологическим доминированием США.
Пять причин, ведущих США к опасности провала в области высокопроизводительных вычислений, согласно Патрику Тибодо.
США не имеют плана развития эксафлопных вычислений
Проект развития высокопроизводительных вычислений такого типа может стоить США миллиарды долларов. Европа оценила собственные усилия по развитию эксафлопного проекта в €3,5 млрд. ($ 4,724 млрд.) более чем за десять лет. Китай сможет вложить в свои разработки невообразимое количество денег. В 2008 году в Китае насчитывалось 15 систем, представленных в списке ТОП-500 самых производительных систем в мире. В последней версии этого перечня, выпущенной в ноябре 2011, значится уже 74 системы китайского производства или 14,8% от их общего количества в мире.
США продолжает финансирование крупных проектов, таких как запланированный IBM компьютер для национальной лаборатории им. Лоуренса в Ливерморе (Lawrence Livermore National Laboratory) мощностью 20 петафлоп, который появится в течение следующего года. Эта система может вновь вернуть США на первую строку списка. Однако, несмотря на то, что происходит нынче в Европе или Китае, США до сих пор не определили бюджет для развития этой программы.
Будет ошибкой считать, что США выиграет гонку за эксафлопом
Хотя усилия по разработке китайских суперкомпьютеров привлекают много внимания, европейцы, сосредоточенные на разработке технологической инфраструктуры, смогут составить конкуренцию США.
Большой адронный коллайдер (БАК) с круговым тоннелем на французской и швейцарской границах, длиной в 16,8 мили, превращает Европу во всемирный центр физических исследований высоких энергий. Это может означать, что физики, которые когда-то хотели работать в США, возможно, найдут более выгодные условия в Европе и смогут содействовать в создании новой индустрии производства в этом регионе.
У США когда-то были планы по строительству 54-мильного тоннеля суперколлайдера в Техасе, но конгресс затянул финансирование и забросил частично реализованный проект после того, как в конце 1980 года запланированные расходы с $5 млрд. выросли к1993 году до $11 млрд. Европейские страны также совместно действуют в создании собственной системы глобального спутникового позиционирования Galileo. Этот проект стоит примерно $20 млрд.
БАК и Galileo показывают, что страны Европы готовы объединить свои ресурсы и действовать вместе в технологической сфере. Они видят аналогичную возможность действий в эксафлопных вычислениях, особенно в разработке программного обеспечения.
В своём октябрьском докладе рабочая группа European Exascale Software Initiative сообщила, что США, Европа, Китай и Япония - все эти страны имеют потенциал для создания первой эксафлопной системы.
К эксафлопу неведом путь, открывающий дверь ищущим
Хотя у США нет плана развития программы сверхпроизводительных вычислений, уже имеются некоторые требования к такой системе. Она должна быть готова к 2019-2020 гг. и не может потреблять более 20 МВт электроэнергии, что совсем немного для системы, вероятно оснащённой миллионами процессоров.
Потребность в системах со сниженным уровнем потребления энергии породила новые подходы к их развитию. Алекс Рамирес (Alex Ramirez), руководитель группы исследований компьютерной архитектуры в центре суперкомпьютеров Барселоны, сказал, что проект, в рамках которого центр применяет процессоры ARM и графические процессоры Nvidia (Нвидиа), демонстрирует возможность построения высокопроизводительного вычислительного кластера на основе архитектуры ARM.
В рамках проекта также создается полный стек программного обеспечения для этого кластера.По его словам, впереди еще большое количество проблем, связанных, в основном, с необходимостью создания ПО для работы в среде, отличающейся от серверов и мобильных вычислений. «Человеческие усилия и финансовые инвестиции в разработку этого программного обеспечения будут значительными», - добавил он.
Если США не возглавляет эксафлоп, тогда что говорить о начале планирования зеттафлоп?
Первокурсник на информатике сегодня уже должен знать о четырехлетнем пути к эксафлопной системе. К тому времени, когда он завершит свою дипломную работу, он уже будет обсуждать зеттафлопную (1021) систему, в тысячу раз более мощную. Если высокопроизводительные вычисления сохранят историческую картину своего развития, появление зеттафлопных систем можно ожидать около 2030 года. Однако никому неизвестно, как может выглядеть такая система, как и то - возможна ли она вообще. Система такого типа может потребовать совершенно новых подходов, таких как квантовые вычисления.
Белый дом заявил о нежелании втягиваться в «гонку вооружений» в вопросе создания все более быстрых компьютеров, и год назад в своём докладе предупредил, что акцент на скорость «может отвлечь ресурсы от фундаментальных исследований, направленных на развитие принципиально новых подходов к высокопроизводительным вычислениям, которые помогли бы нам, в конечном итоге, обогнать другие страны». Но США уже в вычислительной гонке, хотят они того или нет. Для разработки технологии, которая обгонит другие страны, США понадобится устойчивое финансирование фундаментальных исследований, как и создание эксафлопных систем.
США не объяснили, что является ставкой в этой игре
Президент Барак Обама (Barack Obama) стал первым президентом США, упоминавшим эксафлопные вычисления, но он не объяснил потенциал этих систем. Суперкомпьютеры могут помочь ученым в создании моделей атомного уровня, клеток человека и того, как их атакует вирус. Они могут использоваться для моделирования землетрясений и поиска способов их предсказаний, а также проектирования структур, могущих им противостоять. В индустрии они все чаще используются для создания продуктов, их тестирования в виртуальных средах.
Суперкомпьютеры можно использовать любым представимым человеку путём. При этом, чем больше мощность систем, тем больше их вычислительные способности и тем более точны науки. Сегодня США доминируют на рынке вычислений. На долю одной IBM приходится около 45% систем, входящих в ТОП-500, за ней следует HP с долей в 28%. Около 53% самых мощных систем списка находятся в США.
Примечания
