Содержание |
В 2014-2015 годах неожиданно для большинства началась трансформация представлений о том, какой в перспективе должна быть аппаратная инфраструктура ЦОДов. Еще совсем недавно о чем-то ином, нежели серверы, устанавливаемые в 19-дюймовые стойки (rack server или rack-mounted), и речи не могло быть. Их легко объединить в физические кластеры, что позволяет минимизировать объем сетевого оборудования, занимаемую площадь, упрощает охлаждение и рационально с экономической точки зрения.
Но, начиная с 2015 года, у этой казавшейся незыблемой парадигмы наметилась альтернатива, начался пока еще плавный переход от сложившейся кластерной серверо-центричной архитектуры ЦОДов (server-centric architecture) к ресурсо-центричной архитектуре (resource-centric architecture). Последнее название не вполне корректно, поскольку сервер — это тоже один из возможных ресурсов, точнее — стоит говорить о переходе от крупнозернистой (coarse-grained) к мелкозернистой (fine-grained ) архитектуре. «Атомом» в таком случае становится не сервер, а более мелкие составляющие — процессоры, память и системы хранения данных. Они получают индивидуальную адресацию, из них произвольным образом можно собирать единую инфраструктуру, наилучшим образом отвечающую предъявляемым требованиям.
Рынок дезагрегированной инфраструктуры
Роль коммуникаций в ИТ-инфраструктуре
Самым древним компонентом инфраструктуры ЦОДов являются 19-ти дюймовые телекоммуникационные стойки. Эту конструкцию в 1890 году предложил Джордж Вестингауз, автор более 400 изобретений. За более чем столетнюю историю стойки, переназначенные для телекоммуникационных устройств, незначительно поменялись, но изменилось их наполнение. В 1994 году Compaq впервые разместила в этом конструктиве сервер ProLiant, открыв категорию Rack-Mountable, а в 2001 году не существующая ныне компания RLX установила в стойку современный сервер-лезвие. Последующая история лезвий описана в статье «Десять лет революции лезвий»[1].
Кластерная архитектура, том виде, в котором она существует по состоянию на 2017 год, исторически обоснована. Как любое техническое решение, она сложилась под влиянием технологических ограничений, которые существовали на момент ее создания. Понятно, что, например, конструкции самолетов или автомобилей определяются физическими и экономическими ограничениями. Особенности любых инфраструктурных решений чаще всего связаны с ограниченным потенциалом коммуникаций. Например, инфраструктура государства в прошлом во многом определялась дневным пробегом конного экипажа. С появлением иных видов транспорта это ограничение исчезло. Глобализация является следствием успехов в коммуникациях всех видов. Обзор российского рынка банковской цифровизации: импортозамещение, искусственный интеллект и собственные экосистемы 
Тоже самое происходит в компьютинге. Выбор сервера в качестве модуля связан с рядом причин, в том числе с невозможностью обеспечить достаточную скорость передачи данных на всем пространстве стойки. Это ограничение имеет временный характер. Исследования показывают, что в будущем с использованием технологий кремниевой фотоники откроется возможность отказаться от «феодальной раздробленности» кластерной архитектуры и осуществить полный пересмотр отношения к системным ресурсам. Иначе говоря, развязать между собой установленные в стойке процессоры, память и СХД, с тем, чтобы собирать из них любые произвольные программно-определяемые инфраструктуры по требованию. Для этого нужно «всего лишь» обеспечить каналы между процессорами и памятью пропускной способностью 500-800 Гбит/сек на расстоянии до 1 метра, а между процессорами и периферией — 100-200 Гбит/сек на расстоянии 5-100 метров.
Предпосылки и условия дезагрегации
Для предстоящего перехода от сервера к стойке предложен специальный термин - «дезагрегация» (disaggregation). Обычно это слово на русский переводят как «разукрупнение». Но в данном контексте disaggregation следует понимать иначе, а именно — как разборку, но с последующей сборкой, с образованием новой инфраструктуры. Такой процесс скорее стоило бы назвать «реагрегацией», но такого слова нет.
Теоретически в результате дезагрегации можно получить три независимых пула ресурсов — пул процессоров, пул памяти и пул систем хранения данных (СХД). Каждый из пулов развивается независимо от другого. Хорошо известно, что в согласии с законом Мура с регулярностью обновляются процессоры, появляются новые типы памяти и СХД (флэш, PCM, или phase-change memory - память на основе фазового перехода). Их можно собирать воедино в программно-определяемые инфраструктуры (Software-defined infrastructure, SDI).
Выгоды от дезагрегации очевидны — уменьшается зависимость от рассогласования несовпадающих по длительности жизненных циклов компонентов и ЦОД; построенный по таким принципам ЦОД лучше приспособлен к модернизации; повышается возможность масштабирования и адаптации к нагрузкам. В итоге снижаются и капитальные (CAPEX), и эксплуатационные затраты (OPEX).
Однако полная дезагрегация на три пула возможна в том случае, если обеспечены достаточно высокие скорости обмена на обоих трактах — между процессорами и памятью и между процессорами и периферией, что пока еще недостижимо - это дело будущего. В текущий момент с появлением 100-гигабитного Ethernet удается выполнить частичную дезагрегацию.
О проблемах дезагрегации памяти читайте в отдельной статье TAdviser.
Движение из сегодняшнего дня в день будущий показано на рисунке.
Возникает естественный вопрос, чем стимулирован отказов от кластеров в пользу дезагрегированной инфраструктуры? Для грядущего перехода сложились два условия.
Первым условием для дезагрегации и для возникновения качественно нового подхода к проектированию серверных стоек на основе дезагрегации (Disaggregated Rack-Scale Server Design) является изменение структуры рынка. С ростом объема облачных услуг преимущественным потребителем серверных технологий становятся компании, предоставляющие эти услуги - их называют гиперскейлеры (hyperscaler). Они строят гипермасштабируемые ЦОДы, насчитывающие сотни тысяч, а, может быть, и миллионы серверов.
Всего в мире насчитывается 24 компании, относящихся к категории гиперскейлеров, на них приходится две трети от объема всех сетевых услуг. Они владеют примерно 300 гипермасштабируемыми ЦОДами, то есть, такими, которые созданы в единой масштабируемой архитектуре. На рисунке ниже показано географическое распределение гипермасштабируемых ЦОДов.
Анализ, выполненный компанией Synergy Research Group[2], показывает, что на протяжении 2017-2021 годов доходы, получаемые от предоставления облачных услуг в различных формах, будут увеличиваться со скоростью 23-29% в год, что приведет к ежегодному росту продаж инфраструктурных решений для гиперскейлеров, равному 11%. За тот же период доходы от продаж традиционных технологий для корпоративных систем упадут на 2%. Показатели динамики совокупного среднегодового темпа роста GAGR показаны на рисунке ниже.
Можно рассмотреть происходящее на примере Google. На пороге нового тысячелетия, когда надувался «пузырь доткомов» (Dot-com bubble), основу Интернета и Google, в том числе, образовывали мощные Unix-серверы (мидфреймы), прежде всего, моделей Sun 10 000 и 15 000. Но в 2002 году в глубочайшем секрете и совершенно неожиданно для всех Google переориентировался на непонятные тогда стоечные серверы, получившие название «желтые коробки». Однако со временем все тайное становится явным. Как выяснилось, эти яркие коробки, а точнее — специализированные поисковые серверы (Google Search Appliance, GSA) производила компания Dell.
Прошло 14 лет, и вот в 2016 году Google объявила о поэтапном прекращении выпуска этих серверов с 2018 года и о прекращении их поддержки в 2019 году. В будущем компания будет ориентироваться на технологии специально ориентированные на потребности поставщиков сетевых сервисных услуг, называемых гипермасштабируемыми (hyperscaler), среди которых она занимает одно из первых мест наряду с Amazon, IBM и Microsoft. Это одно из первых свидетельств от отказе от кластеров и движению по направлению к дезагрегации.
Вторым условием служит кремниевая фотоника, которая позволяет создавать электронно-оптические микросхемы на одном кристалле кремния, который обеспечивает коммуникации в пределах одной или нескольких стоек посредством оптических, а не электрических сигналов. На создание первой работающей гибридной микросхемы у IBM ушло около 12 лет. Кремниево-фотонная микросхема способна передавать данные с помощью световых импульсов на скорости до 100 Гбит/с на расстояние до двух километров. Свет позволяет передавать данные быстрее, чем медные кабели, которыми в центрах обработки данных соединяют системы хранения, сетевое оборудование и серверы.
Разница между дезагрегацией и гиперконвергенцией
Различие между дезагрегацией и гиперконвергенцией (HCI) заключаются в отношении к виртуализации. Если оставаться на физическом уровне, то следует действовать средствами дезагрегации. Если же физические ресурсы можно преобразовать в виртуальные, то тогда предпочтительнее средства гиперконвергенции.
Кроме того, можно выразить осторожное предположение о том, что у этих двух подходов могут быть разные потребители. У программ-гипервизоров и у технологии виртуализации в целом есть пределы, поэтому HCI, скорее всего, не выйдет за пределы частных облаков. У дезагрегации пределов нет, поэтому ее сфера применения - ЦОДы компаний-гиперскейлеров, поставщиков услуг глобальных облаков.
