СКФУ внедрил технологии Nvidia Grid

22 мая 2017 года компания Nvidia сообщила о проекте внедрения технологии NVIDIA GRID в научно-исследовательский и учебный процесс Северо-Кавказского федерального университета (СКФУ).

Задачи проекта

Компьютерное моделирование, вычислительный эксперимент, высокопроизводительные и параллельные вычисления активно используются как инструмент научных исследований и предмет обучения на многих кафедрах нашего Университета. Наиболее востребованы эти тематики для ученых в пяти институтах СКФУ, а также для студентов, обучающихся работе с графическими приложениями, системами автоматизированного проектирования и моделирования. Константин Ловцкий, к.ф.-м.н., проректор по информационным технологиям СКФУ

Ход проекта

При проектировании вычислительного комплекса СКФУ пришлось учесть тот факт, что постоянная потребность в высокопроизводительных вычислениях существует у множества институтов Университета, лаборатории и учебные классы которых распределены на большой территории. Основным требованием к создаваемому вычислительному центру стала необходимость учета разнообразных вычислительных потребностей в рамках учебных и научных работ.

К моменту принятия решения о внедрении технологии NVIDIA GRID, в СКФУ были знакомы с технологиями VDI. В 2013 года в университете внедрена система виртуализации серверной инфраструктуры на основе блейд-серверов Cisco B220 M3 и Cisco B420 M3, а с 2014 года в компьютерных классах действуют пилотные зоны VDI на программной платформе VMWare. Дмитрий Бородачев, DатаРу Облако: Наше преимущество — мультивендорная модель предоставления облачных услуг

Инфраструктура VDI обеспечивает безопасность и быстрое восстановление ИТ-систем после сбоя, управляемость, сокращение затрат на обслуживание (долгосрочный TCO), а также гибкость для пользователей и администраторов.

Варианты VDI – такие, как vSGA и vDGA, нас не устроили: в первом случае по быстродействию, во втором, по цене каждой ВМ. Таким образом, было принято решение и далее развивать серверную виртуализацию и VDI. Однако с учетом полученного опыта мы обнаружили очень медленную работу программного обеспечения для САПР. Графические интерфейсы ПО работали с задержкой и низким откликом. На повестке для остро стал вопрос реализации VDI-инфраструктуры с поддержкой графических ускорителей. Константин Ловцкий

Решение, соответствующее заданным критериям выбора вуза - технология NVIDIA GRID.

Специалисты СКФУ выбрали для формирования ИТ-инфраструктуры серверы Cisco UCSC-C240-m4s / Intel Xeon E5-E2690 v4 x2 / RAM 384Gb / 400 Gb SSD / vNIC / vFC и ускорители NVIDIA Tesla M60 с плотностью размещения 2 карты на каждый сервер. В качестве гипервизора используется VMWare ESXi 6.0 U2, доставку приложений на рабочий стол обеспечивает VMWare Horizon View. Рабочие столы конфигурируются из плавающего пула виртуальных машин с «нулевыми» клиентами Dell Wyse p25 на основе чипов Teradici.

Технология для доставки приложений и рабочих столов выбиралась по принципу обеспечения совместимости с софтом по виртуализации рабочих столов и серверной инфраструктуры, возможности поддержки работы с vGPU.

Для обеспечения полноценных коммуникаций высокопроизводительных систем в формате VDI была сформирована сетевая инфраструктура. В качестве СХД использованы системы хранения на флэш-памяти EMC VNX 7600 SSD и VNX 5300. Для пользователей обеспечена пропускная способность по каналам 100/1000 Мбит/c, для серверов по каналам 10G/40G Ethernet. Технически, использование личных устройств для работы в корпоративной сети (BYOD) допустимо в зоне действия университетской беспроводной сети Wi-Fi (более 400 точек доступа).

Процесс внедрения – от разработки концепции до пилотного запуска и внедрения – занял примерно один год.

Внедрение инфраструктуры рабочих столов производилось поэтапно, подключение к проекту для решения научных задач производилось по запросу подразделения (кафедры или института), ведущего эти работы.

Во время рабочего дня созданная инфраструктура используется в комбинированном режиме – VDI и высокопроизводительные вычисления, а в остальное время - ресурсы графических процессоров используются для решения вычислительных задач, в том числе в режиме запуска ОС с прикладной задачей непосредственно на серверах без средств виртуализации (baremetal).

Итог проекта

На 22 мая 2017 года система поддерживает до 32 пользователей на карту или 16 на GPU одновременно, используется профиль 0q для VDI. Для высокопроизводительных вычислений используется другая конфигурация, которая выбирается индивидуально, в зависимости от используемого программного обеспечения и решаемых задач (в том числе для обеспечения поддержки технологии CUDA).

На 22 мая 2017 года доступ к платформе с поддержкой NVIDIA GRID организован для 270 рабочих мест студентов, изучающих и использующих САПР или графические пакеты, и около 30 рабочих мест сотрудников университета, аспирантов, использующих графические системы или выполняющих НИР с использованием высокопроизводительных параллельных вычислений на GPU. Студенты и аспиранты активно используют решения VDI, отзывы главным образом положительные. Университет территориально размещен в большом количестве зданий и возможность гибкого доступа к персональным рабочим столам востребована. Константин Ловцкий

Внедрение комплексной инфраструктуры VDI позволило сотрудникам и студентам СКФУ сократить затраты на научные расчеты на фоне снижения эксплуатационных расходов вычислительного комплекса СКФУ.