Суперкомпьютеры в России: реалии и перспективы. Отечественные суперкомпьютеры

Во всемирный процесс активизации рынка высокопроизводительных вычислений (HPC) все активнее включается и Россия. В 2003 году компании Arbyte и Kraftway при поддержке корпорации Intel объявили о создании своих Центров компетенции на базе платформы Intel, деятельность которых, в том числе, будет направлена и на построение НРС-систем. Кроме того, компании Intel и IBM сообщили о том, что компания Paradigm, ведущий поставщик технологий для обработки геолого-геофизических данных и проектирования бурения для нефтегазовой отрасли, модернизировала свой расположенный в Москве центр обработки сейсмических данных, установив серверный кластер IBM из 34 двухпроцессорных серверов на базе процессоров Intel Xeon. Новая система ускорила работу ресурсоемких вычислительных приложений Paradigm за счет применения кластерных технологий на базе ОС Linux. Новые возможности проведения более точных расчетов, несомненно, увеличат конкурентоспособность российских нефтяных компаний на мировом рынке.

В июне 2004 г. представители компании «Т-Платформы», Института программных систем (ИПС) РАН и корпорации Intel объявили о создании четырехузлового кластера T-Bridge8i на базе процессоров Intel Itanium 2 и технологии InfiniBand, а также рассказали о перспективах использования данного решения в рамках программы «СКИФ». Кластер T-Bridge8i стал первой в России системой на основе процессоров Intel Itanium 2, двухпроцессорные узлы которой выполнены в конструктиве высотой 1U. Объединив в T-Bridge8i передовые достижения в области 64-разрядной процессорной архитектуры и кластерных коммуникаций, инженеры «Т-Платформы» построили уникальное по концентрации вычислительной мощности решение, обладающее широкими возможностями для масштабирования. Этот кластер предназначен для решения задач, требующих максимальной производительности вычислений с плавающей точкой, и может эффективно использоваться в различных отраслях промышленности и для научных расчетов. В рамках программы «СКИФ» T-Bridge8i будет применяться с целью адаптации для архитектуры Intel Itanium программного обеспечения, разработанного в рамках программы, а также для исследований в области GRID-технологий.

2005 год оказался довольно богатым на события в области суперкомпьютерных технологий. В России были завершены два крупных проекта, на очереди - еще один.

Двумя важнейшими из них стала установка суперкомпьютера МВС-15000BM отечественной разработки в Межведомственном Суперкомпьютерном Центре РАН (МСЦ) и установка на НПО кластера IBM eServer Cluster 1350, включающего 64 двухпроцессорных сервера IBM eServer xSeries 336. Последний является крупнейшей в России супер-ЭВМ используемой в промышленности и четвертым в совокупном рейтинге суперкомпьютеров на территории СНГ. НПО собирается использовать его в проектировании авиационных газотурбинных двигателей для самолетов гражданской авиации. На очереди - еще один крупный проект суперкомпьютера для Росгидромета, тендер на строительство которого выиграл системный интегратор i-Teco.

В частном секторе суперкомпьютеры используются для моделирования нефтяных скважин, краш-тестов, сложных аэродинамических и гидродинамических расчетов. Основными заказчиками выступают автомобильная, судостроительная, авиационная и нефтегазовая промышленность. По мнению экспертов, совокупный объем рынка больших вычислительных систем в России составляет $100-150 млн., причем видное место принадлежит отечественным разработчикам. В год устанавливается 3-4 суперкомпьютера с производительностью, близкой к 1 Терафлоп.

На сегодняшний день крупнейшими отечественными проектами в области суперкомпьютеров являются российский проект МВС и российско-белорусский СКИФ. Разработка СуперЭВМ проекта МВС финансировалась за счет средств Минпромнауки России, РАН, Минобразования России, РФФИ, Российского фонда технологического развития. В настоящее время машины этой серии установлены в МСЦ РАН и ряде региональных научных центров РАН (Казань, Екатеринбург, Новосибирск) и используются преимущественно для научных расчетов.

В настоящее время одним из разработчиков ПО для МВС является фирма InterProgma, работающая в Черноголовке в рамках уже существующего ИТ-парка. Компания в тесном сотрудничестве с ИПХФ РАН ведет разработку как базового программного обеспечения для крупномасштабного моделирования на суперкомпьютерных системах, т.е. программного обеспечения, позволяющего упростить и автоматизировать процесс распараллеливания, так и специального инженерного программного обеспечения для моделирования различных высокоэнергетических процессов в химической, атомной и аэрокосмической промышленности. Так, пакет IP-3D предназначен для численного моделирования газодинамических процессов в условиях экстремально высоких температур и давлений, невоспроизводимых в лабораторных условиях. Опыт работы на MBC1000M показали очень хорошую масштабируемость и высокую скорость вычисления данного пакета

Проект СКИФ финансировался за счет бюджетов России и Белоруссии в рамках союзной программы на паритетных началах. В настоящее время российско-белорусская программа СКИФ, объемом $10 млн., уже завершена, и в ходе ее реализации были созданы суперкомпьютеры СКИФ К-500 и СКИФ К-1000. Cтоимость СКИФ К-1000 составила $1,7 млн., что на порядок ниже стоимости иностранного аналога ($4 млн.). На сегодняшний день, основным пользователем данной разработки является белорусская сторона. СКИФ К-1000, установлен в Объединенном институте проблем информатики НАН Белоруссии, и уже сейчас используется не только учеными, но и крупнейшими предприятиями-экспортерами: МАЗом, БелАЗом, Белорусским тракторным заводом, Заводом карданных валов. Столь успешное внедрение суперкомпьютерных технологий в реальный сектор во многом объясняется тем, что доступ белорусских предприятий к СКИФу координируется государством и оплачивается из бюджета, поскольку сами предприятия находятся в государсвенной собственности.

В России же СКИФ и МВС пока воспринимаются лишь как академические проекты. Причина этого в том, что крупные российские машиностроительные корпорации, такие как НПО , предпочитают зарубежные суперЭВМ, поскольку отработанные прикладные решения от мировых лидеров, таких как IBM и HP уже снабжены готовым целевым ПО и средствами разработки, имеют лучший сервис. Сделать МВС и СКИФ востребованными для российской промышленности поможет создание общего вычислительного центра ориентированного на промышленный сектор, с распределенным доступом к машинному времени. Создание Центра резко удешевит затраты на обслуживание суперкомпьютера, а также ускорит процесс создания и систематизации ПО (написание драйверов, библиотек, стандартных приложений).

Продвижению отечественных суперкомпьютерных технологий в промышленной сектор России и за ее пределы будет способствовать рост отечественных компаний, способных конкурировать в данной сфере с транснациональными корпорациями. Такой компанией уже является , которая выступала в роли главного исполнителя СКИФ. Наряду с государственными и академическими структурами, клиентами компании являются , Rambler, рекрутинговая компания HeadHunter.ru, . были призаны лучшей компанией VI Венчурной Ярмарки в октябре 2005 года в Санкт-Петербурге.

В основу новой мощнейшей вычислительной машины легла разработанная сотрудниками Центра гибридная архитектура с пиковой производительностью 55 триллионов операций в секунду. Кластер состоит из 5 вычислительных узлов. Такая мощь будет направлена на исследования и разработку алгоритмов компьютерного зрения и обработки изображений.

За год на модернизацию шести российских суперкомпьютеров было выделено 300 млн рублей

Алексей Сорокин, руководитель ЦКП «Центр данных ДВО РАН» рассказал сайт, что в 2016 году Фе­деральное агентство научных организаций (ФАНО России) выделило на модернизацию шести суперкомпьютерных центров подведомственных науч­ных организаций 300 млн рублей. Сами узлы со специализированным коммутатором обошлись в 20 млн рублей. Это стало возможным благодаря целевой субсидии от Федерального агентства научных организаций.

Собеседник сайт рассказал, что его команда прошла этап тестовой эксплуатации вычислительной машины вместе с сотрудникам Института водных проблем РАН (г. Москва), Института морской геологии и геофизики ДВО РАН (г. Южно-Сахалинск) и Института материаловедения ХНЦ ДВО РАН (г. Хабаровск). На реальных задачах они оценивали эффективность архитектуры и отрабатывали оптимальные режимы работы нового кластера, а пользователи получили возможность провести исследовательские расчеты. Ученые из ИВП РАН ведут проекты, связанные со сверхкраткосрочным прогнозом движения полей осадков, в которых используется библиотека машинного обучения tensorflow, разрабатываемая в Google. На Сахалине с использованием авторских алгоритмов ведутся расчеты распространения волн цунами от сейсмических источников в глобальном масштабе. Ученые довольны скоростью расчетов.

Заявки уже начали поступать в ВЦ ДВО РАН, где они рассматриваются и принимаются решения о предоставлении доступа к ресурсам системы. Предпочтения отдаются тем проектам, которые получат реальный прирост в производительности по сравнению с кластерами на базе X86 архитектуры без графических ускорителей.

• 2 десятиядерных процессора IBM POWER8 (2,86 ГГц) (всего 160 потоков);
• память ECC, 256 ГБ;
• 2 х 1 ТБ 2.5" 7K RPM SATA HDD;
• 2 x NVIDIA Tesla P100 GPU, NVLink.
• Cети передачи данных: EDR InfiniBand.
• Управляющая сеть: Gigabit Ethernet.
• Производительность кластера (ТФЛОПС): 55,84 (пиковая), 40,39 (Linpack)

Производительность обеспечивается графическими ускорителями NVIDIA Tesla P100 на архитектуре Pascal, а обмен данными между центральным процессором POWER8 и графическим процессором осуществляется через высокоскоростной интерфейс NVLink с пропускной способностью до 80 Гбайт в секунду.

Tesla P100 - один из самых передовых графических ускорителей для датацентров с интерфейсом NVIDIA NVLink, который позволяет создавать высокоскоростные вычислительные узлы, значительно повышая производительность высокомасштабируемых приложений. Архитектура Pascal обеспечивает максимально высокую производительность для решения задач в области HPC и сверхмасштабирования.

Как сказал Алексей Сорокин сайт, что при запуске вычислительного кластера есть два важных этапа работ. Первый – это сама поставка и базовая проверка оборудования. Второй этап – установка, отладка системного (операционные системы, планировщик, библиотеки и т.п.) и прикладного программного обеспечения. Задачи первого этапа были выполнены в срок, в рамках контрактных обязательств весной, по второй задаче основная работа была выполнена в начале лета.

У пакетов прикладных программ всегда есть особенности, которые нужно учитывать при их установке и дальнейшей эксплуатации, поэтому эта работа ведется постоянно.

Более того, те, кто подает заявки на исследование при помощи ресурсов суперкомпьютера, могут пользоваться как готовыми математическими библиотеками, так и своими авторскими.

15.11.2017, СР, 20:03, Мск, Текст: Валерия Шмырова

Суперкомпьютер JURECA российского производителя «Т-платформы» занял 29 место в Топе-500 суперкомпьютеров мира. Установка работает в суперкомпьютерном центре в Юлихе, Германия.

Суперкомпьютер JURECA, созданный российской компанией «Т-платформы» и работающий в немецком суперкомпьютерном центре в Юлихе, поднялся на 29 место в рейтинге Топ-500 самых мощных вычислительных систем мира. Топ-500 составляется два раза в год экспертами из американского Государственного научно-исследовательского вычислительного центра Министерства энергетики, а также из университетов Мангейма и Теннеси. Ранжирование суперкомпьютеров в нем происходит в соответствии с их уровнем производительности, продемонстрированной на стандартном тесте Linpack.

Обнародование результатов происходит на двух крупнейших тематических выставках-конференциях: в июне в Германии и в ноябре в США. В 49 рейтинге, обнародованном в июне 2017 г., JURECA занимал 80 место. В только что увидевшем свет юбилейном 50 рейтинге он поднялся на 29 строчку. По словам разработчиков, суперкомпьютер входит в тройку мощнейших вычислительных систем Германии. Его производительность на тесте Linpack достигает 3,78 PFlop/s, пиковая производительность - 6,56 PFlop/s.

Как пояснили по просьбе CNews в компании «Т-платформы», подъемом в рейтинге JURECA обязана тому, что в 2017 г. в Юлихе был построен так называемый бустер, то есть ускоритель. Он представляет собой отдельную систему, в которой используются ускорители Intel Phi 7250-F и интерконнект Intel Omnipath. Аппаратные платформы были созданы Intel, а интеграционными работами занималась компания Dell.

После этого в Юлихе появилась возможность объединить в одну систему кластер на стандартной процессорной архитектуре с интерконнектом InfiniBand, то есть собственно JURECA, и бустер на акселераторах и интерконнекте Omnipath. Теперь кластер и бустер могут обмениваться данными, и вся система одновременно может работать над выполнением одной общей задачи. Объединение было проведено при участии Intel, концепция принадлежит директору суперкомпьютерного центра Юлиха Томасу Липперту (Thomas Lippert).

Как пояснили в «Т-платформах», подобное объединение представляет собой технически непростую задачу. Проблема заключается в несовместимости интерконнектов, что мешает наладить обмен данными. Тем не менее, при запуске теста Linpack на обоих компонентах системы специалисты из Юлиха получили результат в 3,78 PFlop/s. Теоретическая суммарная мощность кластера и бустера оценивается в 6,5 PFlop/s, то есть реально полученный результат составляет порядка 60% от теоретического максимума.

Внешний вид суперкомпьютера JURECA

В результате Юлих не только обзавелся гибридной системой процессор+ускоритель, но и свел в единую систему две несовместимые сети. У этого приема есть перспективы применения и на более мощных системах, полагает Липперт. Ученый представляет суперкомпьютер будущего как объединение кластера и различных бустеров. При этом части кода приложений вроде Phi, которые хорошо воспринимают ускорение, могут работать на бустерах, а другие части, которые не ускоряются или замедляются при миграции с архитектуры x86 - на кластере.

В пятидесятом Топ-500, обнародованном 13 ноября 2017 г., представлены три российских суперкомпьютера, как и в предыдущей редакции рейтинга. Однако год назад, в ноябре 2016 г., российских суперкомпьютеров в списке было пять. Три системы в рейтингах за 2017 г. - это самый низкий показатель со времен ноября 2006 г., когда отечественных суперкомпьютеров в Топ-500 было всего два.

Суперкомпьютер «Ломоносов-2» занял 63-е место, в то время как в июне находился на 59 строчке. Его пиковая производительность согласно рейтингу составляет 2,96 PFlop/s, а производительность на тесте Linpack равняется 2,1 PFlop/s.

На 227-ом месте находится суперкомпьютер «Ломоносов», пиковая производительность которого оценивается в 1,7 PFlop/s, а производительность на тесте Linpack достигает 901,9 TFlop/s. Оба суперкомпьютера были построены компанией «Т-Платформы» и используются в Научно-исследовательском вычислительном центре МГУ имени М. В. Ломоносова.

На 412-ой строчке рейтинга находится суперкомпьютер «Политехник РСК Торнадо», до этого занимавший 298-е место. Производительность компьютера на тесте Linpack достигает 658,1 TFlop/s при пиковой производительности 829,3 TFlop/s. Система работает в Санкт-Петербургском государственном политехническом университете, ее производителем является компания РСК.

Следует отметить, что хоть Россия и сохранила с прошлого раза свои позиции по количеству суперкомпьютеров, представленных в рейтинге, ее доля в суммарной производительности 500 мощнейших систем мира упала - с 0,489% до 0,433%, если говорить о производительности по тесту Linpack, и с 0,484% до 0,41%, если говорить о пиковой производительности.

Рекордное количество российских компьютеров было представлено в редакции Топа-500 за июнь 2011 г. - в список попали 12 отечественных систем. Их доля в общей вычислительной мощности рейтинга составляла на тот момент 2,277% по результатам теста Linpack и 2,69% по пиковой производительности. После этого последовал спад - уже в рейтинге за ноябрь того же года количество компьютеров сократилось до пяти, доля в производительности по Linpack - до 1,408%, доля в пиковой производительности - до 1,737%.

К ноябрю 2014 г. России удалось несколько отвоевать утраченные позиции. Количество отечественных компьютеров в топе выросло до девяти, их доля в производительности по Linpack достигла 1,585%, а в пиковой производительности - 1,698%. Однако за этим последовал постепенный спад до нынешнего состояния.

По словам Елены Чураковой , представителя компании «Т-платформы», Россия теряет позиции в Топ-500 по причине отсутствия новых крупных суперкомпьютерных проектов в последние годы. Чтобы попасть в Топ-500 суперкомпьютер в настоящий момент должен иметь пиковую мощность не ниже 700 TFlop/s. Таких установок в России всего три, как следует из российского суперкомпьютерного рейтинга Топ 50.

По мысли Чураковой, быстро изменить ситуацию могут только государственные инвестиции, за счет которых создаются наиболее мощные суперкомпьютеры в мире. Она приводит в пример госпрограммы США, Китая, Японии и европейских стран.

«В Америке, например, только Министерство энергетики финансирует несколько разных программ по развитию суперкомпьютерных технологий с ежегодным бюджетом около $2 млрд, а специально созданная пару лет назад «Национальная стратегическая компьютерная инициатива» должна объединить усилия и бюджеты разных министерств для создания суперкомпьютеров экзафорпсной производительности. В России никогда не было отдельной суперкомпьютерной программы, за исключением относительно небольших программ «СКИФ» и «СКИФ-ГРИД» Союзного государства в 2000-2010 годах», - отмечает Чуракова.

По ее словам, отдельные ведомства, включая Минобрнауки, пытаются запустить такую программу. Если эти усилия увенчаются успехом, России понадобится достаточно немного времени, чтобы отвоевать обратно позиции в Топ-500, поскольку страна располагает всем необходимым для самостоятельного производства суперкомпьютеров

Первое место Топ-500 суперкомпьютеров мира за ноябрь 2017 г., как и в прошлый раз, занимает китайская система Sunway TaihuLight. Установка была создана в Национальном научном центре проблем проектирования и производства параллельных вычислительных систем Китая. Пиковая производительность системы достигает 125 PFlop/s, тест Linpack показывает производительность в 93 PFlop/s.

Второе место удерживает также китайский суперкомпьютер Tianhe-2, который работает в Национальном суперкомпьютерном центре в Гуанчжоу. Его пиковая производительность равняется 54,9 PFlop/s, а производительность на тесте Linpack составляет 33,86 PFlop/s.

Третью позицию по-прежнему занимает суперкомпьютер Piz Daint, установленный в Национальном суперкомпьютерном центре Швейцарии. Его производительность на тесте Linpack достигает 19,6 PFlop/s, пиковая производительность равняется 25,3 PFlop/s.

Четвертую строчку списка занял суперкомпьютер ZettaScaler-2.2, который работает в Научно-технологическом бюро исследования земли и моря в Японии. На тесте Linpack он продемонстрировал производительность в 19,14 PFlop/s. Благодаря ускорителям PEZY-SC2, которыми были дополнены процессоры Intel Xeon, суперкомпьютер располагает самым большим в топе количеством ядер - 19,86 млн.

На пятом месте оказался суперкомпьютер Titan Cray XK7, установленный в Национальной лаборатории в Ок-Ридже Министерства энергетики США. Его производительность на тесте Linpack равняется 17,59 PFlop/s, а пиковая производительность - 27,1 PFlop/s.

Установки из США также занимают строчки с шестой по восьмую, на девятом и десятом местах находятся японские системы.

Рис. 1. В.А.Мельников и С.А.Лебедев

В 1979 г. появляется Эльбрус -1 — компьютер на основе суперскалярного RISC-процессора, разработанный в ИТМиВТ, генеральный конструктор В.С.Бурцев . В 1984 гг. под его руководством создан 10-процессорный суперкомпьютер Эльбрус-2, который использовался в Российской противоракетной системе, ЦУПе, Арзамасе-16 и Челябинске-70. .

Проект 16-процессорного компьютера Эльбрус-3 производительностью 125 млн операций в секунду с большой локальной оперативной памятью для каждого процессора (16 Мбайт) и глобальной общей для всех процессоров памятью (2 Гбайт) появился в 1985 г. Ключевой фигурой в его создании был Борис Арташесович Бабаян, окончивший Московский физико-технический институт (в 1957 г.) Параллельно с развитием Эльбрусов в 80-е годы разрабатывались матричные процессоры ПС-2000 и ПС-3000. Однако громоздкие Эльбрусы, несмотря на использование в них ряда интересных архитектурных решений, проигрывали зарубежным суперкомпьютерам из-за несовершенной элементной базы.

Рис. 2. В.С.Бурцев

В 1986 году вышло постановление правительства СССР о создании вычислительного комплекса "Эльбрус-90 микро". Обязательным условием было использование в новой разработке только отечественных решений, элементной базы и программного обеспечения. К 1990 году микропроцессор для "Эльбрус-90 микро" был спроектирован, началась подготовка к его изготовлению в Зеленограде. Но в стране начались политические и экономические преобразования, обрушившие электронную промышленность. Большинство разработчиков из ИТМиВТ ушло, часть из них оказалась в компании МЦСТ, созданной Б.А.Бабаяном. Именно в МЦСТ (научный руководитель Б.А.Бабаян, генеральный директор Александр Ким), входящей в группу компаний Эльбрус, были продолжены работы над компьютерами семейства Эльбрус.

Рис. 3. Б.А.Бабаян

В конце 1997 года были завершены заводские, а в 1998-м — государственные испытания "Эльбруса-90 микро", утверждена документация для серийного производства, изготовлена опытная партия. "Эльбрус-90 микро" отличается от предыдущих Эльбрусов несравненно меньшими габаритами и большей надежностью.

Дальнейшие разработки МЦСТ — микропроцессор E2k, создаваемый по архитектуре EPIC (командные слова по 512 бит) и 0,13 мкм технологии стандартных блоков, и суперЭВМ Эльбрус-3М с производительностью 8 млрд операций/с на один процессор. Эти решения полностью отечественные, хотя заказы на производство микропроцессоров E2k размещаются в Израиле и на Тайване.

В 2004 г. коллектив разработчиков Эльбрусов во главе с Б.А.Бабаяном перешел на работу в компанию Intel.

Современные отечественные суперЭВМ строятся на зарубежной элементной базе.

В 2002 г. в список 500 наиболее производительных компьютеров мира (Тор500) впервые вошел российский суперкомпьютер, заняв 74-е место. Это суперкомпьютер МВС-1000М , установленный в Межведомственном суперкомпьютерном центре (создан в 1996 году совместным решением Российской академии наук, Министерством науки и технологии, Министерством образования и Российским фондом фундаментальных исследований) и имеющий производительность 735 Gflops. Его разработка велась под руководством В.К.Левина. В состав МВС-1000М входят 5 вычислительных узлов, один управляющий узел, коммутирующая сеть Myrinet. Суперкомпьютер построен на процессорах Alpha, число процессоров 768. Объем оперативной памяти системы — 768 Гбайт. Система работает под управлением операционной системы Red Hat Linux 6.2, поддерживающей многопроцессорные системы.

Рис. 4. МВС-1000М

В списке Тор500 2004 года на 210 месте значится новый российский компьютер МВС-5000БМ производительностью 1,4 Tflops, выполненный как BladeServer на 336 микропроцессорах PowerPC 1,6 ГГц, коммутирующая система Myrinet.

Отрадно, что в этом списке на 98-м месте появился установленный в Белоруссии компьютер СКИФ К-1000 с производительностью в 2 Tflops, в создании которого участвовали около 20 российских и белорусских предприятий, включая Институт программных систем РАН. Он выполнен на микропроцессорах Opteron 2,2 ГГц, коммутирующая система построена на основе технологии Infiniband.

В 2008 г. в России построен суперкомпьютер "СКИФ МГУ " (рис. 5) в рамках совместной с Беларуссией программы "СКИФ-ГРИД". Его пиковая производительность 60 Tflops, а производительность на тесте Linpack — 47 Tflops, в нем использованы 1250 четырехъядерных процессоров Intel Xeon E5472. Оперативная память 5,5 Тбайт, системная - InfiniBand, площадь 96 м 2 , потребляемая мощность - 330 кВт. Научным руководителем программы "СКИФ-ГРИД" является С.Абрамов (рис. 6).