UP: 10.29 10 правил Хольцмана и рекомендации для написания программ, критичных в отношении безопасности     Next: 10.29.2 Динамика использования разных языков программирования за последнее десятилетие

10.29.1 Суперкомпьютеры и Watson

Семенов Ю.А. (ИТЭФ-МФТИ)
Yu. Semenov (ITEP-MIPT)

Понятие суперкомпьютера относительно. Машина, которая сегодня мощнее других и считается суперкомпьютером, завтра может занять более скромную позицию.

В связи с тем, что источником знаний об окружающем мире помимо теории и эксперимента стало моделирование на компьютерах, роль суперкомпьютеров стала определяющей. Суперкомпьютеры используются в различных областях науки, для оптимизации технологических процессов, разработки лекарств и т.д. Суммарная вычислительная мощность суперкомпьютеров характеризует уровень развития технологий в стране.

История суперкомпьютеров началась в 1960-х годах (компания CDC - компьютер 6600). Компьютер же Titan этой же фирмы - рекордсмен 2012 года, мощнее этого первого почти в 20 млрд. раз.

Существует несколько технологий построения суперкомпьютеров. Основное направление связано с распараллеливанием вычислительных операций, во втором - делается попытка повысить вычислительную мощность каждого из узлов. Получили распространение также распределенные вычислительные системы типа GRID.

Впрочем следует принимать во внимание тот факт, что iPhone 6 (2013год) имеет вычислительную мощность - 1,435 гфлопс (а эта штука поместится в вашем кармане), а PlayStation 4 - 102,4 гфлопса. Стоимость одного Гфлопса в 1961 году составляла 10¹⁸$, а в 2013 - только 0,12$.

На июнь 2011 года самым мощным в мире суперкомпьютером являлся K computer, построенный компанией Fujitsu в Кобе, Япония (первое место на тот момент в списке Top500). Этот компьютер содержит в себе 672 стойки и 68544 Fujitsu SPARC64 VIIIfx процессорных восьмиядерных модулей с 8 блоками памяти каждый (тактовая частота 2,2 ГГц). Хотя эта машина закончена лишь наполовину, она достигла производительности (по LINPACK) 8,162 петафлоп/c (10квадрильонов операций в секунду). К моменту завершения сборки и отладки в 2012 году эта супер-ЭВМ будет содержать 864 стоек (705024 процессорных ядер) и достигнет производительности 10 петафлоп/c. Его энергоэффективность составляет 2,2 Гфлопс/Вт, что выводит его на первое место и в списке Green500. Энергопотребление составит ~5×10⁶Вт (мощность первой АЭС в Обнинске). Предыдущий суперкомпьютер-рекордсмен был китайским (Tianhe-1A) и обладал производительностью 2,6 петафлоп/cек. Американский Jaguar (Окридж) имел производительность 1,75 петафлоп/c. По объему памяти новая машина вдвое превосходит лучшие машины мира, а по производительности мощнее пяти машин, следующих за ней во всемирном рейтинге. Компьютер расположен в RIKEN Advanced Institute for Computational Science. Из рисунка ниже видно, что современная вычислительная технология похоже заходит в тупик. Чего ждать дальше - компьютер-город со встроенной атомной электростанцией для его питания и охлаждения? Целью разработчиков является достижение энергоэффективности на уровне 50 Гфлопс/Вт (до 2025г).

Огромные вычислительные мощности используются для моделирования ядерного оружия (США и Китай).

Рис. 0.2A. Суперкомпьютер- рекордсмен 2011 года (K computer; Япония)

Рис. 0.2Б. Суперкомпьютер- рекордсмен 2012 года (Titan; Окридж, США)

В последних числах мая появилось сообщение о запуске в NUDT (National University of Defense Technology, Changsha, Китай) суперкомпьютера Tianhe-2 с производительностью 54,9 петафлоп/c. Его изготовление обошлось в 290 млн. долларов. При его разработке использовано 32,000 многоядерных процессоров Intel Xeon (3120000 ядер). Согласно сообщению профессора Dongarra, система содержит по 2 узла на плате, 16 плат в раме, 4 рамы на стойку и 125 стоек. Каждый узел имеет 88 ГБ памяти. Тактовая частота 1,1 ГГц. Компьютер потребляет 24 МВт. Система охлаждения потребляет 80 кВт. Смотри Visit to the National University for Defense Technology Changsha, China. Стоимость электроэнергии для этой машины составит 24 млн. долларов в год.

Китайский суперкомпьютер Tianhe-2 (Млечный путь-2) третий год подряд занимает первое место в списке лучших компьютеров мира Top 500 (см. "China’s Supercomputer Prowess Is Part of a Greater Plan", Nick Farrell, on September 01 2014, а также Суперкомпьютеры и Watson). Считается, что США выйдут на этот уровень в 2016 году. Следует учитывать, что Китай, начиная с 2008 года расходует на НИР-ОКР 163 млрд. долларов ежегодно. При этом эти расходы увеличиваются на 18% от года к году и это при спаде или отсутствии роста таких расходов в других странах из-за экономического кризиса. Профессор Jack Dongarra, который видел этот компьютер, утверждает, что, хотя сейчас большая часть компонентов изготовлены в США, Китай намерен в ближайшее время наладить их производство у себя. В частности в Китае разработан 16-ядерный процессор ShenWei SW1600, работающий с тактовой частотой 975 Мгц. Архитектура этого микропроцессора, предназначенного для военных приложений, похожа на Digital’s Alpha.

Одним из путей понижения энергопотребления является объединение процессора и памяти на одном чипе (3D-чип). Другим решением может стать уход от ЗУ с произвольным доступом (энерго мало эффективна) к памяти NVRAM (энергонезависимой).

Рис. 0.2В. Суперкомпьютер- рекордсмен 2013 года (Tianhe-2 - "Млечный путь", Китай)

Вполне возможно, что Китай станет одним из ведущих поставщиков суперкомпьютеров.

Китай анонсировал (июль 2016) создание нового суперкомпьютера-рекордсмена Sunway TaihuLight с производительностью 93 петафлопс с перспективой увеличения до 125,4 петафлопса (см. "China's secretive super-fast chip powers the world's fastest computer", Agam Shah, IDG News Service, June 20, 2016). Какое-то время назад США отказало в поставках чипов процессоров для обновления компьютера Tianhe-2. Сейчас Китай тратит больше ресурсов на ИТ, чем на нефть. Новый суперкомпьютер построен на основе китайских чипов процессоров ShenWei SW26010. Эти чипы имеют 64 битов и содержат в себе по 260 ядер, что также является мировым рекордом. Каждый такой чип имеет производительность 3 терафлопса. В новом суперкомпьютере использовано 10.649.600 процессорных ядер. в 40960 модулях. Компьютер имеет 1,3 петабайт памяти и потребляет 15,3 мегаватта, что меньше 17,8 МВт Tianhe-2, который имеет почти в два раза меньшую производительность. Внешний вид суперкомпьютера представлен ниже.

На текущий момент (июнь 2013) в мире существует более 10 компьютеров с производительностью свыше 1 петафлоп/c (см. Top500 в июне 2014). В РФ имеется компьютер "Ломоносов" (МГУ) с 1,7 петафлоп/c. Из этих десяти Китай и Япония имеют по две, США - 5, Франция - 1. В списке самых мощных машин (Top 500) Китаю принадлежит 75 систем. Китай занимает второе место в мире, опережая Японию, Францию, Великобританию и Германию.

В первых числах июня появилось сообщение о начале работы в США суперкомпьютера Summit (OLCF-4 департамент энергетики, Oack Ridge) с вычислительной мощностью 200 петафлопс, превзойдя самый мощный китайский компьютер на 60%. Компьютер содержит 4 608 серверов IBM Power Systems AC922, которые содержат 9 тысяч 22-ядерных процессоров IBM Power9 и больше 27 тысяч графических процессоров NVIDIA Tesla V100. Объем памяти 10 петабайт. Потребляемая мощность - 13 МВт.

В ноябре 2012 году на первое место вышел компьютер из Окриджа (Теннесси, США) с производительностью 17,59 Пфлоп/с. P=8,2 МВт. S=404 м²; память - 710ТБ, а K-computer переместился на 3-ю позицию. Второе место на текущий момент занимает Sequoia (BlueGene/Q - IBM). См. TOP500. Но эти машины были лидерами чуть больше полугода, в конце мая 2013 года их обошла китайская машина Tianhe-2 (54,9 петафлоп/c). Машина Tianhe-2 содержит более 3 миллионов процессорных ядер (Intel).

Суперкомпьютер Cray XK7 “Titan” (ORNL, министерство энергетики США) будет выведен из эксплуатации 1-го августа 2019 года (см. "The Titan supercomputer is being decommissioned: a costly, time-consuming project", Andy Patrizio, Network World, July 10, 2019). Компьютер начал свою работу в 2012 году и имеет производительность 27 петафлопс. После семи лет работы компьютер признан устаревшим, он будет заменен в 2021 году на Frontier OLCF-5 (процессоры Epyc и GPU Nvidia). Ожидаемая производительность этой системы ~1.5 экзафлопс.

Любопытно, что Эрих Штромайер (Erich Strohmaier) разработчик списка Top500, в 1993 году сказал, что он не ожидает увидеть машину петафлопного класса. 15 лет назад трудно было сказать, будут ли 500 самых мощных машин иметь суммарную мощность 1 терафлопс.

Прогресс в сфере суперкомпьютинга стремителен. Так машина Roadrunner Лос Аламосской Национальной лаборатории (США), которая занимала верхнюю позицию в мировом рейтенге в июне 2008 и являлась первой, которая превзошла петафлопный барьер, сейчас занимает лишь десятое место (а в начале 2013г - 22-е).

Современный суперкомпьютер может содержать более 100000 узлов. При этом следует иметь в виду, что каждый из них имеет конечную надежность. В 2001 году время наработки на отказ супер-ЭВМ равнялось 5 часам, а в 2012 - 55 часов. Для 100000-узлового компьютера только 35% активности будет приходиться на продуктивную работу. Остальное время займет формирование точек восстановления (check point) и другие вспомогательные операции.

Наиболее частым приложением существующих супер-ЭВМ являются научные исследования. На эти задачи работает 75 таких машин (или 15%). Далее следует 36 супер-ЭВМ, работающих в сфере финансов, 33 - предоставляют различные сервисы, 23 подключены к World Wide Web и 20 работают на оборону.

Фирма IBM владеет наибольшим числом машин из этого списка (42%), далее следует Hewlett-Packard (31%) и Cray (6%). США обладают наибольшим числом супер-ЭВМ (256), Китай (62), Германия (30), Великобритания (27), Япония (26) и Франция (25). Всего в мире имеется около 500 суперкомпьютеров.

Сейчас (начало 2012 г) суперкомпьютер выполняет до 10 квадрильонов операций в сек. Смотри James Niccolai, Top500 list passes another milestone: 10 petaflops, IDG News Service, к 2015 году в мире будет использоваться 7 млрд. мобильных устройств.

Компания Intel делает первые шаги в направлении замены проводной передачи данных в компьютере на оптоволоконную. Ожидается, что это позволит увеличить скорость передачи и повысить надежность. Такая технология получила название кремниевой фотоники. Под эту технологию разрабатывается новая архитектура стоек. Разработаны первые модули кремниевой фотоники, которые позволяют передавать данные со скоростью 100Гбит/c. Речь идет о передаче данных не только между стойками, но и внутри стоек. Опробована передача данных через интерфейсы Thunderbolt на расстояния 100м.

Ожидается (середина 2015 года), что очередные суперкомпьютеры будут стоить более 550 млн. долларов.

Компания NVIDIA заявила, что GPU персонального компьютера TITAN V, базирующееся на Volta, сможет обеспечить производительность 110 терафлопсов, что в 9 раз больше предшественника (см. "NVIDIA's $3000 TITAN V GPU could turn 'PC into AI supercomputer'", Conner Forrest, December 8, 2017). По существу это превратит персональный компьютер в супер-ЭВМ. Данное GPU содержит в себе более 21 миллиарда транзисторов и является самым мощным в мире на текущий момент. Это устройство в два раза превосходит лучшие образцы по энергоэффективности и хорошо приспособлено для задач глубокого обучения. Стоимость модуля составляет 3000$. Использование GPU становится все более популярным, смотри упоминание Piz Daint ниже.

Плата микро-ЭВМ Raspberry Pi стоит 35$, но система из 750 таких плат уже может иметь мощность суперкомпьютера и быть пригодна для обработки больших объемов данных (см. "Raspberry Pi supercomputers: From DIY clusters to 750-board monsters", Nick Heath, July 18, 2018). Системы из нескольких плат Raspberry Pi могут применяться, например, для быстрой шифровки-дешифровки сообщений или даже для попыток взлома некоторых видов криптозащиты. 16-платная система используется в университете Единбурга в качестве супер-ЭВМ. 300-платная система, созданная в 2012 году, работает в качестве суперкомпьютера в облаке. 750-платная система стоимостью $48,750 в LANL будет расширена до 10000 Raspberry Pi. Учитывая, что такие платы потребляют всего 2-3 Вт, такие системы можно считать крайне экономичными.

Лучшие суперкомпьютеры из списка Top500 оказались также и самыми эффективными (см. Green500; 20 ноября 2017) (см. "Supercomputing is becoming super-efficient, Top500 list shows", Peter Sayer, IDG News Service, November 13, 2017). В списке Top500 представлено 169 компьютеров из США и 160 из Китая. В Японии находятся 35 машин из этого списка, из Германии - 20, из Франции - 18 и из Великобритании - 15. Третье место по вычислительной мощности (19,59 петафлопс) занимает компьютер из Швейцарии Piz Daint.

22-го сентября 2011 г. появилась заметка компании IBM о компьютере Watson (см. Talking computer will change the world; promises not to kill you. Машина была названа Watson в честь первого президента компании IBM Thomas'а J. Watson. Разработчики (во главе с David'ом Ferrucci) позиционируют Watson как компьютерную систему искусственного интеллекта. Он ориентирован на работу с текстами на естественном языке. Watson может обрабатывать до миллиона книг в сек (500 гигабайт/c). Этот компьютер содержит в себе 90 серверов Power7 750, каждый из которых имеет по 4 восьмиядерных процессора Power7. Оперативная память этой машины содержит 15 Тбайт. Начало работ над проектом Watson относится к 2007 году.

Компьютер получил название в честь президента IBM Томаса Уотсона (Thomas Watson), создавшего в 1964 году крайне успешную архитектуру машин серии IBM 360.

Хотя компьютер Watson лишь с некоторой натяжкой может быть отнесен к суперкомпьютерам (143-е место в списке Top500 на начало июня 2013), он занимает особую позицию. Это первый компьютер, который может работать с текстами на естественном языке и в нем реализован важный шаг в обучении машины пониманию контекста. Эта машина содержит в себе все данные Wikipedia. Сами создатели также не относят машину к творениям искусственного интеллекта, так как не знакомы с определением этого понятия.

Рис. 3. Пример вопросов, на которые способен отвечать компьютер Watson

Watson в ответах на вопросы оставляет далеко позади себя Apple's Siri.

Компания IBM пытается коммерциализовать использование вычислительной машины Watson (победитель телевизионного шоу Jeopardy). Среди возможных применений рассматривается сложная диагностика различных заболеваний, в частности раковых. Эта машина способна воспринимать и анализировать человеческую речь. С точки зрения программирования эта машина не является детерминистской, она управляется запросами, анализирует накопленную информацию и возвращает данные, которые с ее точки зрения являются наиболее релевантными полученному запросу. Машина может также использоваться как советчик для врача. ("Interview: Using IBM Watson for smart decisions", Dan Cerruti, 26 марта 2013).

Компания IBM предлагает свой суперкомпьютер Watson в качестве платформы для разработки облачных приложений, ориентированных на когнитивный компьютинг (см. "IBM to offer Watson supercomputer as cloud development platform", Chris Kanaracus, IDG News Service, November 14, 2013). Компьютер Watson содержал в себе 2900 ядер с оперативной памятью 15 ТБ, сейчас для указанных целей будет использоваться версия с 16-32 ядер и памятью 256 ГБ. Объемы информации во всех областях быстро растут. Обработка этих данных нашла применение в аналитических экономических прогнозах. Но нельзя исключить, что когнитивный компьютинг может стать и еще одним источником научных знаний.

Компания IBM усовершенствовала программу анализа данных Watson Discovery Advisor так, что она стала способна ответить на ваши вопросы, до того, когда вы их задали (см. "IBM Watson now answers your questions before you ask", PCWorld). Считается, что эта программа будет полезной в медицине, финансах и юридической деятельности. Можно считать, что эта система не запрограммирована, а обучена.

В области стека программ для суперкомпьютеров и даже в разработке комплектующих намечается широкое международное сотрудничество.

Вслед за Watson появились машины Siri, Cortana и пр. того же класса и назначения.

Помимо аналитики и медицинской диагностики компьютер Watson использован для создания рецептов необычных блюд, например, свекольный кекс с шоколадом. 386 университетов сотрудничают с IBM по приложениям Watson и аналитики.

Энергетические компании встраивают информационные центры в свою высоковольтную сеть (см. "Power company plugs data center directly into high-voltage grid", James Niccolai, IDG News Service, December 8, 2014). Такое решение позволяет понизить стоимость вычислений. К центру подводится непосредственно 230-киловольтная линия. Сегодня вычислительные центры потребляют около 2% всей вырабатываемой в США энергии, а к 2030 году эта доля составит 20% (оценка Electric Power Research Institute).

Исследовательская лаборатория армии США (ARL, министерство обороны США) планирует использовать в своих разработках в 2015-30гг суперкомпьютер с вычислительной мощностью 100 петафлопс (см. "U.S. Army plans for a 100 petaflop supercomputer", Andy Patrizio, February 25, 2015). Компьютер будет применен и для информационной аналитики. В будущем это направление разработок будет являться стратегическим.

Хотя компьютер-рекордсмен сегодня (начало ноября 2014) принадлежит Китаю, наибольшей компьютерной мощностью владеет США. Россия в этом списке находится на 42 месте. Смотри журнал Chip 10/2014 стр. 103.

Рис. 4. Распределение суперкомпьютерных мощностей по странам

Сообщается о разработке экономичного суперкомпьютера Nvidia DGX-1 (см. . "Nvidia's DGX-1 supercomputer packs the horsepower of 250 servers", Agam Shah, IDG News Service, April 5, 2016). Этот компьютер эквивалентен 250 стандартным серверам. Вычислительная мощность этого компьютера составляет 170 терафлопс, а набор процессоров в одной стойке может обеспечить 2 петафлопсов.DGX-1 примерно в 56 раз быстрее чем сервер с двумя чипами Intel Xeon-E5 2697 v3.

Семь суперкомпьютеров соревновались в Лас Вегасе при поиске уязвимостей программного обеспечения (Cyber Grand Challenge) (см. "Supercomputers offer a look at cybersecurity's automated future", Michael Kan, IDG News Service, Aug 5, 2016). Соревнование проходило в 96 туров. Это мероприятие спонсировалось министерством обороны США. Было необходимо выявить уязвимость и внести исправления в код, чтобы парировать угрозу. Приз в 2 млн. долларов выиграла машина “Mayhem”. Среди прочего, в ходе соревнования решалась задача выявления уязвимостей ОС LINUX. Считается, что компьютерам потребуется несколько десятков лет эволюции, прежде чем они смогут превзойти человека в поисках уязвимостей кода.

Компания NVIDIA заявила, что GPU персонального компьютера TITAN V, базирующееся на Volta, сможет обеспечить производительность 110 терафлопсов, что в 9 раз больше предшественника (см. "NVIDIA's $3000 TITAN V GPU could turn 'PC into AI supercomputer'", Conner Forrest, December 8, 2017). По существу это превратит персональный компьютер в супер-ЭВМ. Данное GPU содержит в себе более 21 миллиарда транзисторов и является самым мощным в мире на текущий момент. Это устройство в два раза превосходит лучшие образцы по энергоэффективности и хорошо приспособлено для задач глубокого обучения. Стоимость модуля составляет 3000$.

Суперкомпьютер Cray XK7 “Titan” (ORNL, министерство энергетики США) будет выведен из эксплуатации 1-го августа 2019 года (см. "The Titan supercomputer is being decommissioned: a costly, time-consuming project", Andy Patrizio, Network World, July 10, 2019). Компьютер начал свою работу в 2012 году и имеет производительность 27 петафлопс. После семи лет работы компьютер признан устаревшим, он будет заменен в 2021 году на Frontier OLCF-5 (процессоры Epyc и GPU Nvidia). Ожидаемая производительность этой системы ~1.5 экзафлопс.

Компания Cray анонсировала создание суперкомпьютера El Capitan, который будет установлен в Lawrence Livermore National Laboratory (министерство энергетики США) (см. "El Capitan World’s Fastest Supercomputer", Cray). Компьютер использует процессоры AMD EPYC и высокопроизводительную память, а также (HBM)-enabled AMD Radeon GPU. Система планируется к запуску в 2023 году и будет иметь производительность 2 экзафлопса. В основу системы положена архитектура HPE's Cray Shasta.

В период с 1995 по 2020 годы наблюдается почти линейный рост мощности суперкомпьютеров с минимальным замедлением. Смотри рис. 5, взятый из vikipedia.

Рис. 5. Рост вычислительной мощности в мире в 1995-2020 годы

Кристофари (март 2020 год) – суперкомпьютер, созданный по заказу Сбербанка, для работы с алгоритмами искусственного интеллекта. Компьютер построен на основе NVIDIA DGX-2, оснащенных вычислительными ускорителями Tesla V100. Кристофари имеет эффективную производительность порядка 6,7 петафлопс (29 место в мире на начало 2020 года; размещен в Сколково, имеет облачный доступ).

Главным поставщиком суперкомпьютеров в мире стала китайская компания Lenovo. (см. "ComputerWeekly 14-20 июля 2020). В списке Top 500 в июне 2020 Китай поставил 228 компьютеров, в то время как 20 лет назад в 2000 году в Китае было только два. Сейчас в Китае работает 117 суперкомпьютеров, 44 из них (38%) изготовлено Lenovo. Два последних суперкомпьютера созданы компанией Huawei, которая поставила также два таких компьютера в Германию. Впрочем, большинство остальных машин поставлено в США. Таким образом, Lenovo потеснила такие компании как Cray, Dell и IBM. Раньше компания Lenovo была в основном поставщиком компьютеров среднего класса.

На текущий момент (июнь 2020) самый мощный компьютер Fugaku разработан в Японии и изготовлен компанией Fujitsu (начало разработки 2014 год). Он имеет производительность 4,1443*10¹⁷ FLOPS.Этот компьютер в 2,8 раза мощнее ЭВМ Summit компании IBM. Компьютер собран на 158 976 процессорах Fujitsu A64FX. Оперативная память - HBM2 32 ГиБ/узел. Суперкомпьютер потребляет - 28,3 МВт. Компьютер установлен в Центре вычислительных наук Института физико-химических исследований (RIKEN) в Кобе, Япония.

Ожидается, что с весны 2023 года будет введен в строй суперкомпьютер Frontier c производительностью. более 10¹⁸ операций в секунду. Машина будет установлена в Окриджской национальной лаборатории США. Компьютер будет потреблять 21 мегаватт.

Великобритания в этом году по мощности суперкомпьютеров оказалась на 9-ом месте, позади Канады и Ирландии. Великобритания намерена в ближайшие 10 лет потратить на супер-ЭВМ 830 миллионов фунтов стерлингов. Среди задач для этой техники на первом месте стоит проблема изменения климата.

Компания NVIDIA анолнсировала свой новй суперкомпьютер DGX, в котором использованы суперчипы GH200 Grace Hopper (см. NVIDIA announces new class of supercomputer and other AI-focused data center services". Megan Crouse, on May 31, 2023). Предполагается, что этот компьютер окажется во главе своего класса. Производительность на уровне 1 экзафлопса. В компьютере применена технология ИИ. Компьютер имеет 144 терабайт памяти. К компьютеру предусмотрен облачный доступ.

Для некоторых задач, решаемых на суперкомпьютерах, практически нет средств верификации результата, что порождает серьезные риски.

Ссылки

• IBM Watson: The smart person's guide