up index search
   UP: 10.29 10 правил Хольцмана и рекомендации для написания программ, критичных в отношении безопасности

10.29.1 Суперкомпьютеры и Watson

Семенов Ю.А. (ИТЭФ-МФТИ)
Yu. Semenov (ITEP-MIPT)

Top500
Watson
Когнитивный компьютинг

В связи с тем, что источником знаний об окружающем мире помимо теории и эксперимента стало моделирование на компьютерах, роль суперкомпьютеров стала определяющей. Суперкомпьютеры используются в различных областях науки, для оптимизации технологических процессов, разработки лекарств и т.д. Суммарная вычислительная мощнсть суперкомпьютеров характеризует уровень развития технологий в стране.

История суперкомпьютеров началась в 1960-х годах (компания CDC - компьютер 6600). Компьютер же Titan этой же фирмы - рекордсмен 2012 года, мощнее этого первого почти в 20 млрд. раз.

Существует несколько технологий построения суперкомпьютеров. Основное направление связано с распараллеливанием вычислительных операций, во втором - делается попытка повысить вычислительную мощность каждого из узлов. Получили распространение также распределенные вычислительные системы типа GRID.

Впрочем следует принимать во внимание тот факт, что iPhone 6 (2013год) имеет вычислительную мощность - 1,435 гфлопс (а эта штука поместится в вашем кармане), а PlayStation 4 - 102,4 гфлопса. Стоимость одного Гфлопса в 1961 году составляла 1018$, а в 2013 - только 0,12$.

На июнь 2011 года самым мощным в мире суперкомпьютером являктся K computer, построенный компанией Fujitsu в Кобе, Япония (первое место на тот момент в списке Top500). Этот компьютер содержит в себе 672 стойки и 68544 Fujitsu SPARC64 VIIIfx процессорных восьмиядерных модулей с 8 блоками памяти каждый (тактовая частота 2,2 ГГц). Хотя эта машина закончена лишь наполовину, она достигла производительности (по LINPACK) 8,162 петафлоп/c (10квадрильонов операций в секунду). К моменту завершения сборки и отладки в 2012 году эта супер-ЭВМ будет содержать 864 стоек (705024 процессорных ядер) и достигнет производительности 10 петафлоп/c. Его энергоэффективность составляет 2,2 Гфлопс/Вт, что выводит его на первое место и в списке Green500. Энергопотребление составит ~5×106Вт (мощность первой АЭС в Обнинске). Предыдущий суперкомпьютер-рекордсмен был китайским (Tianhe-1A) и обладал производительностью 2,6 петафлоп/cек. Американский Jaguar (Окридж) имел производительность 1,75 петафлоп/c. По объему памяти новая машина вдвое превосходит лучшие машины мира, а по производительности мощнее пяти машин, следующих за ней во всемирном рейтинге. Компьютер расположен в RIKEN Advanced Institute for Computational Science. Из рисунка ниже видно, что современная вычислительная технология похоже заходит в тупик. Чего ждать дальше - компьютер-город со встроенной атомной электростанцией для его питания и охлаждения? Целью разработчиков является достижение энергоэффективности на уровне 50 Гфлопс/Вт (до 2025г).

Огромные вычислительные мощности используются для моделирования ядерного оружия (США и Китай).

Рис. 0.2A. Суперкомпьютер- рекордсмен 2011 года (K computer; Япония)

Рис. 0.2Б. Суперкомпьютер- рекордсмен 2012 года (Titan; Окридж, США)

В последних числах мая появилось сообщение о запуске в NUDT (National University of Defense Technology, Changsha, Китай) суперкомпьютера Tianhe-2 с производительностью 54,9 петафлоп/c. Его изготовление обошлось в 290 млн. долларов. При его разработке использовано 32,000 многоядерных процессоров Intel Xeon (3120000 ядер). Согласно сообщению профессора Dongarra, система содержит по 2 узла на плате, 16 плат в раме, 4 рамы на стойку и 125 стоек. Каждый узел имеет 88 ГБ памяти. Тактовая частота 1,1 ГГц. Компьютер потребляет 24 МВт. Система охлаждения потребляет 80 кВт. Смотри Visit to the National University for Defense Technology Changsha, China. Стоимость электроэнергии для этой машины составит 24 млн. долларов в год.

Китайский суперкомпьютер Tianhe-2 (Млечный путь-2) третий год подряд занимает первое место в списке лучших компьютеров мира Top 500 (см. "China’s Supercomputer Prowess Is Part of a Greater Plan", Nick Farrell, on September 01 2014, а также Суперкомпьютеры и Watson). Считается, что США выйдут на этот уровень в 2016 году. Следует учитывать, что Китай, начиная с 2008 года расходует на НИР-ОКР 163 млрд. долларов ежегодно. При этом эти расходы увеличиваются на 18% от года к году и это при спаде или отсутствии роста таких расходов в других странах из-за экономического кризиса. Профессор Jack Dongarra, который видел этот компьютер, утверждает, что, хотя сейчас большая часть компонентов изготовлены в США, Китай намерен в ближайшее время наладить их производство у себя. В частности в Китае разработан 16-ядерный процессор ShenWei SW1600, работающий с тактовой частотой 975 Мгц. Архитектура этого микропроцессора, предназначенного для военных приложений, похожа на Digital’s Alpha.

Одним из путей понижения энергопотребления является объединение процессора и памяти на одном чипе (3D-чип). Другим решением может стать уход от ЗУ с произвольным доступом (энерго мало эффективна) к памяти NVRAM (энергонезависимой).

Рис. 0.2В. Суперкомпьютер- рекордсмен 2013 года (Tianhe-2 - "Млечный путь", Китай)

Вполне возможно, что Китай станет одним из ведущих поставщиков суперкомпьютеров.

Китай анонсировал (июль 2016) создание нового суперкомпьютера-рекордсмена Sunway TaihuLight с производительностью 93 петафлопс с перспективой увеличения до 125,4 петафлопса (см. "China's secretive super-fast chip powers the world's fastest computer", Agam Shah, IDG News Service, June 20, 2016). Какое-то время назад США отказало в поставках чипов процессоров для обновления компьютера Tianhe-2. Сейчас Китай тратит больше ресурсов на ИТ, чем на нефть. Новый суперкомпьютер построен на основе китайских чипов процессоров ShenWei SW26010. Эти чипы имеют 64 битов и содержат в себе по 260 ядер, что также является мировым рекордом. Каждый такой чип имеет производительность 3 терафлопса. В новом суперкомпьютере использовано 10.649.600 процессорных ядер. в 40960 модулях. Компьютер имеет 1,3 петабайт памяти и потребляет 15,3 мегаватта, что меньше 17,8 МВт Tianhe-2, который имеет почти в два раза меньшую производительность. Внешний вид суперкомпьютера представлен ниже.

На текущий момент (июнь 2013) в мире существует более 10 компьютеров с производительностью свыше 1 петафлоп/c (см. Top500 в июне 2014). В РФ имеется компьютер "Ломоносов" (МГУ) с 1,7 петафлоп/c. Из этих десяти Китай и Япония имеют по две, США - 5, Франция - 1. В списке самых мощных машин (Top 500) Китаю принадлежит 75 систем. Китай занимает второе место в мире, опережая Японию, Францию, Великобританию и Германию.

В ноябре 2012 году на первое место вышел компьютер из Окриджа (Теннесси, США) с производительностью 17,59 Пфлоп/с. P=8,2 МВт. S=404 м2; память - 710ТБ, а K-computer переместился на 3-ю позицию. Второе место на текущий момент занимает Sequoia (BlueGene/Q - IBM). См. TOP500. Но эти машины были лидерами чуть больше полугода, в конце мая 2013 года их обошла китайская машина Tianhe-2 (54,9 петафлоп/c). Машина Tianhe-2 содержит более 3 миллионов процессорных ядер (Intel).

Любопытно, что Эрих Штромайер (Erich Strohmaier) разработчик списка Top500, в 1993 году сказал, что он не ожидает увидеть машину петафлопного класса. 15 лет назад трудно было сказать, будут ли 500 самых мощных машин иметь суммарную мощность 1 терафлоп.

Прогресс в сфере суперкомпьютинга стремителен. Так машина Roadrunner Лос Аламосской Национальной лаборатории (США), которая занимала верхнюю позицию в мировом рейтенге в июне 2008 и являлась первой, которая превзошла петафлопный барьер, сейчас занимает лишь десятое место (а в начале 2013г - 22-е).

Современный суперкомпьютер может содержать более 100000 узлов. При этом следует иметь в виду, что каждый из них имеет конечную надежность. В 2001 году время наработки на отказ супер-ЭВМ равнялось 5 часам, а в 2012 - 55 часов. Для 100000-узлового компьютера только 35% активности будет приходиться на продуктивную работу. Остальное время займет формирование точек восстановления (check point) и другие вспомогательные операции.

Наиболее частым приложением существующих супер-ЭВМ являются научные исследования. На эти задачи работает 75 таких машин (или 15%). Далее следует 36 супер-ЭВМ, работающих в сфере финансов, 33 - предоставляют различные сервисы, 23 подключены к World Wide Web и 20 работают на оборону.

Фирма IBM владеет наибольшим числом машин из этого списка (42%), далее следует Hewlett-Packard (31%) и Cray (6%). США обладают наибольшим числом супер-ЭВМ (256), Китай (62), Германия (30), Великобритания (27), Япония (26) и Франция (25). Всего в мире имеется около 500 суперкомпьютеров.

Сейчас (начало 2012 г) суперкомпьютер выполняет до 10 квадрильонов операций в сек. Смотри James Niccolai, Top500 list passes another milestone: 10 petaflops, IDG News Service, к 2015 году в мире будет использоваться 7 млрд. мобильных устройств.

Компания Intel делает первые шаги в направлении замены проводной передачи данных в компьютере на оптоволоконную. Ожидается, что это позволит увеличить скорость передачи и повысить надежность. Такая технология получила название кремниевой фотоники. Под эту технологию разрабатывается новая архитектура стоек. Разработаны первые модули кремниевой фотоники, которые позволяют передавать данные со скоростью 100Гбит/c. Речь идет о передаче данных не только между стойками, но и внутри стоек. Опробована передача данных через интерфейсы Thunderbolt на расстояния 100м.

Ожидается (середина 2015 года), что очередные суперкомпьютеры будут стоить более 550 млн. долларов.

Таблица наиболее производительных суперкомпьютеров из списка Top500 (июль 2013 г)

Позиция Сайт Система Число ядер Rmax (Тфлоп/с) Rпик (Тфлоп/c) P (МВт)
1 National Supercomputing Center in Tianjin
Китай
Tianhe-2 - NUDT YH MPP, Xeon Phi 1.1 GHz
NUDT
3120000 3386 54.9 17,8
2 DOE/SC/Oak Ridge National Laboratory
США
Titan - Cray XK7 , Opteron 6274 16C 2.200GHz, Cray Gemini interconnect, NVIDIA K20x
Cray Inc.
560640 17.590 27.112 8209
3 DOE/NNSA/LLNL
США
Sequoia - BlueGene/Q, Power BQC 16C 1.60 GHz, Custom
IBM
1572864 17173.8 20132.7 7890
4 RIKEN Advanced Institute for Computational Science (AICS)
Япония
K computer, SPARC64 VIIIfx 2.0GHz, Tofu interconnect
Fujitsu
705024 10510.0 11280.4 12660
5 DOE/SC/Argonne National Laboratory
США
Mira - BlueGene/Q, Power BQC 16C 1.60GHz, Custom
IBM
786432 8162.4 10066.3 3945
6 Forschungszentrum Juelich (FZJ)
Германия
JUQUEEN - BlueGene/Q, Power BQC 16C 1.600GHz, Custom Interconnect
IBM
393216 4141.2 5033.2 1970
7 Leibniz Rechenzentrum
Германия
SuperMUC - iDataPlex DX360M4, Xeon E5-2680 8C 2.70GHz, Infiniband FDR
IBM
147456 2897.0 3185.1 3423
8 Texas Advanced Computing Center/Univ. of Texas
США
Stampede - PowerEdge C8220, Xeon E5-2680 8C 2.700GHz, Infiniband FDR, Intel Xeon Phi
Dell
204900 2660.3 3959.0
9 National Supercomputing Center in Tianjin
Китай
Tianhe-1A - NUDT YH MPP, Xeon X5670 6C 2.93 GHz, NVIDIA 2050
NUDT
186368 2566.0 4701.0 4040
10 CINECA
Италия
Fermi - BlueGene/Q, Power BQC 16C 1.60GHz, Custom
IBM
163840 1725.5 2097.2 822
11 IBM Development Engineering
США
DARPA Trial Subset - Power 775, POWER7 8C 3.836GHz, Custom Interconnect
IBM
63360 1515.0 1944.4 3576
 12  CEA/TGCC-GENCI
Франция
Curie thin nodes - Bullx B510, Xeon E5-2680 8C 2.700GHz, Infiniband QDR
Bull SA
77184 1359.0 1667.2 2251
 13  National Supercomputing Centre in Shenzhen (NSCS)
Китай
Nebulae - Dawning TC3600 Blade System, Xeon X5650 6C 2.66GHz, Infiniband QDR, NVIDIA 2050
Dawning
120640 1271.0 2984.3 2580
14 NCAR (National Center for Atmospheric Research)
США
Yellowstone - iDataPlex DX360M4, Xeon E5-2670 8C 2.600GHz, Infiniband FDR
IBM
72288 1257.6 1503.6 1437
15 NASA/Ames Research Center/NAS
США
Pleiades - SGI ICE X/8200EX/8400EX, Xeon 54xx 3.0/5570/5670/E5-2670 2.93/2.6/3.06/3.0 Ghz, Infiniband QDR/FDR
SGI
125980 1243.0 1731.8 3987
16 International Fusion Energy Research Centre (IFERC), EU(F4E) - Japan Broader Approach collaboration
Япония
Helios - Bullx B510, Xeon E5-2680 8C 2.700GHz, Infiniband QDR
Bull SA
70560 1237.0 1524.1 2200
17 Science and Technology Facilities Council - Daresbury Laboratory
Великобритания
Blue Joule - BlueGene/Q, Power BQC 16C 1.60GHz, Custom
IBM
114688 1207.8 1468.0 575
18 GSIC Center, Tokyo Institute of Technology
Япония
TSUBAME 2.0 - HP ProLiant SL390s G7 Xeon 6C X5670, Nvidia GPU, Linux/Windows
NEC/HP
73278 1192.0 2287.6 1399
19 DOE/NNSA/LANL/SNL
США
Cielo - Cray XE6, Opteron 6136 8C 2.40GHz, Custom
Cray Inc.
142272 1110.0 1365.8 3980
20 DOE/SC/LBNL/NERSC
США
Hopper - Cray XE6, Opteron 6172 12C 2.10GHz, Custom
Cray Inc.
153408 1054.0 1288.6 2910
21 Commissariat a l'Energie Atomique (CEA)
Франция
Tera-100 - Bull bullx super-node S6010/S6030
Bull SA
138368 1050.0 1254.5 4590
27 Moscow State University - Research Computing Center
Russia
Lomonosov - T-Platforms T-Blade2/1.1, Xeon X5570/X5670/E5630 2.93/2.53 GHz, Nvidia 2070 GPU, PowerXCell 8i Infiniband QDR
T-Platforms
78660 901.9 1700.2 2800

Rmax и Rpeak имеют размерность Терафлопов/c.

Компьютер Watson

22-го сентября 2011 г. появилась заметка компании IBM о компьютере Watson (см. Talking computer will change the world; promises not to kill you. Машина была названа Watson в честь первого президента компании IBM Thomas'а J. Watson. Разработчики (во главе с David'ом Ferrucci) позиционируют Watson как компьютерную систему искусственного интеллекта. Он ориентирован на работу с текстами на естественном языке. Watson может обрабатывать до миллиона книг в сек (500 гигабайт). Этот компьютер содержит в себе 90 серверов Power7 750, каждый из которых имеет по 4 восьмиядерных процессора Power7. Оперативная память этой машины содержит 15 Тбайт.

Хотя компьютер Watson лишь с некоторой натяжкой может быть отнесен к суперкомпьютерам (143-е место в списке Top500 на начало июня 2013), он занимает особую позицию. Это первый компьютер, который может работать с текстами на естественном языке и в нем реализован важный шаг в обучении машины пониманию контекста. Эта машина содержит в себе все данные Wikipedia. Сами создатели также не относят машину к творениям искусственного интеллекта, так как не знакомы с определением этого понятия.

Рис. 3. Пример вопросов, на которые способен отвечать компьютер Watson

Watson в ответах на вопросы оставляет далеко позади себя Apple's Siri.

Компания IBM пытается коммерциализовать использование вычислительной машины Watson (победитель телевизионного шоу Jeopardy). Среди возможных применений рассматривается сложная диагностика различных заболеваний, в частности раковых. Эта машина способна воспринимать и анализировать человеческую речь. С точки зрения программирования эта машина не является детерминистской, она управляется запросами, анализирует накопленную информацию и возвращает данные, которые с ее точки зрения являются наиболее релевантными полученному запросу. Машина может также использоваться как советчик для врача. ("Interview: Using IBM Watson for smart decisions", Dan Cerruti, 26 марта 2013).

Компания IBM предлагает свой суперкомпьютер Watson в качестве платформы для разработки облачных приложений, ориентированных на когнитивный компьютинг (см. "IBM to offer Watson supercomputer as cloud development platform", Chris Kanaracus, IDG News Service, November 14, 2013). Компьютер Watson содержал в себе 2900 ядер с оперативной памятью 15 ТБ, сейчас для указанных целей будет использоваться версия с 16-32 ядер и памятью 256 ГБ. Объемы информации во всех областях быстро растут. Обработка этих данных нашла применение в аналитических экономических прогнозах. Но нельзя исключить, что когнитивный компьютинг может стать и еще одним источником научных знаний.

Компания IBM усовершенствовала программу анализа данных Watson Discovery Advisor так, что она стала способна ответить на ваши вопросы, до того, когда вы их задали (см. "IBM Watson now answers your questions before you ask", PCWorld). Считается, что эта программа будет полезной в медицине, финансах и юридической деятельности. Можно считать, что эта система не запрограммирована, а обучена.

В области стека программ для суперкомпьютеров и даже в разработке комплектующих намечается широкое международное сотрудничество.

Вслед за Watson появились машины Siri, Cortana и пр. того же класса и назначения.

Помимо аналитики и медицинской диагностики компьютер Watson использован для создания рецептов необычных блюд, например, свекольный кекс с шоколадом. 386 университетов сотрудничают с IBM по приложениям Watson и аналитики.

Энергетические компании встраивают информационные центры в свою высоковольтную сеть (см. "Power company plugs data center directly into high-voltage grid", James Niccolai, IDG News Service, December 8, 2014). Такое решение позволяет понизить стоимость вычислений. К центру подводится непосредственно 230-киловольтная линия. Сегодня вычислительные центры потребляют около 2% всей вырабатываемой в США энергии, а к 2030 году эта доля составит 20% (оценка Electric Power Research Institute).

Исследовательская лаборатория армии США (ARL, министерство обороны США) планирует использовать в своих разработках в 2015-30гг суперкомпьютер с вычислительной мощностью 100 петафлопс (см. "U.S. Army plans for a 100 petaflop supercomputer", Andy Patrizio, February 25, 2015). Компьютер будет применен и для информационной аналитики. В будущем это направление разработок будет являться стратегическим.

Хотя компьютер-рекордсмен сегодня (начало ноября 2014) принадлежит Китаю, наибольшей компьютерной мощностью владеет США. Россия в этом списке находится на 42 месте. Смотри журнал Chip 10/2014 стр. 103.

Рис. 4. Распределение суперкомпьютерных мощностей по странам

Сообщается о разработке экономичного суперкомпьютера Nvidia DGX-1 (см. . "Nvidia's DGX-1 supercomputer packs the horsepower of 250 servers", Agam Shah, IDG News Service, April 5, 2016). Этот компьютер эквивалентен 250 стандартным серверам. Вычислительная мощность этого компьютера составляет 170 терафлопс, а набор процессоров в одной стойке может обеспечить 2 петафлопсов.DGX-1 примерно в 56 раз быстрее чем сервер с двумя чипами Intel Xeon-E5 2697 v3.

Семь суперкомпьютеров соревновались в Лас Вегасе при поиске уязвимостей программного обеспечения (Cyber Grand Challenge) (см. "Supercomputers offer a look at cybersecurity's automated future", Michael Kan, IDG News Service, Aug 5, 2016). Соревнование проходило в 96 туров. Это мероприятие спонсировалось министерством обороны США. Было необходимо выявить уязвимость и внести исправления в код, чтобы парировать угрозу. Приз в 2 млн. долларов выиграла машина “Mayhem”. Среди прочего, в ходе соревнования решалась задача выявления уязвимостей ОС LINUX. Считается, что компьютерам потребуется несколько деятков лет эволюции, прежжде чем они смогут превзойти человека в поисках уязвимостей кода.


   UP: 10.29 10 правил Хольцмана и рекомендации для написания программ, критичных в отношении безопасности