previous up next index search
Previous: 4.7.2 Сеть для науки ESNet (США)    UP: 4.7 Прикладные сети Интернет
    Next: 4.7.4 Проект Internet2

4.7.3 Направления и тенденции развития ИТ-технологий

Семенов Ю.А. (ИТЭФ-МФТИ)
Yu. Semenov (ITEP-MIPT)

Процессоры и их архитектура
Суперкомпьютеры
Кремниевая фотоника
Зеленый компьютинг
Конфигурирование машин и программного обеспечения
Системы резервного копирования
Оптимизация параметров WAN для глобальных виртуальных сетей
Управление полосой пропускания
Унифицированные коммуникации (UC)
Новые технологии и новые проблемы
Многофакторная аутентификация
Усложнение программного обеспечения (Bloatware = Elephantware)
Прогнозы
Хранение информации в облаке Интернет
Рост информационных объемов
Big data и NoSQL
Компьютеры для переработки больших объемов данных
Размещение базы данных в оперативной памяти
Интеграция
Рост сетевых угроз
Технология NFC
Использование приложений с переключением портов
Использование приложений с распознаванием голоса
Концепция информационных центров
Эволюция последовательных интерфейсов
Мобильные гаджеты
3D-печать
Замена laptop
Удаленная работа
Увеличение быстродействия беспроводных каналов
Прогноз на 2020 год
Некоторые общие соображения
Пост-силиконовые транзисторы (IBM)
Bad Data ("плохие данные")
Новый маршрутизатор SDN
Автотранспорт без водителей
Проект компании Dell Ophelia
Электронная татуиировка в качестве микрофона
Гибкие батареи
Интеллектуальные очки и часы
Интернет вещей
Оборудование для передачи данных по волокну на одной длине волны при скорости 400Гбит/c
Устройства памяти
Литература

Жизнь на Земле зародилась 4 млрд лет тому назад. Современный человек появился 150000 лет тому назад, письменность возникла 3000 лет до н.э., книгопечатание началось в после 1450 года н.э.. Начало промышленной революции относится к периоду после 1760г. Далее технологии стали развиваться быстрее. Первый электронный компьютер содан в 1941 году, персональная ЭВМ - в 1977, компьютер Ватсон - в 2011 году.

Ряд тенденций уже сформировались. Это, прежде всего интеграция услуг: Интернет, цифровое телевидение, телефония, электронная торговля, информационные услуги и т.д. Развитие мобильных технологий обмена, где мобильная телефония объединяется с Интернет и услугами абсолютного позиционирования. К этому классу можно отнести и переход хакерства от любительства к профессионализму и сращение с криминалитетом, разработка ведущими странами мира кибероружия (см. Eddy Schwartz, Computer Fraud & Security. September 2010, Winning the Cyberwar of 2010), а также Cyberwar: Sabotaging the System. Managing Network-Centric Risks and Regulations (ArcSight). Надеюсь, что разрабатывая кибероружие, страны позаботятся и о средствах защиты. Одним из видов кибервойн является кибершпионаж, как экономический, так и политический. Появление киберсредств войны отражает общую тенденцию к дистанционному нанесению ущерба безлюдными средствами (беспилотные самолеты, ракеты и пр.)

Формируются и другие тенденции, например, переход от обычного к криптообмену данными, широкое внедрение оптоволоконики. Скандал с WikiLeaks (2010г) заставил думать об информационной безопасности и политиков. Если рассматривать проблему в более отдаленной перспективе, то можно ожидать замедления темпа роста тактовых частот (после 50-100ГГц). Высокие тактовые частоты перегревают кристалл. Это обстоятельство подтолкнуло разработку многоядерных процессорных чипов (2004г). (Максимальная тактовая частота процессоров в 2010 году составляла 5,2 ГГц). Сейчас даже в laptop устанавливаются 2-4-ядерные процессоры. Компания Tilera объявила о выпуске 100-ядерного процессора в середине 2011 года (при тактовой частоте 1,5ГГц он сможет обеспечить быстродействие 750×109 операций в сек, процессор не совместим с х86 и предназначен для облачных вычислений и задач сетевой безопасности; при обмене между ядрами обеспечивается скорость передачи 200 Тбит/с, а при обмене с памятью более 500 Гбит/c). Понятно, что и закон Мура также притормозит, ведь трудно ждать появления традиционной технологии производства полупроводниковых чипов с разрешающей способностью существенно меньше 10нм (сейчас используется 17-нанометровая технология, а постоянная кристаллической решетки кремния имеет порядок ангстрема). Понятно, что это относится к ныне существующим и используемым технологиям. В 2014 году получена плотность 7 миллиардов трпнзисторов на чипе. Но не следует ожидать технологического тупика. Появились сообщения о разработке мемристоров (наноионное устройство, разработанное Hewlett-Packard, 2008 г) - объектов памяти с размером ~5нм, запоминающих прохождение через них заряда. Мемристор реализует операцию ΔV=M×ΔQ, где V - напряжение; Q - заряд, а М - мемрезистивность. Изготовлены первые мемристоры и в России (см. http://www.sdelanounas.ru/blogs/17243/). Внедрение таких приборов приведет к новому скачку плотности записи информации. Предполагается, что к 2012 году мемристоры начнут заменять собою флеш-память (этого не произошло, обещание было перенесено на 2013 год и снова не исполнено).Считается, что мемристоры могут найти применение для моделирования работы человеческого мозга (архитектура машины на мемристорах больше похожа на структуру мозга, а не на машину Тьюринга). В ближайшие годы можно ожидать встраивания электронных устройств в человеческое тело. И речь здесь идет не о приборах типа стимуляторов сердца, а об устройствах, соединенных с нервной системой человека.

Важным моментом является проникновение вычислительных машин и сетевых технологий практически во все области человеческой деятельности и тотальная зависимость цивилизации от надежности этих технологий. Каждый новый цикл развития компьютинга сопряжен с ростом вычислительной мощности на порядок (см. рис. 1; Internet Trends 2014 – Code Conference).

Рис. 1. Циклы компьютинга

Насущной становится проблема безопасного программного обеспечения (см. Вопросы безопасности свободного программного обеспечения). Основными мишенями атак становятся WEB-сайты, они же являются основными разносчиками вредоносных кодов. По этой причине интересно представлять динамику роста числа WEB-серверов. Смотри September 2010 WEB Server Survey (Netcraft). Абсолютными лидерами по посещениям являются Google, Microsoft, Yahoo и EBay.

Рис. 2. Динамика роста числа WEB-сайтов в 1995-2018 годах

В сентябре 2014 получены отклики от 1,022,954,603 WEB-сайтов, впервые число WEB-сайтов в мире превысило миллиард! (в ноябре 2014 зарегистрировано 947,029,805 WEB-сайтов). Если раньше наблюдался стабильный рост этого числа, то в последние месяцы бывают и спады, что свидетельствует о наступлении периода стабилизации. В мае 2015 получены отклики от 857,927,160 сайтов и 5,281,889 компьютеров. Впервые на рисунке вертикальная шкала имеет 10 миллиардов узлов. В августе 2017 года число WEB-серверов достигло 1.800.566.882. Лидером среди WEB-технологий c большим отрывом остается Apache (40%). Но доля Apache постепенно сокращается. За истекший месяц число серверов Apache сократилось на 13 миллионов, а количество WEB-серверов Microsoft выросло на 26 миллионов.

Рис. 2a. Доли на рынке Интернет (IIS) (2010-2015)

Рис. 3. Доли различных технологий, используемых WEB-серверами (1995-2014)

1. Процессоры и их архитектура

(по материалам Кеннета Кайтона и Джеда Скарамелла "IBM SystemX4: Delivering High Value Through Scale UP")

При развитии функциональности систем часто возникает вопрос: более эффективно добавление к существующему серверу - процессоров, памяти и средств ввода/вывода или ввод в строй второго, третьего или четвертого сервера.

Ответ, конечно, зависит от уровня параллелизма приложений. За исключением баз данных и HPC-программ (High-performance computing). Большинство традиционных х86 приложений не предполагают применение многопроцессорных платформ. Для таких задач наилучшим решением является схема "одно приложение - один сервер". Но увеличение числа процессоров сопряжено с проблемой роста энергопотребления.

Помимо дешевых миниатюрных laptop появляются таблетки (например, разработки фирмы Apple). Эти устройства занимают нишу между lap- и palmtop и является прямым конкурентом netbook. В разработке Apple запрещается исполнение программ, размещенных на USB-флэш. Судя по всему это часть системы безопасности. Конкуренты создают устройства на основе процессора Android c ОС Linux (например, Samsung Galaxy Tab), на подходе и версия для среды Windows (EEE Pad Asus). Одной из проблем для широкого внедрения этой технологии является система аккумуляторов, которая бы обеспечила работу устройства в течение нескольких часов.

Компания Intel заявила, что стандартная x86-архитектура позволяет создать новую, более эффективную сетевую инфраструктуру предприятия (см. "Intel aims at enterprise, carrier networks with faster silicon", Stephen Lawson, December 4, 2013). Речь идет о процессоре Xeon E5-2600 v2. В стандартной конфигурации присутствует два 20-ядерных процессора и четыре чипсетов Coleto Creek. Эта система позволяет реализовать пропускную способность 225 млн. пакетов в сек. и DPI (deep-packet inspection) при скорости 140 Гбит/c. Она может работать на скорости 110Гбит/c при работе с IPsec.

В начале 2014 года компания Intel разработала 15-ядерный процессор Xeon Е7, который содержит в себе 4.31 млрд. транзисторов (см. "Intel's 15-core Xeon server chip has 4.31B transistors", Agam Shah, February 10, 2014). Процессор будет работать с тактовыми частотами 1,4-3,8 Ггц. Поставка чипов планируется на 3-й квартал 2014 года. Семейство процессоров содержит в себе 15- 10- и 6-ядерные варианты, которые имеют рабочие площади 541, 341 и 257 мм2, соответственно. Предполагается, что 15-ядерные процессоры будут устанавливаться по 4-8 штук на серверы баз данных и другие высокопроизводительные устройства. Каждый процессор сможет обслуживать до 30 процессов одновременно. Intel, таким образом, догоняет по своим возможностям чипы компании AMD.

Суперкомпьютеры

На июнь 2011 года самым мощным в мире суперкомпьютером являктся K computer, построенный компанией Fujitsu в Кобе, Япония (первое место на тот момент в списке Top500). Этот компьютер содержит в себе 672 стойки и 68544 Fujitsu SPARC64 VIIIfx процессорных восьмиядерных модулей с 8 блоками памяти каждый (тактовая частота 2,2 ГГц). Хотя эта машина закончена лишь наполовину, она достигла производительности (по LINPACK) 8,162 петафлоп/c (10квадрильонов операций в секунду). К моменту завершения сборки и отладки в 2012 году эта супер-ЭВМ будет содержать 864 стоек (705024 процессорных ядер) и достигнет производительности 10 петафлоп/c. Его энергоэффективность составляет 2,2 Гфлопс/Вт, что выводит его на первое место и в списке Green500. Энергопотребление составит ~5×106Вт (мощность первой АЭС в Обнинске). Предыдущий суперкомпьютер-рекордсмен был китайским (Tianhe-1A) и обладал производительностью 2,6 петафлоп/cек. Американский Jaguar (Окридж) имел производительность 1,75 петафлоп/c. По объему памяти новая машина вдвое превосходит лучшие машины мира, а по производительности мощнее пяти машин, следующих за ней во всемирном рейтинге. Компьютер расположен в RIKEN Advanced Institute for Computational Science. Из рисунка ниже видно, что современная вычислительная технология похоже заходит в тупик. Чего ждать дальше - компьютер-город со встроенной атомной электростанцией для его питания и охлаждения?

Рис. 4. Суперкомпьютер- рекордсмен 2011 года (K computer; Япония)

Рис. 5. Суперкомпьютер- рекордсмен 2012 года (Titan; Окридж, США)

В последних числах мая появилось сообщение о запуске в NUDT (National University of Defense Technology, Changsha, Китай) суперкомпьютера Tianhe-2 с производительностью 54,9 петафлоп/c. Его изготовление обошлось в 290 млн. долларов. При его разработке использовано 32,000 многоядерных процессоров Intel Xeon (3120000 ядер). Согласно сообщению профессора Dongarra, система содержит по 2 узла на плате, 16 плат в раме, 4 рамы на стойку и 125 стоек. Каждый узел имеет 88 ГБ памяти. Тактовая частота 1,1 ГГц. Компьютер потребляет 24 МВт. Система охлаждения потребляет 80 кВт. Смотри Visit to the National University for Defense Technology Changsha, China.

Tianhe-2 потребляет 80 кВт и проигрывает человеческому мозгу в быстродействии по некоторым оценкам три порядка. Человеческому же мозгу для нормальной работы вполне достаточно 30 Вт.

Рис. 6. Суперкомпьютер- рекордсмен 2013 года (Tianhe-2; Китай)

Современные суперкомпьютеры являются суперпотребителями электроэнергии. Нейрочипы существенно экономичнее, смотри рис. 6А.

Рис. 6A. Термограмма, демонстрирующая более низкое энергопотребление нейрочипа IBM TrueNorth (слева) по сравнению со стандартным ЦП (Chip 03/2016, стр.13)

Самые мощные 500 компьютеров (см. рис. 6В имеют суммарную производительность, приближающуюся к 1018 операций в сек, что считается достаточным для компьютера с искусственным интеллектом.

Рис. 6B. Производительность 500 лучших компьютеров (Chip 03/2016, стр. 10)

Китай анонсировал (июль 2016) создание нового суперкомпьютера-рекордсмена Sunway TaihuLight с производительностью 93 петафлопс с перспективой увеличения до 125,4 петафлопса (см. "China's secretive super-fast chip powers the world's fastest computer", Agam Shah, IDG News Service, June 20, 2016). Какое-то время назад США отказало в поставках чипов процессоров для обновления компьютера Tianhe-2. Сейчас Китай тратит больше ресурсов на ИТ, чем на нефть. Новый суперкомпьютер построен на основе китайских чипов процессоров ShenWei SW26010. Эти чипы имеют 64 бита и содержат в себе по 260 ядер, что также является мировым рекордом. Каждый такой чип имеет производительность 3 терафлопса. В новом суперкомпьютере использовано 10.649.600 процессорных ядер. в 40960 модулях. Компьютер имеет 1,3 петабайт памяти и потребляет 15,3 мегаватта, что меньше 17,8 МВт Tianhe-2, который имеет почти в два раза меньшую производительность. Внешний вид суперкомпьютера представлен ниже.

Рис. 6C. Падение стоимости транзисторов и быстродействия по годам 1975-2015 (Chip 03/2016, стр. 10)

На текущий момент (июнь 2011) в мире существует более 10 компьютеров с производительностью свыше 1 петафлоп/c. В РФ имеется компьютер "Ломоносов" (МГУ) с 1,7 петафлоп/c. Из этих десяти Китай и Япония имеют по две, США - 5, Франция - 1. В списке самых мощных машин (Top 500) Китаю принадлежит 75 систем. Китай занимает второе место в мире, опережая Японию, Францию, Великобританию и Германию. В 2012 году США ввели в строй два суперкомпьютера, которые заняли первое и второе место в мире по производительности (Титан в Лос-Аламосе имеет мощность 17,59 петафлоп/c и потребляет 8,2 МВт).

В ноябре 2012 году на первое место вышел компьютер из Окриджа (Теннесси, США) с производительностью 17,59 Пфлоп/с. P=8,2 МВт. S=404 м2; память - 710ТБ, а K-computer переместился на 3-ю позицию. Второе место на текущий момент занимает Sequoia (BlueGene/Q - IBM). См. http://top500.org/list/2012/11/. В конце мая 2013 года в Китае введен в строй суперкомпьютер с производительностью 54,9 петафлоп/c.

Любопытно, что Эрих Штромайер (Erich Strohmaier) разработчик списка Top500, в 1993 году сказал, что он не ожидает увидеть машину петафлопcного класса. 15 лет назад трудно было сказать, будут ли 500 самых мощных машин иметь суммарную мощность 1 терафлопc.

Прогресс в сфере суперкомпьютинга стремителен. Так машина Roadrunner Лос Аламосской Национальной лаборатории (США), которая занимала верхнюю позицию в мировом рейтенге в июне 2008 и являлась первой, которая превзошла петафлопный барьер, сейчас занимает лишь десятое место (а в начале 2013г - 22-е).

Современный суперкомпьютер может содержать более 100000 узлов. При этом следует иметь в виду, что каждый из них имеет конечную надежность. В 2001 году время наработки на отказ супер-ЭВМ равнялось 5 часам, а в 2012 - 55 часов. Для 100000-узлового компьютера только 35% активности будет приходиться на продуктивную работу. Остальное время займет формирование точек восстановления и другие вспомогательные операции.

Наиболее частым приложением существующих супер-ЭВМ являются научные исследования. На эти задачи работает 75 таких машин (или 15%). Далее следует 36 супер-ЭВМ, работающих в сфере финансов, 33 - предоставляют различные сервисы, 23 подключены к World Wide Web и 20 работают на оборону.

Фирма IBM владеет наибольшим числом машин из этого списка (42%), далее следует Hewlett-Packard (31%) и Cray (6%). США обладают наибольшим числом супер-ЭВМ (256), Китай (62), Германия (30), Великобритания (27), Япония (26) и Франция (25). Всего в мире имеется около 500 суперкомпьютеров.

Сейчас (начало 2012 г) суперкомпьютер выполняет до 10 квадрильонов операций в сек. Смотри James Niccolai, Top500 list passes another milestone: 10 petaflops, IDG News Service, к 2015 году в мире будет использоваться 7 млрд. мобильных устройств. Важным аспектом при разработке новых машин является их энергетическая эффективность.

Рис. 6Е. Эволюция вычислительной мощности машин из расчета на квт-час

На рис. 6F представлена эволюция технологии памяти современных серверов и суперкомпьютеров в 2008-2018гг (см. "Storage predictions for 2015", Chris Poelker, Computerworld, Dec 3, 2014). Расшифровка сокращений на рисунке представлена ниже. По вертикальной оси отложена быстродействие канала памяти в Гбит/c.

Рис. 6F. Эволюция технологии памяти InfiniBand

Кремниевая фотоника

Компания Intel делает первые шаги в направлении замены проводной передачи данных в компьютере на оптоволоконную. Ожидается, что это позволит увеличить скорость передачи и повысить надежность. Такая технология получила название кремниевой фотоники. Под эту технологию разрабатывается новая архитектура стоек. Разработаны первые модули кремниевой фотоники, которые позволяют передавать данные со скоростью 100Гбит/c. Речь идет о передаче данных не только между стойками, но и внутри стоек. Опробована передача данных через интерфейсы Thunderbolt на растояния 100м.

Прошло несколько лет и из области экспериментов оптофотоника перешла в сферу базовых технологий (см. "Will silicon photonics replace copper cabling in mainstream datacentres?", Archana Venkatraman). Эта технология позволяет уже сегодня передавать данные со скоростью 1Тб/c, и обладает высокой ценовой эффективностью. В последние годы в эту отрасль осуществляют значительные инвестиции компании Intel, IBM, NEC и Cisco. Оптофотоника способна передавать большое число потоков данных внутри компьютерных стоек, уменьшая число кабелей, препятстующих охлаждению активных модулей.

Зеленый компьютинг

Удорожание энергоносителей, а также соображения экологии обращают все более пристальное внимание к энергопотреблению вычислительных средств. Согласно исследованию Национальной Лаборатории Беркли (США) вычислительные средства в Соединенных Штатах потребляли в 2005 году 1,2% от общего объема (для всего Мира соответствующая цифра равна 2%). Но так как в США рассматривают все источники потребления и ищут пути экономии энергии, то и эта сфера не осталась без внимания. Тем более что эта доля эквивалентна потребностям авиационной промышленности. Следует также учесть, что число информационных центров непрерывно растет.

Рассматриваются различные методы экономии энергопотребления (смотри Зеленый компьютинг: пять способов преобразовать ваш бизнес и Implementing Energy Efficient Data Centers, Neil Rasmussen):

Энергетические компании встраивают информационные центры в свою высоковольтную сеть (см. "Power company plugs data center directly into high-voltage grid", James Niccolai, IDG News Service, December 8, 2014). Такое решение позволяет понизить стоимость вычислений. К центру подводится непосредственно 230-киловольтная линия. Сегодня вычислительные центры потребляют около 2% всей вырабатываемой в США энергии, а к 2030 году эта доля составит 20% (оценка Electric Power Research Institute).

Простые беззатратные меры при проектировании новых информационных центров могут сэкономить 20-50% затрат на электрическую энергию, а системные меры позволят довести экономию до 90%. Самые эффективные с точки зрения энергозатрат вычислительные системы обеспечивают производительность более 950 MFLOP/W. Наименее эффективные супер-ЭВМ из 500 самых мощных имеют производительность 228 Mflop/W (на конец 2010г).

Типовой тариф на электрическую энергию (в США) составляет $0.12 за кВт-час. Это дает оценку для годовых издержек на один кВт полезной мощности примерно $1,000. За 10 лет жизни стандартного информационного центра это составит примерно $10,000 на кВт полезной нагрузки.

Известно, что полезная мощность составляет примерно половину всех энергозатрат. Вторая часть представляет собой потребление вспомогательных структур вычислительного центра, включая системы питания. А это означает, что каждый кВт при 10-летнем исчислении стоит $20000. Для 200-киловатного вычислительного центра это составит $4,000,000. Ниже на рисунке показано распределение энергозатрат типового вычислительного центра.

Рис. 7. Энергозатраты в типичном вычислительном центре

Основная доля энергозатрат приходится на систему охлаждения (33%, больше чем вычислительная техника!). Сюда еще нужно добавить затраты на кондиционирование (9%; CRAC - Computer Room Air Conditioner). Данный центр имеет эффективность 30%, так как именно такая доля энергии тратится на ИТ цели. При этом эта часть энергии тратится в основном на перезарядку паразитных емкостей в кристаллах и проводных соединениях.

Серверы потребляют 60% энергии. Доля систем памяти составляяет 10-40% от общего энерглпотребления информационного центра (см. "Green storage is dead. Long live green storage", Manek Dubash). Энергопотребление информационных центров растет в среднем на 7% в год. Понизить энергопотребление памяти на 80% может использование дедубликации.

Обычно заметная часть энергозатрат (до 30%) приходится на источники питания. С 2007 года в продажу стали поступать источники питания с эффективностью 80%, а в ближайшие три года эта цифра поднимется до 90%.

Таблица 1. Практические меры по экономии энергозатрат

 ЭкономияСредстваОграничения
Правильный масштаб NCPI10-30%Использование модульной архитектуры в системе питания и охлаждения. Для новых систем и модификаций. Трудно модифицировать
Виртуализация серверов10-40%Включает консолидацию приложений на малом числе серверов (блейд-сервера) Требует изменений основных ИТ процессов. Для достижения экономии в существующих системах, некоторые источники питания и блоки охлаждения может быть нужно отключать
Более эффективная архитектура кондиционеров7-15%Порядковая система охлаждения имеет более высокую эффективность при высокой плотности. Более короткие пути воздушных потоков требуют вентиляторов меньшей мощности. Следует предпринимать меры для снижения высушивания воздуха. Это исключит использования систем кондиционирования влажности. Для вновь создаваемых систем. Выигрыш ограничен для систем с высокой плотностью
Экономичные режимы работы кондиционеров4-15%Многие кондиционеры имеют экономичные опции.
Могут быть реализованы существенные экономии энергии для определенных географических регионов.
Для вновь создаваемых систем. Трудно модифицировать
Более эффективное размещение в помещении5-12%Размещение может существенно влиять на эффективность работы кондиционеров.Для вновь создаваемых систем. Трудно модифицировать
Более эффективное оборудование питания4-10%Новые лучшие модели UPS имеют на 70% меньшие энергопотери. Следует учитывать, что мощные UPS требуют охлажденияДля вновь создаваемых систем

Мы привыкли, что электроэнергия приходит нам на работу и домой в виде переменного тока. Преобразование в нужные напряжения постоянного тока осуществляется в каждом приборе независимо. Эта схема является сегодня типовой и для обычного вычислительного или информационного центра.

В лаборатории Lawrence Berkeley National Laboratory в Калифорнии было продемонстрировано еще в 2006 году, что раздача питания в виде постоянного тока в пределах информационного центра может сэкономить до 20% мощности. Удаление AC-DC-преобразователей из серверов понизит также уровень наводок и тепловыделение в серверной стойке. Впрочем, результат зависит от конкретного случая, см. Green Grid.

Две диаграммы, представленные ниже, показывают, что имеются достаточные ресурсы для экономии энергии. Смотри Energy-efficient Performance on the Client , by Mary Johnston Turner, April, 2008

Рис. 8. Распределения долей разного уровня занятости процессора на протяжении рабочего дня

Рис. 9. Распределения долей разного уровня занятости процессора на протяжении суток

Интересный прогноз можно найти в обзоре Reducing Desctop Power Consumption: How IT and Facilities Can Both Win, April 8 2008, Faronocs. В обзоре утверждается, что в 2008 году энергообеспечение станет составлять 48% ИТ бюджета.

Рис. 10. Рост стоимости энергетического обеспечения на 1000 настольных персональных компьютеров

Энергопотребление 1000 рабочих станций за один год эквивалентно 880 баррелей нефти или 43180 галлонам бензина. Их работа с учетом всех факторов производит 380 тонн СО2 и 130 тонн отходов. Если предположить, что эти машины всегда включены, то это обойдется 90000$.

Одним из методов экономии энергозатрат является система инициализации загрузки и отключения машин через локальную сеть WOL (Wake-on-LAN). В последние время на рынке появились вычислительные средства, которые сами контролируют использование различных подсистем и внешних устройств, и, если система не занята длительное время, она автоматически отключается от питания.

В настоящее время только 5% машин имеют полный набор опций управления энергопотреблением (смотри http://www.greencomputing.com). Но следует обратить внимание, например, на тот факт, что компания General Electric экономит ежегодно 6,5 млн. долларов только за счет использования управления энергопотреблением компьютеров (см. EEP Energy Efficient Performence). В 2008 году ожидается, что 50% всех информационных центров будут испытывать проблемы с энергообеспечением и охлаждением.

Ожидается, что в ближайшее время произойдет переход на работу со стойками, содержащими вычислительное оборудование, которые будут потреблять до 30кВт, против 2-3 кВт сегодня. Впрочем, нужно учитывать, что мощность современных информационных центров используется только на 10-15% (данные компании HP). Большие потери сопряжены часто с неэффективной конфигурацией вычислительного центра (смотри Intel Xeon Processor 5000 Sequence).

В марте 2007 года компания Intel выпустила две модели энергетически эффективных 50-ватных 4-ядерных процессоров. Это дает 60%-экономию мощности по сравнения с процессорами предыдущего поколения (12,5 ватта на ядро против 110 ватт). В конце 2007 года появилось новое семейство процессоров Intel - Penryn (смотри также Data Center Efficiency). Эта разработка выполнена на технологии 45 нм и обеспечит ускорение переключения виртуальной машины на 25-75%.

Рост энергопотребления сопряжен с проблемами охлаждения. Хотя в принципе возможно использование для решения вычислительных задач сотен небольших серверов, в реальности это не практично. Компания IDC оценивает, что каждый доллар, потраченный на новые серверы сегодня, сопряжен с 50 центами расходов на энергопитание и охлаждение. Эта цифра может возрасти до 70 центов к 2011 году. В настоящее время реализуется также проект Green GRID для распределенных вычислительных ресурсов.

Дополнительную информацию по проблематике экономии энергозатрат при работе сетей и компьютерных центров можно найти по следующим адресам:

Рассматриваются два пути решения проблем: виртуализация и консолидация, что приводит к решениям с меньшим числом более крупных систем. При этом на одном физическом сервере могут функционировать 4-12 виртуальных серверов.

К сожалению, возможность виртуализации отсутствовала в ранних версиях серверов, базирующихся на технике х86, что соответствовало сложившейся практике работы одного приложения на процессоре.

Число серверов, установленных за последние 6 лет, удвоилось. Именно по этой причине энергопотребление и охлаждение стало критическим ценовым фактором для многих фирм. Не следует снимать со счетов и то, что каждый кВт-час оборачивается заметным объемом углекислого газа в атмосфере и кучами отходов, которые в свою очередь нужно перерабатывать. В последние годы сформировалось направление технологий, которое получило название зеленый компьютинг.

В настоящее время стали возможны мультипроцессорные системы на одном кристалле. Кроме того широкое распространение получили системы с двумя и даже четырьмя процессорами на одной плате. Системы с четырьмя и более CPU на плате создаются для работы с критически сложными приложениями, требующими более высокой надежности, доступности и масштабируемости, чем системы меньшим числом процессоров. Компания Intel решила проблему создания вычислительных центров с удельным энерговыделением 500 вт на квадратный фут.

Обычно крупные компании и предприятия имеют большие информационные центры с большим числом серверов для обеспечения работы баз данных, WEB-сервисов и для работы с приложениями. На рис. 1.5 показана динамика и прогноз изменения соотношения реальных и логических серверов, а на рис. 12 отображен прогноз роста числа системных блоков.

Рис. 11. Виртуализационная модель серверов IDC: соотношение реальных и логических серверов (2005-2010 годы)

Рис. 12. Прогноз роста количества системных блоков за счет роста числа процессоров на плате (синий - 1; желтый - 2; красный - 4+)

Меняется архитектура вычислительных и информационных центров. Оперативная память может быть размещена распределено и доступ к отдельным блокам в этом случае осуществляется через 10GE или 16-гигабитный Fiber Channel. Память на жестких дисках дополняется SSD, повышающими быстродействие в десятки раз.

Toshiba начала выпуск карт SD (Secure Digital Memory Card) с быстродействием 240 Мбит/с. Карты имеют емкость 16, 32 и 64 Гбайта (последняя версия стоит 250$).

Исследование в университете Огайо 15 SSD пяти разных производителей на устойчивость при отключении питания, показало, что в 13 из них данные были повреждены.

SanDisk анонсирует 4-терабайтный SSD и надеется иметь 8-терабайтный в следующем году (см. "SanDisk announces 4TB SSD, hopes for 8TB next year", Lucas Mearian, May 1, 2014)

Производители компактных устройств памяти наращивают производство 64-слойных приборов по технологии 3D NAND (см. "3D NAND set to dominate SSDs, kill off traditional flash", Lucas Mearian, Dec 21, 2016). Это способствует прогрессу в области SSD. К концу года доля 3D NAND технологии составит 30%. В 2017г ожидается рост вплоть до 60%.

Самым быстрым интерфейсом для SSD является DDR3 (Double-Data-Rate), который обеспечивает обмен со скоростью 17Гбайт/сек.

Важным аспектом использования SSD-драйвов является их время жизни (см. "Tests show consumer SSDs can handle years of heavy use", Andy Patrizio, ITworld, December 9, 2014). Последние исследования SSD Intel, Kingston, Samsun и Corsair (начались в 2013г) показали уровень их стабильности достаточно высок. В процессе испытаний периодически писались и переписывались 10Гбайт статических данных. Разрушение Intel 335 происходило после записи 750 Гбайт. Для Kingston HyperX 3K это случалось после записи 728ТБ. Контроль результатов и диагностика выполнялась с помощью программы SMART. SSD Corsair's Neutron GTX выдерживали запись 1,2ПБ, а Samsung 840 Series начали сообщать о сбоях после записи 100 ТБ. На практике результат с записью 2 ПБ означает, что SSD будет нормально работать 1000 лет.

Компания Intel выпустила наиболее надежный профессиональный SSD (Pro 2500) c вариантами на 120, 180, 240, 360 и 480 Гбайт (см. "Intel releases its most reliable pro SSD", Lucas Mearian, July 22, 2014). Устройство имеет толщину 7мм и размер 80х60мм2. Устройство имеет SATA-интерфейс на скорость 6 Гбит/c. Предлагаются опции с интерфейсом PCI. Драйв допускает 48000 операций чтения и 80000 - записи в секунду. Драйвы используют аппаратно реализованную криптозащиту AES-256. Устройство при работе потребляет 195 мВт, а в пассивном состоянии - 55 мВт.

Компания Samsung предлагает самые емкие SSD (PM1633a) емкостью 15ТБ (см."Samsung’s massive 15TB SSD can be yours -- for about $10K", Lucas Mearian, Computerworld, July 27, 2016). Размер устройства составляет 2,5 дюйма. Приборы используют 48-слойную технологию. Компания Western Digital начала производство 3D NAND третьего поколения (см. "WD preparing to ship flash chips with half a terabit of capacity", Lucas Mearian, Computerworld, Jul 26, 2016). пилотный проект включает в себя 64-слойный чип, массовое производство планируется на 2017 год. Компания Toshiba разработала 48-слойный 3D NAND чип с технологией BiCS (Bit-Cost Scalable). Это 256-гигабайтный SSD с тремя битами на ячейку. следующий чип будет иметь 64 слоя и на 40% большую емкость.

10 лет назад компания IBM инвестировала средства в ОКР для новой масштабируемой платформы x86. Был добавлен чип-сет логики для Х-архитектуры серверов х86 повышенной мощности (EXA).

В настоящее время IBM имеет серверы нового поколения (технология четвертого поколения eX4), позволяющие клиенту платить и расширять функциональность системы по меру роста потребности (pay-as-you-grow). На рис. 13 показан пример процессора c архитектурой eX4. Эта технология используется как в мейн-фреймах, так и в RISK-моделях.

Следующее поколение чип-сета eX4 поддерживает системы с числом процессорных кристаллов от 4 до 32. При этом используются кристаллы CPU четырехядерные Xeon 7300 и двухядерных Xeon 7200 (2,93 ГГц).

Рис. 13. Архитектура IBM eX4

Подсистема памяти для обеспечения повышенной надежности содержит три уровня защиты. Память DDR2 сейчас потребляет меньше мощности и стоит меньше чем FBD (Fully Buffered DIMM). IBM использует чип расширения ABX (Advanced Buffer eXecution) для четырех DIMM-панелек. Каждая 4-панельная плата поддерживает 32 модуля DIMM и до 256Гбайт памяти или максимум 1Тбайт памяти в четырех платах.

Конструкция системы является модульной, строящейся на основе 4-панельных плат, и допускающей масштабирование. Подсистемы ввода-вывода обеспечивают практически линейный рост пропускной способности при добавлении 4-панельных модулей.

По данным компании HP к 2010 году более чем половина всех информационных центров будет переведено на новое оборудование. К 2011 году аварии и ограничения энергоснабжения остановят работу информационных центров в более чем 90% компаний. К этому же времени один из 4 информационных центров перенесет серьезный сбой или аварию, которая приведет к тому, что компания не сможет продолжать бизнес обычным образом.

Рис. 14. Анализ рынка виртуальных клиентов (см. Increase Utilization, Decrease Energy Costs With Data Center Virtualization)

В США и Китае осуществляется программа перестройки системы энергоснабжения. Эта система будет гарантировать доступ к различным типам источников энергии. Система будет базироваться на механизмах оптимизации с привлечением современных ИТ-средств, а пользователям, включая индивидуальных, будет даваться исчерпывающая информация по удаленным запросам.

2. Конфигурирование машин и программного обеспечения

Современные вычислительные машины, а также системное и прикладное программное обеспечение стремительно усложняется. По этой причине их конфигурирование становится достаточно сложной проблемой. Подгонка приложения или операционной среды под нужны пользователя может быть выполнено конфигурированием соответствующего программного обеспечения. Но такая работа может оказаться не по плечу рядовому пользователю (школьнику, домашней хозяйке или гуманитарию).

Для упрощения этой работы разрабатываются специальные программы - конфигураторы (смотри, например, Four Types of Configurators). Конфигурированию может быть подвергнут как программный продукт, так и сам компьютер. Причем объектами конфигурации могут стать как возможности машины или программы, так и дизайн. Конфигуратор может существенно расширить потенциальный круг потребителей, а для самого пользователя обеспечить масштабируемость и адаптивность продукта. При этом может быть сокращено время освоения и внедрения продукта.

Существует как минимум четыре разновидности конфигураторов:

В большинстве компаний конфигураторы существуют в виде ИТ инфраструктур, которые могут включать в себя приложения ERP и CRM (Customer Relationship Management). Конфигуратор должен быть жестко связан с бизнес приложениями и не требовать написание каких-либо интерфйесов. Многие конфигураторы используют WEB-технологию. Преимуществом такого конфигуратора является то, что он не требует никаких программ на клиентской стороне, кроме WEB-браузера. Все операции при этом реализуются на сервере.

Наиболее широко распространены конфигураторы, помогающие покупателю правильно выбрать нужный ему товар. Но на очереди такие конфигураторы, которые помогут клиенту получить оптимальную форму операционной среды, экономно использующей память и дисковое пространство, или облегчающие работу сетевого администратора при формировании маршрутной политики или QoS.

Вполне возможно, что конфигураторы станут новым видом товаров или услуг, в частности по мере развития технологии SAAS (Software As A Service).

3. Системы резервного копирования

Проблему резервного копирования (backup) никак нельзя признать новой. В какой-то мере во времена ненадежных дисков она была даже острее. Но несколько инцидентов с потерей лаптопов и портфелей, где лежали резервные копии данных о миллионах кредитных карт неожиданно актуализовали эту задачу, переведя ее в плоскость сохранности информации.

Причины резервного копирования известны всем. Если что-то случится, надо иметь копию, с которой можно восстановить содержимое файлов (программ, текстов, рисунков, мультимедиа). Понятно, что чем чаще производится резервное копирование, тем лучше. Но частое копирование требует слишком большого объема ресурсов системы. По этой причине обычно приходится идти на компромисс. На рис. 15 представлено распределение процентов потерь данных для разных источников.

Рис. 15. Вклад различных причин в потери информации.

Из рисунка следует, что основной вклад в потери данных вносят отказы оборудования (40%), человеческий фактор (29%) и сбои программ. По мере роста объемов данных проблема резервного копирования усложняется. Процедура требует все больше ресурсов и времени, становися сопряжена с большим риском. Компании тратят 73% своего бюджета на поддерждание существующей инфраструктуры и приложений. Все чаще резервное копирование производится с привлечением облачных технологий. Резервное копирование интегрируется с все более сложными программами восстановления конфигурации после отказа или сетевой атаки.

Раньше для целей backup использовались исключительно магнитные ленты (картриджи) с автоматикой их заменой с привлечением специальных роборов. Сегодня для этой цели могут служить также жесткие диски высокой емкости, DVD и blueray.

На персональных машинах резервное копирование производит обычно ее владелец, на серверах и в сетях для этой цели используются специальные программы.

Требования сохранности информации вынуждают записывать резервные копии данных с привлечением криптографических методов (например, AES 256 бит). Для системных и любых стандартных программ это требование не является обязательным. Чтобы минимизировать объем носителя перед копированием осуществляется архивация (сжатие данных). Смотри Backup Express Release 3.0. Technical Specifications, а также Lowering Storage Costs with the World's Fastest Tape Drive. An Oracle White Paper, February 2011. Емкость один экзабайт (миллион терабайт), скорость записи 240 МВ/с.

Появились ленточные ЗУ с объемом 5 ТБ. Сопоставим это с тем, что в 2005 году были доступны ЗУ с емкостью лишь 500 ГБ. Десятикратный рост емкости за 6 лет! Скорость обмена для этих ленточных накопителей составляет 240 МБ/сек.

Ниже на рис.16 приведены сравнительные данные по энергопотреблению различных систем резервного копирования. На рис. 16 сравниваются объемы памяти различных backup-систем.

Рис. 16. Сравнение энергопотребления различных backup-систем.

Рис. 17. Максимальный объем одной библиотеки, базирующейся на магнитной ленте.

Устройство записи резервной копии и место ее хранения может находиться достаточно далеко от компьютера, что обеспечивает катасрофоустойчивость, но данные могут выходить в сеть только в зашифрованном виде, чтобы исключить перехват. Отдельную проблему может в этом случае представлять хранение криптоключей. В последнее время в системах резервного копирования часто используется аппаратное шифрование/дешифрование. При использовании криптографии происходит неизбежная потеря скорости копирования. Смотри также CA ARCserve Backup r12 - Security или acronis.

В сфере резервного копирования возникло новое направление бизнеса - удаленное предоставление этой услуги. При этом предоставляется не просто место на диске или на ленте, а целый список услуг в рамках технологии SaaS (Software as a Service). Так как передаются и пишутся на носитель зашифрованные данные с применением контрольного суммирования, угрозы потери информации не существует (смотри White Paper: MozyEnterprise Powered by EMC Fortress Secure Online backup for the Enterprise). Программа позволяет определить время резервного копирования и отследить состояние процесса, а также выполнить восстановления исходных данных, если это требуется.

Следует иметь в виду, что используя технологию SaaS нужно применять дополнительные меры безопасности. Примером такого решения может служить программный пакет компании Qualys (смотри Strenthening Network Security with On Demand Vulnerability Management and Policy Compliance рис. 18). Все коммуникации здесь осуществляются с привлечением протокола SSL.

Рис. 18. Архитектура QualysGuard SaaS для управления безопасностью

В настоящее время во весь рост встала проблема унификации оборудования и алгоритмов резервного копирования в мировом масштабе.

Стремление повысить эффективность резервного копирования породило возникновение техники дедупликации. Ведь любой из нас знает, что на его персональном компьютере многие файлы содержатся в нескольких копиях, а существует еще часто множественные копии модифицированных документов. Дедупликация позволяет исключить как полные копии, так и идентичные фрагменты, существенно сэкономив требуемый объем носителя. Дедупликация может сократить нужный объем носителя до 90%. Эта технология ускоряет резервное копирование и восстановление, удешевляет издержки и упрощает систему. На рис. 19 поясняется механизм работы этой технологии.

Рис. 19. Результат дедупликации

Экспоненциальный рост объемов данных (см. раздел "Рост информационных объемов" ниже) делает сохранность информации, пожалуй, одной из главных проблем. Одним из методов сохранения данных безусловно является резервное копирование. Но, если резервные копии хранить в помещении вычислительного центра, то в случае, например, пожара или другого стихийного бедствия могут быть потеряны все копии. Катастрофоустойчивое копирование позволяет решить и эту проблему. Этот метод предполагает, что копирование производится на носитель, размещенный в другом здании или даже другом городе.

4. Оптимизация параметров WAN для глобальных виртуальных сетей

(Optimizing WAN Performance for the Global Enterprise)

Современные технологии позволяют оптимизировать характеристики виртуальных сетей для организаций и предприятий регионального и международного масштаба. Практика показывает, что эффективная архивация файлов (перед их пересылкой) позволяет сократить их объем почти в 2 раза. Оптимизация же транспортного протокола (ТСР) обеспечивает ускорение передачи данных до 12 раз. Хорошие результаты (ускорение до 5 раз) можно достичь, модифицировав приложения, использующие протокол CIFS (Common Internet File System).

Рис. 20. Влияние RTT на пропускную способность канала при window=32K

При больших значениях RTT пропускная способность деградирует достаточно быстро (см. рис. 20). Это становится особенно заметно при большой полосе пропускания, например, B=10Гбит/c. Но и при меньших значениях В при неоптимальном выборе параметров виртуального канала, потери быстродействия могут быть значительными. Заметные потери пропускной способности возникают при использовании протоколов, реализующих много обменов в диалоговом режиме (например, CIFS). Так канал с пропускной способностью 45 Мбит/c при этом будет работать со скоростью лишь 23 кбит/c. Использование средств оптимизации параметров виртуальных каналов обмена может дать существенный эффект. Хороший вклад в результирующее быстродействие системы при повторных пересылках файлов в региональных сетях может дать их кэширование. Выигрыш в пропускной способности зависит от набора используемых приложений.

Разработаны 20-Tбайтные Thunderbolt RAID системы со скоростью записи 785 Мб/c (LaCie).

5. Управление полосой пропускания

Управление полосой пропускания становится все более актуальной проблемой. Эта задача впервые встала на повестку дня, когда появились задачи передачи мультимедийных данных. Для решения этой проблемы сначала появился протокол резервирования RSVP, а затем MPLS-TE и ряд специфических приложений. Широкое внедрение файлообменных сетей (Р2Р - BitTorrent, eMule, eDonkey, DirectConnect, Kazaa и др.) сделало задачу управления полосой еще более важной, ведь эти приложения провоцируют достаточно серьезную загрузку каналов передачи данных. Смотри Bandwidth Management for Peer-to-Peer Applications.

Традиционные способы ограничения потока для определенного стандартного номера порта ТСР здесь не сработает. Нужен более глубокий анализ сигнатуры пакетов. Для управления трафиком Р2Р приложений созданы специальные программы, например, BIG-IP iRules (компания F5).

Такие приложения могут:

Для решения поставленных задач сначала пакеты Р2Р по характерным признакам выделяются из общего потока, затем задаются правила выделения данной составляющей трафика и, наконец, формулируется политика формирования трафика.

Трафик BitTorrent распознавался по наличию информационных пакетов с заголовками содержащими 20 байт (смотри Accurate, Scalable In-Network Identification of P2P Traffic). В первом байте содержится код 19 (0x13), далее следует строка из 19 символов "BitTorrent Traffic". Далее следует непрерывный поток пересылаемых данных.

Распознавание пакетов определенного типа позволяет их выделить из общего потока и, если требуется, послать по отдельному маршруту.

iRules позволяют установить пределы для потоков BitTorrent, WWW, FTP и т.д. для определенного IP-адреса пользователя.

6. Унифицированные коммуникации UC

Под UC (смотри Unified Communications) подразумеваются интегрированные коммуникации, призванные оптимизировать бизнес-процесс в рамках коллаборации. Сюда включаются многие технологии: унифицированные сообщения (UM), включая голос, факс, мобильный телефон и email, обеспечение оперативной связи вне зависимости от места пребывание партнеров (схема "click-to-talk"), оперативный доступ к справочным системам, многостороннюю связь, интеграцию самих бизнес-процессов и т.д. Для реализации таких услуг компания Microsoft разработала специальный коммуникационный сервер, размещаемый в офисе (OCS). Смотри также www.ucstrategies.com.

Коллаборация сегодня означает взаимодействие совокупности людей, образующих виртуальную группу и разбросанных в пространстве.

Это может относиться не только к сотрудникам фирмы, но также к партнерам и клиентам. Обеспечение унифицированных коммуникаций становится отдельной отраслью бизнеса, ускоряя получение нужной информации и увеличивая производительность труда. UC предполагает привлечение современных сетевых технологий, гарантирующих качество обслуживания (QoS).

7. Новые технологии и новые проблемы

Смотри обзор компании Secure Computing (Paul A. Henry).

Виртуальная реальность находит все более широкое распространение. Интернет этому только способствует. Но кто бы мог подумать, что предмет из виртуального мира может наносить вполне реальный ущерб?

WEB-страница содержит много такого, что не видно при просмотре. Именно по этой причине WEB-страницы и браузеры образуют цепочку, через которую в машины внедряются различные вредоносные программы.


Новые технологии обычно сложнее старых и по этой причине уязвимее. Можно сделать так, чтобы браузер не запускал исполняемые программы, флэш-видео и пр. Для безопасного браузера можно запретить все новые возможности Web 2.0 технологии. Можно не использовать новые динамические приемы, но пользователя это вряд ли порадует, да и такой сайт вряд ли станет популярным. Надо искать и разрабатывать безопасные методы применения новых технологий. Следует, впрочем, помнить, что мир Web 2.0 достаточно опасен. Одной из технологий Web 2.0 является AJAX (Asynchronous JavaScript and XML). Этот язык программирования сам по себе не опасен. Но многие небезопасные сайты строятся с использованием именно этого языка. Виноват не инструмент, а цель и способ его применения. Асинхронный характер AJAX открывает для пользователей совершенно новый уровень интерактивности (имеется в виду взаимодействие с браузером), но предоставляет и хакерам новые возможности (уязвимости на стороне сервера). Кроме того, программы на AJAX труднее отлаживать, что с неизбежностью порождает большее число неустраненных ошибок, которые могут стать уязвимостями. Как результат, многие традиционные уязвимости, такие как XSS (Cross Site Scripting), могут обрести вновь актуальность для Web 2.0 в связи с использованием AJAX. Интернет в условиях массового внедрения Web 2.0 (с минимальным вниманием к требованиям безопасности) становится все менее безопасным местом.


Персональные компьютеры определяли технологию работы с информацией последние 40 лет. Ситуация быстро менялась последние 10 лет. В дополнение к РС в офисах стали использоваться laptop'ы, мобильные устройства (BYOD - Bring Your Own Device), а также социальные сети и облачная техника, что существенно поменяло ситуацию с безопасностью. В 2012 году было продано 657 млн. смартфонов, против 368 млн. персональных компьютеров. Кроме того было приобретено 106 млн. планшетов. Forrester Research прогнозирует, что к 2016 году планшеты существенно потеснят PC. Эволюция размеров вычислительных средств представлена на рисунке ниже.(High-DPI - большая плотность точек на дюйм).

Рис. 21. Эволюция размеров вычислительных средств ("The Future Of Mobile Design". The Future Of Mobile Design – Mobile User Experience Bleeding Through To The Desktop Platform. Bigtincan)

Сформировалась тенденция к свертыванию производства стандартных персональных компьютеров и материнских плат для них. PC доминировали последние 40 лет, их место постепенно занимают планшетные компьютеры. Эта тенденция может стать определяющей, когда будут решены проблемы безопасности для планшетов. На текущий момент (начало 2013) число пользователей планшетов достигло 760 млн.

BYOD приводит к тому, что на рабочем месте появляются устройства, безопасность подключения которых к сети не гарантирована. В этой связи некоторые организации запретили использование на работе устройства, принесенные из дома.

В мае 2012 года IBM запретила использовать своим 400000 сотрудникам использование: сервиса памяти Dropbox, персональный помошник Apple для iPhone и некоторые другие приложения. В

Для обеспечения безопасного использования BYOD должна быть выработана специальная политика безопассности.

В 2012 году 62% организаций позволяло сотрудникам использовать мобильные устройства из них в 24% была выработана полтитика применения таких устройств на рабочем месте. 42% случаях сотрудникам разрешалось без ограничений загружать на мобильные устройства приложения для доступа к служебной информации. 14% организайий используют аппаратные средства для криптозащиты обменов между мобильными устройства корпоративными серверами.

Фантастически увеличивается число пользователей социальных сетей (Facebook - 850 млн. пользователей; Twitter - 140 млн. и LinkedIn - 161 млн). Это явление приводит к росту уязвимостей, социальные сети стали одним из основных инструментов создания botnet.

Увеличение быстродействия каналов до 10Гбит/c и выше привело к тому, что одной из основных проблем для ТСР-каналов стала реактивность (ограничение полосы пропускания из-за "медленного старта").

8. Многофакторная аутентификация

В настоящее время наибольшее распространение получила система аутентификации пользователей на основе имени и пароля. Причем и то и другое может пересылаться в зашифрованном виде. Но данная схема уязвима для атак типа "человек-посередине". Такие уязвимости пытаются парировать с привлечением сертификатов, но и эта технология не может быть признана абсолютно безопасной.

Радикально улучшить качество аутентификации может многофакторный подход. Собственно использование сертификатов можно считать разновидностью такого подхода. Одним из решений может быть использование специальных карт допуска (в сущности - это разновидность ключа). Но такая карта может быть утеряна или украдена. Дополнительные устройства аутентификации могут подключаться к USB-портам. Радикальным решение может стать распознавание отпечатков пальцев, распознавание по лицу, голосу или по радужке глаз. Считается, что приемлемый уровень безопасности может дать трех-четырех факторная аутентификация (например, имя+пароль+карта+отпечаток пальца).

9. Усложнение программного обеспечения (Bloatware = Elephantware)

В 70-ые годы существовали серьезные ограничения на объемы жестких дисков и оперативной памяти. Разработчикам приходилось постоянно думать об ресурсных ограничениях. Я помню времена, когда ОС размещалась на диске с объемом 600килобайт, а объем оперативной памяти составлял 32килобайта. Сейчас ситуация существенным образом изменилась (жесткие диски 500Гбайт и память до 16Гбайт стали достаточно обычными). Многие из читателей сами являлись свидетелями, как от поколения к поколению росли ресурсные требования ОС (достаточно вспомнить эволюцию системы Windows; Windows XP содержит в себе 7,5 миллионов строк кода). Аналогичная ситуация сложилась и в области приложений. Проблема здесь уже не в ресурсах, а в возможности эффективного сопровождения таких программ. Иной раз даже разработчик с трудом вспоминает, что же он такое написал в этом разделе программы. Появились даже специальные термины для названия таких гигантских программ - Bloatware или Elephantware. Кроме того, чем больше программа, тем больше в ней невыявленных ошибок и тем больше потенциальных уязвимостей, которыми могут воспользоваться хакеры. Увеличение объема программ сплошь и рядом приводит к замедлению их работы. Сформулирован даже закон Niklaus Wirth, который гласит, что скорость работы программ понижается быстрее, чем увеличивается быстродействие вычислительного оборудование . Ниже в таблице представлены минимальные требования разных версий операционной системы Windows.

ВерсияПроцессор
[МГц]
Память
[Мбайт]
Жесткий
диск [Мбайт]
Windows 9525850
Windows 9826624200
Windows ME15032320
Windows 2000 Server133641000
Windows XP3001281500
Windows Vista800100015000

На рис. 22 показан рост объемов операционных систем. Смотри Resilient Military Systems and the Advanced Cyber Threat. Понятно, что рост размеров ОС в 2007 году не завершился.

Рис. 22. Рост числа строк операционных систем по годам

ОС Windows NT 3.1 имела 4,5 миллионов строк кода, версия 3.5 – в 1994 г. – 7,5 млн. строк кода. Windows XP (2001г) содержит в себе 40 миллионов строк кода. Предполагаемое число ошибок в XP равно ~45000. Ниже представлена таблица, которая сопоставляет различные ОС не столько по числу строк кода (LOC) и датам создания, но и по численности команды разработчиков (заимствовано из доклада акад. Иванникова В.П., сделанного на семинаре "Актуальные проблемы ИТ" ВМК МГУ 27 окт. 2011).

СистемаГодРазмер
[106LOC]
Численность
разработчиков
Windows 3.5199410300
Windows 4.0199616800
Windows 20001999301400
Windows XP2001451800
Windows Vista2007>50 
Linux Kernel 2.6.020035,7 
Open Solaris20059,7 
Debian 5.02009323 

Из этих таблиц видно, что размеры кодов быстро растут со временем и трудно ожидать поворота этого процесса вспять. Увеличивается и численность коллективов разработчиков, что создает дополнительные трудности. Число ошибок на 1000 строк кода варьруется в достаточно широких пределах (имеются в виду ошибки, оставшиеся после отладки программ).

Проведя перемножение, можно сделать вывод, что в дистрибутиве Debian содержится более 3 миллионов программных ошибок. Потери промышленности США из-за ошибок в программах в 2001 году составили ~60 млрд. долларов.

Ошибки в программах следует считать угрозой, сопоставимой с сетевыми атаками. В 1996 году из-за программной ошибки при первом запуске взорвалась ракета-носитель "Ариан-5" вместе со спутником EKA.

Из-за программной ошибки погиб человек, который был переоблучен в ходе сеанса лучевой терапии.

Все программисты знают термин баг (дебаггинг), которое происходит от английского слова bug - жучек. Но появилось это слова после того, как между контактами релейной вычислительной машины попал мотылек, которого в журнале событий назвали жучком (ЭВМ Mark II, 1946г).

В 2015 году компания Coverity провела анализ 17,5 млн строк кода для набора LAMP (Linux, Apache, MySQL, and Perl/PHP/Python) (см. "Measuring software quality. A Study of Open Source Software", Ben Chelf, Coverity Inc). выявлено 0.290 ошибок на тысячу строк кода. В то время как в среднем получено 0,434 ошибки для 32 программных проектов с открытыми кодами. Данное исследование финансировалось Департаментом внутренней безопасности (Department of Homeland Security). Исследование выполнено подразделением Computer Science Стэнфордского университета. Выявлено 40 критических уязвимостей и программных дефектов.

Формируется новый подход к оценке качества программ, который основан на модели выявления ошибок методом "многих глаз". В стэнфордском университете в лаборатории компьютерных систем разработаны средства для автоматического анализа десятков миллионов строк кода и выявления программных дефектов, которые могут приводить к катастрофам.

В 2002 году NIST (National Institute of Standards and Technology) оценил, что из-за прпограммных ошибок США терябт до 60 млрд. долларов в год. Было также установлено, что своевременно диагностируя такие дефекты можно сэкономить до 22 млрд. долларов в год. Констатируется, что не существует механизма выявления всех дефектов программы.

Проанализировано 32 программных пакета с открытыми кодами, для анализа потребовалось 27 часов на компьютере с тактовой частотой 3,2 ГГц. Получено значение 0.434 дефекта на 1000 строк кода при стандартном отклонении 0.243.

На рисунке ниже показано распределение плотности дефектов для 32 программных пакетов с открытым кодом. А на следующем рисунке показано распределение ошибок для программного набора LAMP. Среднее число ошибок для LAMP оказалось равно 0.290.

Рис. 23. Распределение плотности программных дефектов для программ с открытым кодом

Рис. 24. Распределение ошибок для программного набора LAMP

Технический долг (устоявшееся понятие) на строку кода для типового приложения составляет 3,61$. Под техническим долгом подразумевается некоторая работа, которая должна была быть выполнена до начала проекта. Эффективность удаления дефектов программы составляет в среднем 35%. Издержки на отладку программ в мире достигают 312 млрд. долларов (данные 2012 года). Доля расходов на удаление дефектов приложений составляет 52%, при этом оказывается удалено только 8% всех дефектов. Смотри "Tech Trends 2014. Inspiring Disruption", Deloitte University Press.

Известно, что 80% пользователей используют лишь 20% всех опций и возможностей прикладной программы. Одним из путей решения данной проблемы - модульность, когда пользователь сможет конфигурировать и загружать только нужные ему функции.

В 2008 году в мире использовалось 350.000.000 USB-флэш модулей памяти, что создает определенные угрозы. За последние два года 52% предприятий пострадали от утраты конфиденциальных данных, хранившихся на USB-драйвах. На рынке появились устройства, которые требуют аутентификации для доступа к таким устройствам. Кроме того, флэш память стала причиной занесения вируса в машины Международной космической станции.

В 2008 году Интернетом пользовались 1,1 миллиарда людей, каждый год это число увеличивается на 6.6% и к 2011 году можно ожидать, что клиентами Интернет станет 22% населения земли (1,5×109). Сейчас вычислительные машины потребляют примерно 2% всей вырабатываемой электроэнергии.

Прогнозы

При современных темпах развития крайне трудно делать прогнозы в области информационных технологий. Может показаться, что всемирный кризис положит конец развитию в этой области, но это не так, во всяком случае для США и Европы. Смотри Four reasons why 2009 will be a watershed year in technology.

Эксперты полагают, что именно 2009 год станет переломным в сфере ИТ.

Инвестиции в широкополосные каналы в США

Президент США Барак Обама выступал за расширение полосы общенациональной сети, еще не будучи во главе государства. В 2007 году он сказал: "Пусть поколение, которое перестраивает экономику страны, конкурирует в цифровой среде... Давайте создадим широкополосные каналы в глубинных городах и сельских центрах по всей Америке" (на каждую ферму канал с полосой 2 Мбит/c).

По этой причине не является неожиданностью то, что инвестирование в широкополосную инфраструктуру связи составляет существенную долю во вложениях для стимуляции развития экономики в кризисной ситуации. Первая доля инвестиций в 800 милиардов долларов, которая планируется на февраль 2009, содержит в себе 6 миллиардов на развитие широкополосной инфраструктуры. Но это лишь часть программы администрации Обамы.

350 миллионов долларов планируется потратить на разработку оптимальной схемы широкополосной инфраструктуры связи в США. 2,8 миллиарда планируется выделить NTIA (U.S. National Telecommunications and Information Administration) и RUS (US Rural Utilities Service). Все эти гранты предполагают обеспечение полосы пропускания для проводных каналов 45 Мбит/с и 3 Мбит/c для беспроводной связи. Предполагается, что это будет способствовать развитию различных форм бизнеса (не только телекоммуникационного).

Существуют достаточно противоречивые прогнозы относительно числа устройств, которое будет подключены к Интернет в ближайшее время. Например, прогноз 2009 года давал цифру 50 млрд. устройств к 2020 году. Этот прогноз вызвал серьезный скептицизм. Но в марте 2010 года появился прогноз CISCO о подключении к Интернет 1 триллиона устройств к концу 2013 года. В этот перечень включаются все виды компьютеров и нетбуков, телевизоры, мобильные телефоны, игровые приставки, переносные игровые устройства, электронные книги, смартфоны и т.д. В это трудно поверить, но ждать осталось не так долго. В любом варианте для подключения этих устройств пригоден только IPv6, так как свободное адресное пространство в IPv4 иссякло еще в 2011 году.

Хранение информации в облаке Интернет

Предполагается, что WEB-приложения будут использоваться в 2009 году все более широко. Одним из таких приложений может стать распределенные и удаленные системы хранения информации (смотри также раздел 6.1 на данном сервере). Такая схема позволит не только расширить возможности вашей персональной машины, но и максимально реализовать функции своего smartphone. Разработки в этой области велись уже несколько лет (Microsoft, Google и др.), но 2009 год предполагается узловым. Речь здесь идет не только о резервном копировании, но и о хранении, например, cookies. Надо сказать, что, начиная с 2007 года стала внедряться технология cloud computing, которая включает в себя и это направление.

Широкое использование дешевых компьютеров

В 2007 году появились дешевые малые компьютеры (netbooks), например, XO laptop и ASUS, обладающие достаточно высокими эксплуатационными характеристиками. Подобные машины планируют к выпуску Hewlett-Packard, Dell, Acer и некоторые другие. Предполагается, что таких машин будет продано в 2009 году около 20.000.000 (в 2008-ом было продано 10 миллионов). Эти машины будут оснащены процессором Атом компании Intel. Эти машины понизят барьер для приобретения компьютера и будут способствовать расширению численности пользователей. Microsoft планирует поставить на эти машины новую версию ОС Windows 7.

Возможности в области энергопитания

Тенденции, проявившиеся в 2008 году в области "зеленого" компьютинга, станут определяющими в 2009 году. Полагаю, что это наряду с другими энергосберегающми технологиями, разработанными за последние 5 лет и внедряемые, начиная с 2007 года, будут способствовать падению цен на нефть. Под зеленым компьютингом подразумевается комплекс оборудования и программ, нацеленных на энергосбережение при питании и охлаждении машин, вычислительных центров, сетей и офисов. К этому направлению примыкают и технологии виртуализации самых разных вычислительных и управляющих сервисов (например, технология EnergyWise Cisco).

Интеграция

Ниже приводятся некоторые соображения, связанные с созданием сложных программно-аппаратных систем. Каждый доллар, вложенный в новый программный продукт, сопряжен с 7-10 долларами, которые придется потратить на интеграцию данного продукта в систему.

Система, созданная из продуктов нескольких производителей, обойдется в 4 раза дороже системы от одного производителя.

Фирменное приложение может использоваться до 20 лет, подвергаясь обновлению каждые 2-3 года. Каждое обновление сопряжено с определенными издержками его реинтеграции в систему. Компания IDS оценивает стоимость интеграции за время жизни приложения (5-20 лет) равной стоимости приложения, умноженной на 30-40. При использовании продуктов разных производителей эта цифра растет экспоненциально. Это относится конкретно к программам обеспечения сетевой и информационной безопасности. Смотри Containing Vendor Sprawl: Improve Security, Reduce Risk, and Lower Cost.

Рост информационных объемов

Человечество узнает об окружающем мире все больше. Необходимые и реальные объемы данных, хранящихся в информационных репозитариях, растет почти экспоненциально. В 1980 году гигабайт данных занимал целую комнату, сейчас память с емкостью 200 гигабайт поместится к кармане вашей сорочки. В ЦБ России накоплено 640 Тбайт информации, а в Российской Государственной библиотеке - 7 Тбайт [4, стр. 26].

Темпы роста информационных объемов по годам (2005-2010) смотри на рис. 25 (The Top 5 IT budget Killers). Практически та же тенденция прослеживается в сфере аппаратной и программной сложности. Из рисунка видно, что дефицит нужного объема памяти со временем нарастает. Предполагается (IDC), что за период с 2009 по 2014 объемы используемой памяти вырастут на 50%.

Рис. 25. Рост объемов информации в 2005-2011гг.

В 2016 году объем памяти всех вычислительных центров в мире достигнет 1180 эксабайтов (в 2002 году был 1 эксабайт). Из рис. 25 видно что доля безвозвратно теряемых данных, начиная с 2008 года начинает расти с 100 петабайт до 400 петабайт в 2010 году, а в 2011 эта цифра уже превысила 900 петабайт. Мы даже не можем сказать насколько эти данные были важны и полезны, так как они не были обработаны. В реальном мире мы окружены информацией и лишь ничтожную долю ее мы воспринимаем и обрабатываем. Межу тем объем данных, генерируемых в мире, розрастает в 10 раз каждые пять лет.

Журнал Economist оценивает, что объем данных каждый год растет на 60%. Эта точка зрения подтверждается аналитиком компании IDC, который предсказывает, что ‘цифровая вселенная’ вырастит до 1.8 зеттабайт (1021байт) в 2011 г, на 47% по отношению к 2010 г, и превысит 7 ZB к 2015 году. 1 зеттабайт = 50 библиотекам Конгресса США.

Рис. 26. Рост объема данных, накопленных человечеством.

Дело идет к тому, что любая информация, как хранимая, так и передаваемая будет криптографически защищена. Но для алгоритмов защиты не доказаны теоремы криптографической прочности, а современные вычислительные технологии, в частности графические процессоры, сокращают срок жизни криптографических ключей. С учетом этого обстоятельства кривые на рис. ниже можно опустить вниз на 10 единиц.

Рис. 27. Время жизни криптографических алгоритмов (см. Network Security, V2004, Issue 12, декабрь 2004, стр. 6-11).

Стремительный рост доступных объемов информации создает серьезную проблему. Нужны эффективные системы поиска, переработки и представления данных. Если вы не можете за разумное время переработать имеющуюся информацию, то в какой-то степени такая ситуация эквивалентна отсутствию информации.

Весь окружающий нас мир – это информация, и мы слишком мало о нем знаем. Например, если бы мы всегда знали состав газа во всех наших жилищах, не было бы такого количества сообщений о взрывах домов из-за утечки газа с жертвами людей.

Технология модулей оперативной памяти не была рассчитана на увеличение потребности порядка 60% в год (что мы имеем сегодня). Эта технология была сформирована в середине 80-х и была рассчитана на рост потребности 6-8% в год, что позволяло обновлять объемы оперативной памяти один раз в 5 лет. Увеличение же потребности на 60% в год (IDC, Gartner) означает, что вы ощущаете нехватку памяти каждые 18 месяцев. Решением этой проблемы может быть привлечение техники GRID, чему способствует быстрый рост пропускной способности локальных каналов.

Big data и NoSQL

В обиход введен термин "технологии больших объемов данных" (Big data technologies). Это новое поколение технологий и архитектур, разработанных для эффективного извлечения нужной информации из гигантских объемов данных, относящихся к различным типам.

В 2012 года темп роста объемов "big data" достиг 62% в год, из них 85% остаются не управляемыми (вне баз данных). (см. The Truth About Big Data и For Big Data Analytics There’s No Such Thing as Too Big). На рисунке ниже отражена эволюция технологии big data и ожиданий пользователей (см. "2013 in review: Big data, bigger expectations?", Larry Freeman, December 16, 2013).

Рис. 28. Эволюция big data (Olga Tarkovskiy)

Лет 10-15 назад на вопрос, базу данных какого типа следует использовать, ответ был однозначен, - реляционную. У меня проблемы с MySQL стали возникать несколько лет назад, когда объем индексного файла по сетевым атакам превысил 40 ГБайт. Время выборки по мере роста объема данных начало быстро рости. Ниже на рисунке показаны источники больших объемов данных ("Big security for big data". HP)

Рис. 29. Источники больших объемов данных

Только в одном Twitter формируется почти 100 млн. коротких сообщений в сутки. Специалисты из исследовательской компании IDC полагают, что до 2020г, объемы информации цифровой вселенной увеличится на 35 триллионов гигабайт. В 2011 объем цифровых данных, генерируемых и копируемых, превысит 1.8 триллиона гигабайт – темп роста 9 раз за пять лет. Компания Google обрабатывает более одного петабайта в час.

К 2020 году на каждого жителя Земли, включая стариков и детей, будет приходиться 5200 ГБ данных. Только 15% этих данных будет записано в облачной среде (прогноз Digital Universe by Lucas Mearian). Предполагается, что объем данных будет удваиваться каждый год. Компания IDC оценивает, что к 2020, 33% всех данных будут содержать информацию, которая может быть ценной, если ее анализировать. К 2020 году полный объем данных, которыми будет обладать человечество, составит 35 ЗБ.

Типовой пассажирский лайнер генерирует 20 терабайт данных на каждый из двигателей в час. За один полет из Нью-Йорка в Лос Анжелес Боинг 737 генерирует 240 терабайт данных. Если принять во внимание, что в день осуществляется около 30,000 полетов (США), объемы данных быстро стремятся к петабайтам.

Большие потоки создают исследования, связанные с геномом, так в швейцарском институте биоинформатики: только один эксперимент порождает до 743000 файлов со средним размером 2 ТБ, такие эксперименты выполняются до двух раз в неделю. Гигантские объемы данных создают различные системы видео мониторинга. Ожидается, что к 2015 года такие системы потребуют памяти с объемом 4 петабайт.

Обычно организация, имеющая более 1000 сотрудников, имеет около 200 ТБ данных.

К 2015 году глобальный мобильный трафик через Интернет достигнет 6.30 экзабайт в месяц (оценка компании Cisco - Cisco UCS Ecosystem for Oracle: Extend Support to Big Data and Oracle NoSQL Database, 2012г. см. также For Big Data Analytics There’s No Such Thing as Too Big. The Compelling Economics and Technology of Big Data Computing. March 2012). Один экзабайт эквивалентен 10 млрд. копий печатной версии еженедельного журнала новостей.

В США 8 организаций порождают и накопили наибольшие объемы данных:

Отдельную проблему составляет задача работы с большими объемами информации в рамках баз данных. По мере роста объема информации у вас возникают проблемы с нужными объемами на жестких дисках (эта часть проблемы относительно легко решается), и, что более важно, с временами доступа к нужным данным. Можно, разумеется, использовать изощренные кэши, но и это в конце концов не поможет. Можно секционировать БД, помещая каждый класс информации в свою БД.

Для решения этой проблемы (big data) разработана специальная разновидность баз данных NoSQL (http://www.nosql-database.org). Сопоставление свойств реляционных баз данных и NoSQL (например, Cassandra) представлено в таблице ниже.

Реляционные базы данныхБазы данных NoSQL
  • Сложные взаимоотношения данных
  • Схемоцентричность
  • Масштабируемость
  • Статическая память
  • Универсальные свойства и функции
  • Очень простые взаимоотношения
  • Произвольная схема; неструктурированные данные
  • Распределенная обработка
  • Память масштабируется вместе с вычислительными ресурсами
  • Система ориентирована на приложение и разработчика

Технология NoSQL не предназначена заменить реляционные базы данных, скорее она помогает решить проблемы, когда объем данных становится слишком велик. NoSQL часто использует кластеры недорогих стандартных серверов. Это решение позволяет понизить стоимость на гигабайт в секунду в несколько раз. Компания CISCO предлагает решения для унифицированных компьютерных систем (UCS), содержащих как blade, так и стоечные серверы (см. http://www.cisco.com/go/bigdata). Отдельную проблему составляет обеспечение безопасности при работе с Big Data.

Компьютеры для переработки больших объемов данных

В LANL (Lawrence Livermore National Laboratory) создан суперкомпьютер (Catalyst), предназначенный для переработки больших объемов данных (см. "Need to crunch 150 teraflops per second? Meet first-of-a-kind supercomputer Catalyst", Darlene Storm, May 07, 2014). Мощность Catalyst составляет 150 терафлопов/сек Он сожержит в себе 324 узла, 7776 ядер и использует 12-ядерные процессоры Intel Xeon E5-2695v2. В Catalyst применена архитектура Cray CS300, адаптированная для переработки больших объемов данных для целей науки и промышленности. Catalyst содержит по 128 гигабайт динамической памяти (DRAM) и по 800 Гбайт нестираемой памяти (NVRAM) для каждого из узлов. Плюс 3,2 тбайта для распределённая файловая система с массовым параллелизмом (lustre). Эта память предназначена для улучшения сетевых характеристик кластера с двух-магистральным QDR-80 (Quad Data Rate). В дополнение к этому узлы имеют SSD Intel. Данный комплекс планируется использовать для бизнес аналитики и для исследования свойств сверхтяжелых элементов, в частности с атомным номером 117.

Современная аналитика предполагает, что клиент может задавать вопросы компьютеру на естественном языке (см. Watson).

Современные компьютеры поволяют выполнять огромное число операций в единицу времени. Большинство коммерческих сделок осуществляются программами, работающими на этих компьютерах. Люди не способны отслеживать такие операции. На биржах работает огромное число программ, параметры и алгоритмы которых не известным остальным биржевикам. Это может стать источником непредсказуемых последствий, когда ситуация отклоняется от стандартной. То что задержки доставки данных важны при управлении ракетой или беспилотником понятно, но то что это важно на биржах, стало ясно в 2008 году при катастрофическом обвале индекса Доу-Джонса в США.

Размещение базы данных в оперативной памяти

Чтобы решить проблему задержек между срабатыванием ЦПУ и получением данных, предлагается размещать данные непосредственно в памяти, что облегчается появлением флэш-памяти и PCI-флэшами (см. "In-memory databases - what they do and the storage they need", Chris Evans). При этом банк данных может быть размещен в памяти полностью или частично (например, в DRAM). Практическая реализация выполнена IBM для базы данных DB2. В сервере IBM использована технология NVDIMM.

Так как проблема безопасности к концу 2009 года стала критической, начали разрабатываться коммуникационные процессоры, где аппаратно поддерживается протокол IPsec (APPP3300 и APP2200). Смотри статью Sindhu Xirasager и Masoud Mojtahed "Securing IP networks" в журнале "Network Security" N1 стр. 13-17 (рис.2).

Средняя персональная машина хранит в себе около 4000 файлов, что делает резервное копирование крайне актуальным.

Визуализация данных становится важным компонентом аналитики в эпоху big data. Решение этой задачи усложняется сегодня тем, что традиционная архитектура и инфраструктура не удовлетворяют требованиям работы с большими объемами данных. Для обработки больших объемов информации может быть использована технология grid.

Одним из объектов big data является лицо конкретного человека, записанное с высоким разрешением. Геном человека требует для записи несколько гигабайт. А в Нью-Йорке имеется 3000 камер, которые постоянно пишут картинку в различных общественных местах.

Рис. 32. Коммуникационный процессор, обеспечивающий безопасность.

После 2004 года начали набирать популярность социальные сети Twitter, Facebook, MySpace и Linkedln. Доли этих сетей показаны на диаграмме ниже (см. Security Threat Report:2010). По данным CISCO в 2009 году 2% всех запросов приходилось на социальные сети. Социальные сети становятся главной мишенью хакеров, из них Facebook занимает первое место.


Только Китай и Индия имеют население больше, чем социальная сеть facebook. См. рис. 33.

Рис. 33. Сопоставление численности населения различных стран и числа участников сети facebook.

Системы IDS/IPS, базирующиеся на сигнатурах атак, становятся неэффективными, так как число сигнатур перевалило за 2.500.000 и продолжает расти со скоростью около 50,000 новых образцов вредоносных кодов в день. По этой причине центр тяжести разработок систем противодействия атакам перемещается в сферу анализа необычности поведения программ и систем.

Рост числа сетевых атак и вторжений с одной стороны, а также внедрение вычислительной техники в управление всеми сторонами жизни диктует новые требования к приложениям и каналам связи. В 2009 году отмечен бурный рост вторжений с использованием социальных сетей, например, Facebook или Twitter. Хакеры научились искажать результаты опросов общественного мнения через Интернет и это стало еще одной статьей их дохода. Возникли реальные опасения вмешательства хакеров в управление уличным движением или авиарейсами (смотри SC Magazine - Web attacks can invade air traffic control systems.

В РФ несколько лет (конец 20-го - начачо 21-века) обсуждался проект сквозного канала связи от Калининграда до Владивостока с полосой 1Гбит/c. Через несколько лет поняли, что 1 Гбит/c слишком мало, и начали обсуждать проект на 10 Гбит/c. Поскольку все равно ничего не делается, то правильнее было бы обсуждать 100-гигабитный проект, так как в США имеется пока лишь 40-гигабитная общенациональная сеть.

Начиная с 2009 года сетевые атаки помимо чисто коммерческих целей, начинают преследовать политические, экономические и военные цели.

Одним из средств противодействия хакерам следует рассматривать увеличение разнообразия перечня используемых ОС (Google’s Chrome, Apple Mac и Ubuntu (Linux)) (это прибавит работы хакерам).

С глобальной точки зрения анализ трафика показывает, что все приложения по порядку величины создают примерно равные потоки. Аналогично не существует различия в трафиках для разных континетов. Совместное использование файлов, IM, электронная почта, фото, видео, аудио и социальные сети используются примерно в равных долях. Смотри The Application Usage and Risk Report

Рис. 34. Распределение по приложениям и по географическим регионам

Распределения приложений WEB 2.0 демонстрирует максимум для коллаборативных программ (например, Facebook или Twitter (доля последнего - 89%). Число пользователей Twitter за год возрало в 2,5 раза.

Рис. 35. Распределение приложений WEB 2.0 по типам.

Рис. 36. Изменения в 5 наиболее популярных социальных сетях WEB-mail и IM.

Развитие современных ИТ-технологий в какой-то мере может характеризоваться частотой редактирования wiki и частотой сообщений в популятных блогах (рисунок ниже). Суммарная полоса пропускания, используемая приложениями, выросла за рассматриваемый период в 48 раз.

Рис. 37. Частоты редактирования wiki и сообщений в блогах.

Компании, выжившие в кризис, имели лучший доступ к информации и использовали более эффективные технологии, в частности, технику WEB 2.0.

Но чем мощнее приложение, тем потенциально оно уязвимее. На рисунке ниже представлены относительные характеристики различных приложений и сопряженные с ними риски.

Рис. 38. Характеристики приложений и сопряженные риски.

В последнее время были разработаны средства совместного использования файлов, базирующиеся на браузерах, более эффективные, чем P2P. Ниже на рис. 8 приведены сравнительные характеристики различных приложений.

Рис. 39. Сравнение различных приложений.

Рис. 40. Использование полосы пропускания различными развлекательными приложениями.

Из рис. 40 видно, что приложения для развлечений имеют тенденцию поглощать все большую полосу пропускания каналов. Так flash-технология потребляет около 10% всей пропускной способности. В результате развлекательные приложения, составляя 25% от общего числа, потребляют более половины всей полосы пропускания.

Весной 2010 года операционная система Windows XP остается наиболее популярной в мире и используется практически на каждой второй машине.

Рост сетевых угроз

К началу 2007 года хакерство перешло на коммерческую основу, в этой сфере возникла конкуренция, что способствовало быстрому росту качества вредоносных программных продуктов и падению цен услуг в этой области. Темпы роста числа взломанных машин в мире заставляет говорить об индустриальной революции в этой сфере. Тем более, что с одной стороны это стало одним из важнейших видов преступного бизнеса, с другой - уровень организации, автоматизации и разделение труда в этой отрасли достигли небывалых масштабов.

Раньше хакеры концентрировались на прорыве периметра обороны сети. Теперь цели сменились, основной мишенью атаки стали данные и приложения, которые управляют потоками данных. 60% атак предпринимается против WEB-приложений. Смотри The Industrialization of Hacking, а также Обзоры компаний Symantec, McAfee, Sophos, лаб Касперского, Cenzic, IBM, Sunbelt и др. об угрозах безопасности с 2006 до наших дней.

Началась разработка кибероружия. Этим делом занялись практически все развитые страны. Речь уже идет о подготовке кибервойн. Сообщений о разработках кибероружия становится все больше (см. Report suggests that U.S. helped create super cyber weapon, а также UPDATE 2-Cyber attack appears to target Iran-tech firms). Эти сообщения связаны с американо-израильской разработкой нового вида кибероружия (сетевой червь Stuxnet), поражающего контроллеры технологического оборудования, в частности суперцентрифуг для разделения изотопов урана в Иране. Сообщение New York Times официальными источниками в США не подтверждается. Иранский президент Махмуд Ахмадинежад подтвердил проблемы с технологическим оборудованием на обогатительных заводах. Разработка червя заняла около 2-х лет. Эта программа достаточно универсальна и пригодна для нарушения работы, например, энергетических предприятий. Заразиться червем компьютер может при загрузке USB-памяти, при этом ни одна существующая на сегодня антивирусная защита его не обнаружит.

В 2007 году состоялась массированная сетевая атака на Государственный департамент США, министерство экономики, обороны, энергетики, NASA и некоторые другие правительственные структуры США. Это событие некоторые американцы называют информационным Пирл-Харбором. По оценкам экспертов украденный объем данных составил терабайты (сравнимо с суммарным объемом информации в библиотеке Конгресса США). В 2010 году президент Б.Обама объявил защиту от кибероружия приоритетной государственной задачей

Конгресс США выделил в 2010 году 17 млрд долларов на противодействие кибератакам. За истекший (2010) год из банков США украдено через Интернет примерно 100.000.000 долларов (традиционные гангстеры с кольтами и автоматами проливают слезы зависти...). Скорости изъятия денег достигали $10.000.000 в сутки. Сообщено, что в штате Вирджиния хакер получил доступ к медицинской базе данных, зашифровал ее и предложил прислать ключ расшифровки за 10 млн. долларов. Бывший глава системы национальной безопасности США адмирал Майк МакКоннел утверждает, что китайцы вторглись в банковскую сеть США и оставили там программы, которые могут быть ими использованы позднее.

На рынке появились программные продукты, предназначенные для взлома и заражения машин вредоносными кодами, а также для управления botnet. Эти программы пригодны для немедленной загрузки и использования.

Число машин в botnet достигло 14 миллионов. Установлено, что 92% WEB-приложений имеет уязвимости. В сутки предпринимается до 250000 атак SQL-injections. Смотри McAfee Q2 Threats Report Reveals Spam, Botnets at an All Time High.

Индустриальный подход к взлому машин предполагает разделение труда, в этом бизнесе сформировались как минимум три группы:

Обычно массовые атаки предпринимаются в два этапа. Сначала фермеры наращивают размеры botnet, например, путем манипулирования поисковыми серверами. Многие, вероятно, получали по почте предложение, сделать так, чтобы ваш WEB-сервер попал в десятку самых популярных. Хакеры используют эту же технологию для продвижения своих вредоносных сайтов. "Раскрутке" на поисковых серверах могут быть подвергнуты и вполне легальные, но зараженные ранее сайты. Это приводит к увеличению числа их просмотров и, как следствие, к росту числа зараженных машин. Для аналогичных целей могут использоваться и компании массовой рассылки SPAM с приложениями, содержащими вредоносные коды. На втором этапе дилеры предпринимают атаку, стремясь получить доступ к важной информации. При этом широко используются прокси-серверы, помогающие скрыть истинный источник атаки, и специальные программы, автоматизирующие процесс. Атака может предполагать попытку подбора параметров доступа, когда для этой цели используется порядка десятка машин, разбросанных по всему миру.

Намечается переход от кражи персональных данных и номеров кредитных карт к параметрам доступа к приложениям, при этом сформировалось три типа атак:

  1. Кража данных или SQL-injection: эта технология в последнее время стала наиболее широко используемой для кражи или искажения данных (например, изменения цен в Интернет-магазинах). С января по июнь 2009 года по данным IBM совершалось ежедневно около 250.000 атак типа SQL-injection.
  2. Атаки против бизнес-логики: - это совершенно новый тип атак. Здесь используется не уязвимость приложения, а несовершенство или непродуманность логики бизнес-операций. Такие атаки чаще всего остаются незамеченными, так как традиционные средства регистрации атак в этом случае оказываются бессильны.
  3. Мишенью атаки в последнем случае является не уязвимость приложения, а сам бизнес-процесс. Например, WEB-сайт North Carolina’s Cable News позволяет зарегистрированным пользователям вносить уведомления, связанные с погодой, чтобы предупредить о возможных проблемах. В этом случае атакер отправляет сообщение серверу новостей и ждет одобрения модератора. После получения одобрения атакер редактирует свое исходное сообщения, внося в него вредоносный код. Система не предполагала просмотра отредактированного сообщения модератором.

  4. По-прежнему важной компонентой сетевых угроз остается распределенные атаки отказа в обслуживании (DDoS). Почти 75% респондентов сообщают, что подвергались один или более раз DoS-атакам за последние 12 месяцев. Жертвами таких атак все чаще становятся сервис-провайдеры. Смотри The Trends and Changing Landscape of DDoS Threats and Protection.

Возникает вопрос, как минимизировать сетевые угрозы в новых условиях? К сожалению ничего нового предложить пока нельзя - автоматические системы обновления ОС и приложений, усовершенствованные средства аутентификации и антивирусные программы. Традиционные средства сигнатурной идентификации атак становятся совершенно неэффективными, так как число сигнатур превысило 2.000.000 и продолжает быстро расти.

Botnet становятся оружием на национальном уровне. В июле 2009 года была предпринята массовая атака (DoS) сетевых объектов в Южной Корее и США со стороны Северной Кореи. Атака предпринималась из десятков тысяч машин, разбросанных по всему миру.

В последнее время все шире используются приложения, которые могут туннелировать через другие приложения, что позволяет скрыть реальную активность (для этих же целей используются прокси-серверы). Их перечень включает в себя все более широкий список программ (полное число весной 2010 составляет 177 (TOR, UltraSurf, Gpass, Gbridge и др.), помимо традиционных SSH, SSL и VPN (IPSec or SSL).

Следует, впрочем, иметь в виду, что только 40% вредносных кодов может быть детектировано современными антивирусными программами (данные на начало 2010 года; Yankee Group).

Отмечается рост размеров компаний, занимающихся рассылкой SPAM. В среднем одна компания ответственна за рассылку 4% общего объема такого трафика.

Число краж промышленных, торговых и сетевых секретов удвоилось с 1988 по 1995, еще одно удвоение объемов краж случилось в период с 1995 по 2004. Очередное удвоение ожидается к 2017 (в 2008 потери составили триллион долларов!).

Средства детектирования атак становятся все более изощренными. К число эффективных средств следует отнести технологии DPI (Deep Packet Inspection), которые осуществляют просмотр не только заголовков, но и полей данных пакетов. Будущее принадлежит методам безсигнатурного распознавания сетевых атак (число сигнатур перевалило за 2,5 миллионов). Рост информационных потоков (≥100Гбит/сек) делает проблему распознавания атак c учетом растущего числа сигнатур все более сложной. Задача усложняется, если вы хотите установить источник заражения машин вашей сети, так как сегодня атаки предпринимаются через прокси-сервер или из взломанной ранее машины.

Технология NFC

Технология NFC (Near-field Communication) предоставляет коротко диапазонные коммуникации с различными устройствами, в частности с мобильными. NFC может использоваться в качестве платежного средства.

NFC представляет собой стандарт, принятый NFC-форумом (2004 год), всемирным консорциумом разработчиков оборудования, программ/приложений, компаний - эмитентов кредитных карт, сервис-провайдеров и банковских работников (всего более 80 компаний и организаций). Смотри Near Field Communication), а также An Introduction to Near-Field Communication and the Бесконтактные коммуникации API, C. Enrique Ortiz, June 2008.

NFC - простое расширение стандарта ISO 14443, которое объединяет интерфейс и считыватель в одно устройство. NFC может поддерживать связь с существующими смарт-картами, считывающими устройствами стандарта ISO 14443, и другими устройствами NFC. Эта техника совместима с существующей инфраструктурой бесконтактных карт, уже использующейся в общественном транспорте и платежных системах.

NFC работает на частоте 13.56 MHz (диапазон ISM (Industrial, Scientific and Medical radio Bands - Промышленные, научные и медицинские частоты) обеспечивает скорость передачи до 424 кбит/c. NFC-коммуникации запускаются, когда NFC-совместимые устройства оказываются на расстоянии около 4 см друг от друга. Так как расстояние минимально, утечка данных практически исключена. В NFC связь поддерживается за счет взаимной индукции рамочных антенн. Радио интерфейс для NFC стандартизирован в:

Максимальное рабочее расстояние для стандартных антенн не превышает 20 см, а скорость передачи данных может принимать значения 106, 212 или 424 кбит/сек.

Использование приложений с переключением портов

Еще несколько лет назад практически все приложения использовали при работе 1 максимум 2 порта. Пожалуй первыми приложениями, нарушившими эту традицию стали файлообменные программы eMule, BitTorrent, Kazaa, Gnutella, Ares и др. (P2P). Еще одним популярным приложением такого типа является Skype. Но мало-по-малу сформировался быстрорасширяющийся класс таких приложений. Это сопряжено с широким внедрением технологиии Web 2.0. В настоящее время только компания Google предлагает около 20 таких приложений. Эти технологии позволяют решить проблемы ускорения обменов, экономии ресурсов и, в некоторых случаях, обеспечить более высокий уровень безопасности. Но риск их использования пока достаточно велик. Число организаций и индивидуальных пользователей этих приложений быстро растет. Это связано с тем, что эти приложения обеспечивают более высокие эксплуатационные характеристики. Всего к текущему моменту времени доступны 105 подобных программных приложений. На рис. 41 приведены основные приложения, которые в процессе работы осуществляют коммутацию портов. Смотри The Application Usage and Risk Report. An Analysis of End User Application Trends in the Enterprise (весна 2010)

Рис. 41. Приложения, осуществляющие переключение портов.

Три из этих приложений используют WEB-интерфейс (Sharepoint, Mediafire, and Ooyla), остальные применяют технику P2P или клиент-сервер.

Увеличивается число используемых приложений. На рис. 42 показано распределение областей применения различных приложений.

Рис. 42. Частоты использования приложений в различных областях.

Использование приложений с распознаванием голоса

Широкое внедрение голосовых Интернет коммуникаций, например, Skype, создало платформу для развития новых технологий манипулирования голосовыми данными, в частности технику IVR (Interactive Voice Response). Появляются интерактивные голосовые приложения, базирующиеся на VoiceXML.

В последнее время IVR подразумевает также применение дикторо-независимого распознавания речи. На основе таких технологий создаются специализированные call-центры, обслуживающие клиентов, включая безоператорские справочные голосовые системы. Данная технология может стать основой надежных систем голосового управления.

Рис. 43. Использование и планы внедрения приложений IVR.

23% организаций планируют использовать технологии IVR в своих контактных центрах до 2011 года. Наблюдается быстрый рост этого сектора рынка услуг. IVR включается в claud-сервис порталы типа PaaS (Platform as a Service). См. рис. 44.

Рис. 44. Платформа в качестве сервиса (PaaS) для IVR

Смотри также книгу Б. С. Гольдштейн, В. А. Фрейнкман Call-центры и компьютерная телефония, БХВ Санкт-Петербург, 2002, ISBN 5-8206-0105-X .

Концепция информационных центров

Информационное обеспечение работников выходит на лидирующие позиции. Постепенно сформировалась концепция информационных центров. В основу положены принципы cloud computing. Такие центры должны быть:

Пользователи такого центра и даже фирма могут не знать, где физически расположен сервер информационного центра, на котором они работают. Центр может быть и распределенным.

Ниже на рис. 45 представлено распределение ИТ-проблем по приоритетем для больших и средних предприятий. А на рис. 45 показано распределение ИТ-инвестиций. Смотри White Paper: Transitioning to a Dynamic Data Center (2010 г). Приведенные данные базируются на опросе более чем 500 компаний в 2010 году.

Рис. 45. ИТ-приоритеты в 2011

Рис. 46. ИТ-инвестиции в 2011

Принципы построения информационных центров в отношении энергопортебления описаны выше в разделе "Green computing". Если ранее информационные и вычислительные центры были синонимами, теперь происходит все более четкая специализация. Ниже на рис. 43 показано сложившееся распределение энергоресурсов для различных подсистем информационных центров (инфраструктура, сетевое оборудование, память, различные серверы). Энергозатраты выражаются в миллиардах Кватт*часов на год. Из рисунка видно, что основная доля энергозатрат приходится на инфраструктуру. Следует заметить, что по темпам роста создание информационных центров является наиболее быстро растущей отраслью. Уровень расходов составляет 6 миллионов долларов США на 1 МВ.

Рис. 47. Структура и тенденции в энергозатратах информационных центров (2000-2006гг)

На рис. 48 показан рост энергопотребления информационными центрами в период с 2000 по 2020 годы. Относительный рост превышает один порядок.

Рис. 48. Состояние и прогнозы по энергопотреблению информационными центрами в 2000-2025 гг

На рис. 49 показан уровень капиталовложений в строительство информационных центров в США и в остальном мире в период с 2000 по 2020 годы.

Рис. 49. Состояние и прогноз капиталовложений в информационные центры 1995-2025 гг

В последние годы возникла угроза формирования программистских монокультур. Наиболее известными являются Microsoft Windows, Apache и т.д.. Такие монокультуры становятся мишенями хакеров, ведь нахождение уязвимости в такой программе и написание эксплойта весьма привлекательно, так как число жертв в этом случае максимально. Да и в случае появления вируса или сетевого червя число жертв может исчисляться десятками миллионов.

Эволюция последовательных интерфейсов

Последовательные интерфейсы за последние 20 лет стремительно эволюционировали от RS-232 (19.2кб/с), RS-449, RS-423-А, RS-422-А, RS-485, IEEE 1394 к USB (2-15 Мбит.с) и, наконец Thunderbolt (10 Гбит/с).

Новый интерфейс Thunderbolt (раньше назывался Light Peak; смотри, например, http://ru.wikipedia.org/wiki/Thunderbolt и THUNDERBOLT TECHNOLOGY, а также http://www.ixbt.com/news/hard/index.shtml?14/36/48) сможет заменить USB, SCSI, SATA и Firewire для внутренних и внешних обменов. Скорость обмена составляет 10 Гбит/c и более, передача возможна по оптоволокну или проводам. Этот интерфейс позволяет передать HD-фильм за 30 секунд.

Мобильные гаджеты

В последние годы вслед за laptop и palmtop появились семейства iPhone и iPad. С точки зрения общего прогресса вычислительной техники это может показаться малосущественным событием. Но с учетом общей тенденции к интеграции услуг и серисов, данные приборы формируют отдельную ветвь развится мобильных технологий. Эти устройства выпускаются тиражами 100-200 миллионов в год. Но лично меня поразило то, что iPhone 3GS имеет память 8 Гбайт (в два раза больше, чем компьютер, на котором я сейчас работаю).

Растет число различных датчиков и сенсоров, которые помогают определить их настоящее положение, состояние, частоту использования объектов, в которые они встроены. Процессоры встраиваются практически во все бытовые приборы и со временем будут объединены в сеть, позволяя управлять средой дома и в офисе. Следует понимать, что такие сети будут порождать гигантские, невиданные ранее объемы данных.

3D-печать

Получение 3D-копий с помощью современных компьютеризированных средств давно не новость. 3D-печать относительно новая технология, при которой используется мощный лазер, сплавляющий частицы микропорошка, образуя слой за слоем объемный объект (эти данные взяты из статьи журнала New Scientist (3D printing: The world's first printed plane, 01 августа 2011, Paul Marks) . Толщина слоя составляет около 100 микрон. Для сплавления микрочастиц, например, титана может использоваться не только лазер, но и пучок электронов. Таким образом можно достичь большей прочности. Главной особенностью 3D-печати является возможность получения любых объемных объектов из самых разных материалов. По существу это новая технология производства изделий произвольной формы. Исходная заготовка может быть выполнена из полиамидного пластика.

По этой технологии могут, например, изготовляться корпуса беспилотных самолетов (UAV). В Великобритании эта технология поставлена на коммерческие рельсы.

В последнее время на важные позиции начинает выходить проблемы интеллектуальной собственности (см. "The intellectual property challenges from 3D printing", Kim Walker). Это, прежде всего, касается прав на дизайн изделия, как зарегистрированный так и незарегистрированный. Проблемы могут возникать даже с CAD-файлами, пересылаемыми через Интернет.

Рис. 50. 3D-принтер

Не исключено, что в самом ближайшем будущем некоторые ИТ-разработки будут внедены в медицину (см. "New 3D bioprinter to reproduce human organs, change the face of healthcare: The inside story", Lyndsey Gilpin, TechRepublic). Рассматривается возможность использования 3D-принтеров для воспроизводства человеческих органов (3D Bioprinting!). Одной из задач ставится создание методом 3D-печати работающего человеческого сердца, а также стволовых клеток.

Технология 3D bioprinting может открыть новые фантастические возможности для хирургии и для всей медицины в целом. В настоящее время разрабатываются специальные CAD-программы, в частности TSIM (Tissue Structure Information Modeling). Сейчас над этой тематикой работает группа из 65 человек (университет Louisville). Удалось уже сформировать клетки, которые сокращаются с частотой 60 раз в минуту. Смотри также 3D-bioprinting.

Рассмотрены 3D-принтеры для изготовления металлических объектов, технологии и материалы (см. "3D metal printing cheat sheet: Printers, print methods, materials, use cases", James Sanders, December 6, 2018). Современные технологии 3D-печати для металлов обеспечивают точность в диапазоне микронов. Обычно эта техника используется для изготовления прототипов, но все шире применяется и для малосерийного производства. Первые 3D-принтеры использовали технику стереолитографии (SLA), где фотополимеры подвергались отвердению посредством ультрафиолетового облучения. Большинство дешевых принтеров используют технику термопластического нанесения термопластичных материалов FDM (fused deposition modeling) или FFF (fused filament fabrication). Для изготовления металлических изделий часто используется технология выборочного лазерного спекания SLS (Selective laser sintering). Но эта техника применима для порошков пластиков, нейлона, полистирола, керамики и стекла. Еще одной технологией является выборочное лазерное плавление SLM (Selective laser melting) или прямое лазерное спекание металла (DMLS - Direct metal laser sintering). Существует также метод электронно-лучевого плавления в вакууме (EBM). Этот метод применим для работы со сплавами титана.

Разработаны технологии прямого энергетического воздействия (DED - Directed energy deposition), где металлический порошок напыляется на рабочую поверхность, а затем плавится лазером или электронным лучом. Данная техника применима и для ремонта. Еще одной технологией 3D-печати является LOM (Laminated object manufacturing), где используется металлическая фольга или пластиковая пленка.

Методика EBF (Electron beam freeform fabrication) использует металлическую проволоку, которая связывается электронным пучком в условиях нулевой гравитации. Технология разработана NASA.

Практика показала, что 3D-печать позволяет сократить число деталей того или иного агрегата. Так, например, в случае двигателя вертолета можно уменьшить число деталей с 400 до 16 при одновременном снижении веса.

На момент конца 2018 года активно работают в сфере 3-D печати: