1. Введение

1.1. ESnet сегодня

Эволюция ESnet прошла через три основных этапа: 45 Мбит/с; 155 Мбит/с (ATM) и 10/2,5 Гбит/c (SONET). Сегодня ядро сети ESnet представляет собой кольцо, состоящее из 10 гигабитной части на севере и 2.5 Гбит/c на юге (рис. 3).

Рис. 4. Состояние сети (середина-2006) с элементами сети ESnet4

2. Требования, предъявляемые к ESnet4, как к сети следующего поколения

После ряда обсуждений на конференциях и в рабочих группах были выработаны следующие требования к сети ESnet:

• Сохранить высококачественный, скоростной IP-доступ для университетов и международных коллабораций, а также к глобальному Интернет.
• Полоса пропускания сети должна постоянно увеличиваться не только в базовой сети, но и для всех узлов и систем, имеющих отношение к SC.
• Нужна доступность и многообразие коннективности, чтобы обеспечить расширяющуюся географию субъектов SC-коллабораций.
• Надежность сети является для науки DOE критическим параметром т.e., когда успешность крупномасштабного эксперимента зависит от сети, отказов сети не должно быть.
• Новые сетевые сервисы должны предоставлять разнообразные формы QoS (напр., гарантии полосы), обеспечивать каналы с различными, резервируемыми, гарантированными уровнями полосы для транспортировки трафика с переменной интенсивностью.

ESnet4: Новая архитектура, отвечающая требованиям науки

Стратегия ESnet нового поколения базируется на некотором наборе принципов, которые требуют наличия 4 базовых сетевых элементов и сетевого сервиса для управления большими информационными потоками. Среди используемых принципов:

1. Применение кольцевых топологий для обеспечения избыточности для любого сектора сети, а не только для опорной ее части.
2. Повсеместное обеспечение множественных независимых соединений, чтобы защититься от поломок оборудования или отказа оптических волокон .
3. Одна из сетей предназначается для реализации огромного числа обычных IP-обменов с ограниченным трафиком.
4. Вторая опорная сеть SDN (Science Data Network) – предназначена для относительно небольшого числа (от сотен до тысяч) мощных информационных потоков (от гигабайтного до терабабайтного, которые составляют уже 50% всего ESnet трафика и будут полностью доминировать в будущем).

Эти архитектурные принципы диктуют наличие четырех элементов при построении новой сети:

1. Высоконадежная базовая IP-сеть, использующая быстродействующие маршрутизаторы, чтобы обеспечить:
• Доступ к Интернет как для научного и лабораторного трафика, так и для подстраховки научной сети SDN
• Услуги для научных коллабораций.
• Сетевой обмен с другими сетями, нуждающимися в надежном доступе к глобальному Интернет.
2. Опорная SDN, основанная на переключателях L2 (Ethernet) и/или L1 (оптика) для:
• Множественных каналов с полосой 10 Гбит/с с разнообразной топологией для обеспечения высокой полосы пропускания для целей крупномасштабных научных экспериментов и избыточности, гарантирующей приемлемую надежность.
• Динамических каналов с гарантией полосы пропускания, предназначенных для управления большими потоками научных данных.
• Динамическое совместное использование некоторых оптических каналов R&E субъектами для управления трафиком в условиях перегрузки и для обеспечения специальных услуг, таких как “исключительно оптические маршруты”, маршруты точка-точка для приложений, которые пока не имеют интерфейсов для инкапсуляции (напр., Infiniband - высокоскоростная коммутируемая последовательная шина).
• предоставления альтернативного пути для IP-трафика.
3. Городские кольцевые сети MAN (Metropolitan Area Network), соединяющие лабораторные и базовые сети и обеспечивающие.
• Большую надежность (кольцо) и высокую полосу (множественные каналы 10 Гбит/с) подсоединениям узел-опорная сеть.
• Поддержку как традиционного IP, так и крупномасштабного научного трафика.
• Множественные соединения между опорной SDN, опорной IP и сайтами.
4. Блокирование петель в базовых кольцах для обеспечения:
• Двойных соединений с удаленными узлами, когда использование MAN оказывается непрактичным.

2.1. Высоконадежная базовая IP сеть

Соединение IP-сети с ESnet требует трех вещей:

• высоконадежной опорной IP-сети
• соединений узлов с опорной IP-сетью, и
• соединений со всеми другими сетями, с которыми нужно обеспечить связь в остальном мире.

Стратегия построения высоконадежной опорной IP сети содержит в себе четыре элемента.

2.2. Каналы точка-точка

Инфраструктура сети базируется на каналах точка-точка с быстродействием 10 Гбит/с, которые соединяют друг с другом IP маршрутизаторы базовой сети. Эта инфраструктура обеспечивается и поддерживается коммерческими провайдерами, для того чтобы гарантировать высокий уровень надежности и работоспособность 7×24 в национальном масштабе.

Соединения реализуются с помощью оптического мультиплексирования на базе оптоволоконных пар. Эта система будет использоваться совместно с R&E сообществом, но ESnet будет иметь каналы, которые ей нужны для IP и SDN сетей и которые будут использоваться только для этих целей. Каждый канал является электрически независимым соединением точка-точка, который может поддерживать различные протоколы уровня L2 (для ESnet это в основном Ethernet).

2.3. Топология базовой сети

Использование каналов с кольцевой топологией позволяет построить экономную по цене и надежную опорную IP-сеть. Кольцевая архитектура устойчива в отношении одного отказа, такого как разрыв волокна или выход из строя интерфейса маршрутизатора – IP-трафик будет просто переадресован в противоположном направлении кольца. Эта возможность переадресации в случае однократного отказа позволяет использовать более дешевые, незащищенные каналы. В сети ESnet эта архитектура используется уже пять лет для получения доступности опорной сети на уровне 99.99%, при доступности сайтов 99.9%, или выше.

2.4. Хабы базовой сети и IP-маршрутизаторы

Хабы базовой сети ESnet размещаются в помещениях, соответствующих телекоммуникационным требованиям, гарантирующим высокий уровень безопасности, имеющим резервные источники питания и предоставляющим возможность удаленного технического обслуживания и ремонта. Оборудование узлов ESnet включает в себя высоконадежные IP-маршрутизаторы и переключатели. Это оборудование снабжено двумя процессорами, источниками и т.д., что позволяет автоматически восстанавливать работоспособность при отказах отдельных компонентов. Кроме того, маршрутизаторы имеют безопасный доступ по резервным каналам для инженерного обслуживания при чрезвычайных обстоятельствах.

Подход, использующий резервные маршрутизаторы в узлах опорной сети (например, по одному для каждого из каналов, входящих в хаб), был отвергнут, как излишне дорогой. Практика работы ESnet за последние пять лет с использованием одного узлового маршрутизатора с высоким уровнем внутренней избыточности показала, что это весьма надежно (с начала 2005 девять узловых маршрутизаторов продемонстрировали доступность на уровне 99.999%). Кроме того, в новой архитектуре внесены изменения в схему подключения к ESnet так, что выход из строя оборудования в любой отдельной точке не нарушает связности сети.

2.5. Научная информационная сеть: выполнение требований по широкополосности для широкомасштабных научных приложений

Предсказания трафика научного сообщества и экстраполяции, основанные на существующих тенденциях, указывают, что потребуются множественные соединения по 10 Гбит/с между экспериментальной установкой и сайтами участников коллаборации, а также между вычислительными и информационными системами. Большая часть генерируемых и анализируемых научных данных будет образовывать широкополосные потоки длительностью от часов до месяцев.

В число соображений, использованных при разработке стратегии, обеспечения требуемой функциональности входит:

• характеристики базовой сети для обработки больших, статических потоков в конечных точках.
• учет требований полосы для научных целей.
• виртуальное резервирование, гарантируемое каналом и механизм оповещения.

2.6. Базовая научная информационная сеть

Увеличение общей полосы пропускания сети, необходимое в ближайшие несколько лет, ожидается для канального трафика на участках эксперимент – вычислительная система. Учитывая высокую стоимость широкополосных маршрутизаторов и тот факт, что оконечные точки научного трафика обычно статичны (нет нужды динамически переадресовывать пакеты), планируется вместо маршрутизаторов использовать альтернативные решения.

Планируется, там, где это возможно, использовать переключатели уровня 2 (прежде всего Ethernet), которые в пять или более раз дешевле узловых маршрутизаторов. Стратегия построения базовой сети SDN заключается в том, чтобы изолироваться от IP-сети (при наличии большого числа связей) и сформировать множественные каналы по 10 Гбит/с, управляемые с помощью переключателей уровня L2 (Ethernet).

2.7. Обеспечение требований к полосе

Подход, обеспечивающий ежегодное увеличение полосы пропускания, базируется на расширяемой инфраструктуре выделенного волокна. Расширяемость возникает при использовании оборудования с мультиплексированием DWDM. Это оборудование имеет вставные платы расширения, которые способны “активизировать” индивидуальные каналы по 10 Гбит/с каждый (называемые “лямдами” или “волнами”). Это подход для сетей, создаваемых в сотрудничестве с Internet2 (основной сетевой провайдер сетей R&E в США). Система Infinera DWDM, используемая для формирования инфраструктуры, позволяет иметь от 10 до 80 лябд одновременно (80×10 Гбит/с каналов).

2.8. Региональные сети (MAN): Подключение лабораторий

Для доступа к сайту в ESnet используются хаб и звездообразная архитектура, поэтому канал точка-точка от сайта до ближайшего маршрутизатора хаба не удовлетворит требованиям по надежности, быстродействию и масштабируемой коннективности сайтов и ESnet: стоимость 10 гигабитного канала telecom до сайта запретительна, и такой канал уязвим по надежности. Чтобы удовлетворить нуждам коннективности, в сети ESnet была разработана новая стратегия соединения сайтов с опорной сетью. Стратегия имеет следующие составляющие:

• архитектура MAN
• переключатели MAN
• обеспечение требований по полосе.
• соединение сетей MAN к двум национальным сетям (IP и SDN).
• исключение петель для удаленных сайтов.

2.9. Архитектура MAN и реализация

Общая стратегия региональных сетей MAN (Metropolitan Area Networks) предполагает использование кольцевой топологии оптоволоконной структуры, которая предлагает резервный путь до сайта. Оптоволоконная система региональной сети содержит волновые мультиплексоры, способные работать с 16–64 10 Гбит/с каналами в пределах одного волокна.

Желательна многовариантная физическая прокладка для западного и восточного направлений волокон, хотя часто это условие не выполняется из соображений экономии. Это случается, когда частично западное и восточное волокна укладываются в общую трубу, что типично для “последней мили”, ведущей к сайту.

2.10. Переключатели MAN

Сети MAN строятся с использованием более дешевых переключателей уровня L2 того же типа, что применены в опорной части сети SDN. Стратегия надежности заключается в использовании разных интерфейсных карт для восточного и западного направлений, а также для стороны, обращенной к сайту (смотри нижнюю часть рис. 5 слева). При этом интерфейсная карта перестает быть точкой отказа, которая приводит к потере связности сети. В случае сайтов, требующих повышенной надежности – таких как две лаборатории DOE, являющиеся центрами обработки данных LHC (Fermilab и Brookhaven) – будут использоваться сдвоенные переключатели вдоль всего пути между лабораториями и источником данных (USLHCnet). (Это проиллюстрировано на левой части рис. 5).

Рис. 5. MAN-архитектура для высоконадежных сайтов

Переключатели снабжены двойными картами CPU, двойными источниками питания. Питание имеет резервные вводы, чтобы обеспечить безотказную работу. Они размещаются в помещениях сайта и ответственность за их физическую безопасность и работоспособность лежит на сайтах.

Удовлетворение требований к полосе пропускания

Требования к полосе пропускания для MAN сопоставимы с аналогичными регламентациями для опорной сети SDN (или даже выше, когда сайт использует MAN для получения доступа к ESnet и к сети R&D через один и тот же хаб). Полоса пропускания MAN последовательно увеличивается путем увеличения числа каналов в кольце, что требует сравнительно скромных инвестиций в трансиверы DWDM и в интерфейсы переключателей уровня L2. Увеличение полосы пропускания сайтов, подключенных к MAN, обычно менее ресурсоемко. Если требования к полосе превышают уровень, который достижим простым увеличением числа каналов, приходится полагаться на интерфейсы следующего поколения. Ожидается, что интерфейс с полосой 100 Гбит/с станет доступным в течение ближайших пяти лет. В случае использования новых интерфейсов может оказаться необходимым обновление сетевых переключателей.

2.11. Подключение MAN к двум национальным базовым сетям (IP и SDN)

Сеть MAN является локальным расширением обеих национальных опорных сетей, IP и SDN. Исходная реализация MAN имеет два канала (два независимых 10 Гбит/с каналов, полученных за счет оптического мультиплексирования) в рамках оптоволоконного кольца. Один набор каналов конфигурируется как 10 Гбит/с IP-кольцо, а другой – конфигурируется в виде двух 10 Гбит/с SDN путей для каналов, базирующихся на SDN-трафике.

В идеале, два хаба кольца MAN подключаются независимо к IP и SDN опорным сетям (как показано на рис. 5). Это обеспечивает большую надежность за счет наличия двух отдельных и независимых путей от сайтов до обеих опорных сетей, и гарантирует перехват управления при отказе для IP SDN сервисов. Эта стратегия гарантирует то, что никакой отдельный отказ даже маршрутизатора/переключателя опорной сети, не нарушит коннективности любого сайта, подключенного через MAN ESnet.

2.12. Опорные кольца для удаленных узлов

Для лабораторий, которые размещены вне региональной зоны, предоставление двух независимых соединений к одному или обеим опорным сетям ESnet позволяет достичь тех же улучшений надежности. Смотри, например, узел PNNL в восточной части штата Вашингтон, как показано на рис. 3.

2.13. Вариабельность, гибкость и масштабируемость архитектуры ESnet4 и ее реализации

Окончательное состояние ESnet4 проиллюстрировано на рис. 3 и характеризуется топологическим разнообразием, которое обеспечивает вариабельность, гибкость и масштабируемость.

Вариабельность обеспечивается за счет наличия нескольких путей между любыми двумя узлами. Эта множественность гарантирует устойчивость при отказах. Эта особенность обеспечивает также гибкость для управления трафиком (балансировка нагрузки или исключение перегрузки за счет множественности соединений между узлами). Это также предоставляет определенную гибкость при возникновений чрезвычайных требований к полосе или при локальной вариации схемы связей. На рис. 3. проиллюстрировано планируемое распределение полосы пропускания, отображаемой на рисунке шириной линий. Увеличение полосы каналов от нынешних 10 Гбит/с до 100 Гбит/с ожидается в пределах 2010–2012 годов. Здесь будет использовано преимущество замены маршрутизаторов-переключателей на оборудование следующего поколения.

2.14. Управление крупномасштабными потоками данных: Виртуальные канальные сервисы

Необходимость виртуальных канальных сервисов (VC) для обеспечения качества обслуживания (QoS – например, гарантированную полосу) и изоляции трафика была признана одним из наиважнейших сетевых сервисов [1], [5]. Среди преимуществ виртуальных каналов следует отметить:

• Гарантируемая полоса (QoS)
• Диспетчеризация передачи данных в условиях жестких ограничений на время завершения обмена, например, обработка не должна продолжаться дольше определенного времени, иначе потери темпа обработки нельзя будет скомпенсировать.
• Обеспечение гарантии для времени критического трафика, например, для управления оборудованием в реальном масштабе времени.
• Изоляция трафика и возможность управления трафиком.
• Позволяет использовать транспортные механизмы (например, протоколы, специализированные для магистральных, массовых пересылок данных), которые не могут сосуществовать с транспортными протоколами “лучшего возможного”, базирующимися на ТСР и используемыми в IP сети.
• Уменьшение стоимости обработки широкополосных потоков данных путем разделения потоков позволяет понизить стоимость используемых в SDN переключателей (фактор 5 или более), а в будущем позволит сформировать чисто оптические пути.
• Безопасные соединения точка-точка между лабораториями и системами коллабораторов.
• VC предполагает использование процессов безопасной аутентификации и авторизации, а сетевая политика маршрутизации, заложенная в маршрутизаторы, исключает другие источники трафика в канале. Следовательно, конечные точки канала можно рассматривать как безопасные (на том же уровне, что и другие сервисы, базирующиеся на сертификатах PKI – например, те, что используют Grid-аутентификацию), а вторжение в канал невозможно до тех пор, пока не скомпрометирована система маршрутизации.

Среди функциональных требований для виртуальных каналов:

• Варьируемость полосы пропускания канала.
• Высокая стоимость предоставления протяженных каналов 10 Гбит/с делает маловероятным исключительное использование 10 гигабитных путей отдельным приложением, а типовое научное приложение не требует всей полосы 10 Гбит/с. Следовательно, для того чтобы реализовать эффективное использование емкости опорной сети SDN, нужно предоставить конечному пользователю столько виртуальных каналов переменной ширины, чтобы 10Гбит/с канал использовался совместно несколькими пользователями.
• Поддержка запросов VC-резервирования для пользователей/приложений предоставляет нужную полосу, а также время подключения VC и продолжительность его работы.
• Управление выделением дефицитных, разделяемых ресурсов
• VC с гарантированной полосой, подобно циклам суперкомпьютера, будет ресурсом, который должен выделяться согласно политики Office of Science. Требуется строгая аутентификация и авторизация, чтобы проводить в жизнь политику применения VC, и предотвратить неавторизованное использование дефицитных ресурсов
• Обеспечение процесса конфигурации канала и механизмов ликвидации для опорных IP и SDN сетей.
• Виртуальные каналы должны обеспечить перекрестные связи для того, чтобы можно было достичь адресатов, непосредственно не связанных с SDN.
• Разрешение запросов резервирования.
• Пользователям должно быть разрешено, использовать VC, которые они запросили.
• Установление пределов использование
• Нужен контроль доступа и политика ограничения входных потоков, чтобы предотвратить злоупотребления при заказе VC, использующих дефицитные ресурсы
• Кроссдоменная совместимость
• Научная среда по своей природе мультидоменна, а сервис должен согласовывать оконечные узлы связи, которыми являются организации, обслуживаемые ESnet, Abilene, GEANT и их региональные сети.

Эти требования направлены в ESnet On-demand Secure Circuits и Advance Reservation System (OSCARS) [7]. OSCARS рассматривает маршруты с доступными полосами пропускания в сетях между оконечными узлами VC и осуществляет резервирование. Полоса объявляется пользователем на основании идентификации характеристик трафика, специфицированных при резервировании (то есть, отправителем и получателем).

OSCARS гарантирует полосу каналов, поддерживая базу данных, охватывающую всю сеть и содержащую информацию о всех ресурсах и выполненных резервированиях полосы, и гарантирует, что ни полоса SDN, ни пределы на полосу каналов в сети IP не будут превышены. Маршрутизация, базирующаяся на политике в IP-сети используется для разделения составляющих трафика (канальная и IP часть во входном интерфейсе). Канальный трафик к или от специфицированных машин переадресуется в SDN сеть. Сайты обычно будут использовать отдельный переключатель или маршрутизатор для широкополосного VC трафика.

Кроссдоменная совместимость создает ряд сложных проблем. В частности, формирование кроссдоменного канала требует интерфейса управления сеть-сеть (NNI). Однако в настоящее время не существует стандартов для NNI, и это означает необходимость разработки сервисов виртуальных каналов для обеспечения совместимости для R&E сетей и организаций. Коллаборация включает в себя OSCARS [7], Internet2 [8], GEANT (европейский эквивалент Internet2/Abilene) и European regional networks (NREN) [9], Brookhaven National Laboratory [10], General Atomics [11], SLAC [12], DRAGON (тестовая система сети NSF) [14], и Ultra Science Network (исследовательская сеть DOE) [13].

Прототип сервиса был реализован в ESnet. Было создано более 20 тестовых аккаунтов, и обработано более 100 запросов резервирования.

2.15. Сервисы научных коллабораций

Стратегия ESnet для сервисов научной коллаборации заключается в фокусировании внимания на сервисах, которые определены сообществом, как важные и для которых ESnet может обеспечить дополнительные возможности, из-за их национальной инфраструктуры и/или из-за их роли в сообществе DOE.

Инфраструктура ESnet обеспечивает отклик на любую проблему в режиме 7×24, физическую избыточность, и в высшей степени безопасное физическое размещение оборудования. 20-летняя история работы ESnets дает возможность управлять данными, которые должны быть надежно доступны в течение длительного периода времени. ESnet является точкой взаимодействия большой доли сообщества DOE (100,000 пользователей сайтов DOE обслуживаются ESnet).

2.16. Служба сертификации PKI

2.17. Видео, аудио и информационные конференции

ESnet предоставляет услуги коллаборациям в форме конференционных систем, базирующихся на сетевой передаче аудио, видео и web-данных. Эти системы VAD (video-audio-data) состоят из пяти базовых элементов: IP видео-мосты H323, видео стример точка-мультиточка, базирующийся на WEB-технологии, служба видео-аудио шлюза, диспетчерская служба аудио-бриджа, базирующаяся на web-технологии, и службе Dial Plan Gatekeeper. Система в целом обеспечивает H323 IP-видиоконференции, которые могут подключать через шлюз и пользователей, для которых доступен лишь телефон.

Система достаточно интенсивно используется, обеспечивая около 2000 порто-часов аудиоконференций и 5000 порто-часов видеоконференций в месяц сообществу, насчитывающему около 2000 зарегистрированных пользователей. (каждый порт представляет собой систему, подключенную к системе VAD). Сервис оказался крайне эффективным экономически, обеспечивая 5-кратную экономию по сравнению с аналогичными коммерческими сервисами ($600K/год против. $3M/год).

Система в настоящее время размещается в узле ESnet в LBNL и не задублирована. Поддержка осуществляется с 8:00 утра до 5:00 вечера US Pacific Time (хотя любые отказы обслуживаются в режиме 24?7).

Будущее пути развития системы VAD сопряжены с оборудованием следующего поколения, которое начнет поставляться со следующего года, и когда оборудование будет поставлено, существующая система будет перемещена в хаб ESnet East Coast и будет сконфигурирована для обслуживания. Она будет размещена в ESnet/LBNL. Настоящий и новый сервисы будут полностью интегрированы с системой VRVS, которая широко используется в университетской среде, и системой доступа voice-over-IP (VOIP) к аудио бриджу VAD. (Общий сервис VOIP не рассматривался в качестве сервиса ESnet по нескольким причинам: количество людей, которые захотят взаимодействовать с ESnet, потенциально очень велико – слишком велико для уровня поддержки персонала ESnet – имеются неразрешенные вопросы легального взаимодействия с FCC- E911).

Ссылки

3. Сетевые проблемы для науки DOE (Roadmap до 2008)

Ресурсы компьютерных сетей для департамента энергетики США (DOE) являются в 21 столетии критическими для выполнения его задач. Область интересов DOE охватывает исследования в области научных телекоммуникаций и решения практических задач передачи данных и оказания услуг в различных сферах, включая астрономию/астрофизику, химию, исследования климата, окружающей среды, молекулярную физику, физику твердого тела, термояд, ядерную физику и физику элементарных частиц.

Успех в этих сферах зависит от эффективного взаимодействия большого числа исследователей, работающих в самых разных лабораториях мира, и от возможности перемещения больших объемов данных в реальном масштабе времени. Одним из проектов, которые оказали большое позитивное влияние на развитие науки в прошлом, является GRID.

К числу технологий, появившихся в последнее время, можно отнести суперскоростные сети городского уровня (MAN, 10-100Гбит/с) для объединения близкорасположенных сетей, а также полностью оптические маршрутизаторы и переключатели. В данном обзоре рассматриваются следующие проблемы и перспективы:

1. Построение сетей, способных выдерживать высокие пиковые нагрузки (в области терабайт и даже петабайт)..
2. Разработка технологий, сервисов и средств, с высоким уровнем адаптивности в новых условиях.
3. Сетевые исследования. Отдельное направление составляют НИР и ОКР, имеющие целью разработку новых протоколов, обеспечивающих эффективную работу при высоких информационных потоках даже в случае отказов оборудования.

Стоимость предлагаемых разработок составит в первый год проекта $15.5M и будет расти, достигнув к пятому году $21.5M.

С 2003 года бюджет ESnet на пилотные проекты сотрудничества и сетевые исследования составил $39M. В настоящее время составляется план на очередные пять лет.

Становится все более ясно, что современные сети не адекватны задачам, стоящим перед наукой DOE, чтобы сохранить необходимую конкурентоспособность в будущем.

Понятно, что успех в науке зависит от возможности ученых оперировать увеличивающимся объемом данных, от доступа к вычислительным и информационным ресурсам, и от эффективности удаленного взаимодействия ученых в реальном масштабе времени.

Совершенно также очевидно, что обычные сетевые бизнес-средства для научного сообщества недостаточны. Современные сетевые средства могут использоваться эффективно, если сетевая инфраструктура обеспечивает необходимые сервисы.

Особо высокие требования к сетевой инфраструктуре выдвигают современные эксперименты в области физики высоких энергий (анализ петабайтов данных), исследования в области биологии (протеины), астрономии и астрофизики. Без модернизации сетевой инфраструктуры рассчитывать на успех в науке 21-го века невозможно.

В августе 2002 на семинаре “High-Performance Networks for High Impact Science” была поставлена задача разработки интегрированной инфраструктуры, которая бы включала в себя:

• Новую модель сети, поддерживающую интеграцию трехэлементной сети с производственным уровнем сетевой работы, который гарантирует обеспечение традиционных программных требований; предоставляет сетевые ресурсы для научных программ, предполагающих высокие информационные перегрузки.
• Разработку средств согласования.
• Проведение сетевых исследований и ускорение внедрение результатов исследований для обеспечения науки.
• Разработку модели управления сетью, адекватной функциям интегрирования.

Заинтересованные участники программы выработали базовые принципы, которые должны быть заложены в основу будущей программы развития сетевых технологий для науки:

• Требования к сетям Office of Science существенно отличаются от тех, которые предъявляются к коммерческим сетям и каналам;
• Транспортные сети, рассчитанные на высокие нагрузки, должны обеспечивать в ближайшем будущем не менее 10 Гбит/c (т.е., l).
• Только Office of Science сможет выполнить необходимые исследования для обеспечения научной инфраструктуры за разумное время;
• Сотрудничество с университетами, международным сообществом и коммерческими партнерами будут содействовать эффективности такой работы;
• Централизованное управление работой научных сетей признается рациональным и экономически оправданным (Office of Science);
• Выполнение R&D и в дальнейшем обеспечение услуг, включая доступ к grid, является критическим с точки зрения эффективности функционирования инфраструктуры поддержки науки DOE;

В Исполнительном постановлении отмечено, что расходы на сетевую, научную инфраструктуру DOE составят $15.5M в первый год проекта. В дальнейшем они будут расти и достигнут $21.5M на 5-ый год.

3.1. Наука DOE вчера, сегодня и завтра

Задачей Office of Science DOE является получение научных результатов по возможности путем оптимального использования имеющихся ресурсов. Продвинутые суперкомпьютеры и научные установки играют важную роль в научных достижениях. В соответствии с этим, Office of Science финансировало 10 лабораторий мирового класса и большое число исследовательских групп в университетах и международных коллабораций. В этой системе имеется три ценных ресурса:

• Высоко профессиональные группы ученых, имеющих широкий спектр талантов и опыта;
• Научное оборудование мирового класса, многое из которых стоит в диапазоне миллиардов долларов и
• Инфраструктура и системы управления, которые делают возможным эффективное использование этого оборудования

Научно-сетевая инфраструктура по определению является весьма сложной. Ученые и инженеры по разным причинам часто образуют коллаборации, чтобы совместно решать проблемы, объединив имеющиеся ресурсы и адаптируя оборудование, программы и системы.

Одним из наиболее полезных для науки преимуществ за последние пол века было стремительное развитие технологии интегральных схем.

Для науки влияние этой тенденции сказалось на росте обрабатывающих мощностей и возможности постановки все более сложных экспериментов. Отсюда следуют два вывода: (1) количество производимых научных данных также быстро растет и (2) научная технология становится все более сложной и требующей сотрудничества ученых из разных стран. Сетевые возможности росли последние 20 лет даже быстрее, чем это задает закон Мура. В это же время стремительно развивались средства взаимодействия, такие как WWW-технология, что крайне важно для участия в экспериментах ученых из разных стран. Для научных сетей важны три фактора:

• Объем данных, получаемых в результате экспериментов и моделирования;
• Совместно используемое оборудование и программы для анализа данных и
• Визуализация, компьютерное управление, а также другие настольные вычислительные средства, используемые учеными.

Успехи во всех указанных выше областях привели к возрастанию научного трафика в сети Office of Science’s Energy Sciences Network (ESnet) вдвое каждый год, начиная с 1992.

Table 2-1. Научная информационная сеть и тенденции сотрудничества

Как видно из таблицы за период с 1998 до 2008 потоки данных для систем DOE Office of Science возросли в 500-1000 раз. Так как системы становятся более распределенными полные потоки данных растут быстрее, чем соответствующие потоки в центральных лабораториях. Следовательно, оценка 1000 раз за 10 лет может быть заниженной. Эти оценки грубо соответствуют удвоению потоков, транспортируемых через ESnet каждый год. Ниже названы основные факторы, влияющие на рост информационных потоков:

• Наиболее важным фактором является то, что многие эксперименты требуют все больше данных для получение научного результата. Кроме того, данные могут все более быстро накапливаться, анализироваться и получаться в результате симуляций. Ученые весьма мотивированы для получения данных как можно скорее;
• Закон Мура об удвоении плотности элементов на чипах каждые 18 месяцев применим к детекторам, а не только к компьютерам. Ученые весьма агрессивны в увеличении разрешения своих детекторов. Это приводит к значительному росту плотности каналов и, как следствие, к значительному увеличению потоков данных
• Для многих научных приборов существуют и другие причины роста потоков данных даже быстрее, чем это следует из закона Мура. Типичное значение тактовой частоты 100 МГц для начала 1990-х годов, было заменено на ГГц в 2003 году и приблизится к 10ГГц к 2008. Это означает, что детекторы “качают” данные все быстрее и быстрее. Еще одним обстоятельством является то, что для некоторых экспериментов число слоев детектора может стать больше единицы, формируя третье измерение. Это также приводит в конечном итоге к росту потоков данных
• Моделирование сегодня достигло такого уровня, что оно рассматривается как отдельное направление науки наряду с теорией и экспериментом. Наиболее мощные компьютеры имеют все более возрастающие возможности. С точки зрения возможностей генерировать потоки данных современные машины и программы обладают возможностями, превосходящими закон Мура. Во многих областях науки системы симуляции создают сопоставимые с экспериментом потоки данных, а иногда и превосходят их.
• Экспериментальные и/или симуляционные данные, записанные на каком-то носителе (исходные экспериментальные, результаты анализа, модельные данные и т.д.), обычно анализируются большим числом ученых с привлечением различных средств. Иногда эти задачи выполняются с привлечением мощных систем визуализации, но более часто для этого используются рабочие станции отдельных ученых. Возможности этих рабочих станций удваивается примерно каждые 18 месяцев. С 1996, диски таких компьютеров увеличивали свою емкость с темпом более 100% в год. Как видно из таблицы выше, ученые все более активно используют возможности своих рабочих станций для записи данных, что приводит к возрастанию потоков информации.

3.2. Научные коллаборации

Число крупномасштабных научных проектов DOE критически зависит от кооперации мултидисциплинарных исследователей, которые могут иметь такие ресурсы, которые не может себе позволить ни одна национальная лаборатория или университет. Эти проекты охватывают широкий спектр дисциплин, включая физику высоких энергий, симуляции климата, термоядерную энергетику, геномику, астрофизику и пр.. Кроме того, новые экспериментальные установки, вступающие в действие, такие как ITER, LHC и SNS, а также уже действующие установи, такие как ALS, APS, CEBAF, EMSL, FNAL Tevatron, NLS, RHIC и ускоритель SLAC PEP-II (BaBar), SSRL и другие, выдвигают беспрецедентные требования для распределенного анализа данных. Эти коллаборации содержат географически распределенные ресурсы, такие как супер-ЭВМ, кластеры, предлагающие достаточно большие вычислительные мощности, пользовательские системы, которые имеют уникальные экспериментальные возможности, и репозитарии экспериментальных и вычислительных данных. Эти команды могут быть разбросаны по стране или по всему миру. Проблемы доступа к таким системам должны тесно координироваться и управляться через WAN. В действительности, обеспечение прямого обращение исследователей к этим распределенным ресурсам является задачей DOE, а “сеть” и ассоциированные средства GRID становятся критическими компонентами современной научной инфраструктуры.

Задачей Office of Science DOE является обеспечение эффективного функционирования инфраструктуры для того, чтобы коллаборации исследователей имели удаленный доступ к экспериментальным и вычислительным ресурсам. Такая инфраструктура может исключить изоляцию ресурсов, ликвидировать избыточность, и способствовать быстрому научному прогрессу за счет тесного взаимодействия эксперимента, теории и моделирования. Например, регулирование по времени много-петабайтных потоков данных от LHC (Швейцария), может исключить несогласованность полосы пропускания трансатлантических и внутриамериканских каналов. Возможность удаленного доступа к сложному научному оборудованию в реальном масштабе времени делает возможным интерактивное сотрудничество географически разбросанных исследователей, без необходимости скоординированных командировок и дублирования специализированного экспериментального оборудования. Например, в ITER предусматривается возможность управления со стороны команды географически разбросанных исследователей.

На конференции в августе 2002 моделирование климата было приведено в качестве примера успешного использования сетевых технологий.

Успешное моделирование климата [4] существенно для понимания таких явлений как ураганы, засухи и изменение распределения осадков, волны тепла и внезапные похолодания. Хорошее моделирование климата требует очень мощных компьютеров, чтобы обеспечить моделирование с приемлемым разрешением в пространстве и времени.

“Модель климата” не совсем корректный термин, так как климат определяется сложным взаимодействием физических и биологических явлений (смотри рис. 2-1). Существуют дюжины моделей, которые должны быть подключены, чтобы осуществить реальное моделирование климата с приемлемой точностью. Сложность моделирования климата типична для любого макромасштабного явления от космологии до функционирования живых клеток.

Рис. 2-1. Сложность моделирования климата [5]

Так как климат исключительно сложное явление, которое включает в себя моделирование большого числа отдельных элементов, для того чтобы получить нужную точность, каждый из таких элементов изучается отдельной группой специалистов.

3.3. Направляемая наукой эволюция общих сетевых сервисов

За последние два десятилетия научные менеджеры DOE предприняли ряд ключевых шагов, вызванных ростом объема данных и коллабораций. В середине 80-х возникло осознание необходимости улучшения сетей между лабораториями DOE и их университетскими коллабораторами, и были объединены сети, включая HEPnet (High Energy Physics Network) и MFEnet (Magnetic Fusion Energy Network), которые использовали разные протоколы. Это объединение было названо ESnet. Хотя ESnet вначале была многопротокольной сетью, IP-протокол является стандартом и применяется повсеместно. Начиная с начала 90-х, началась серьезная разработка коллаборационных средств. Вначале наибольшее внимание уделялось распределенным вычислениям, совместному использованию файлов и инструментальному контролю. Тремя программами 1990-х DOE/SC/ASCR/MICS были Distributed Informatics, Computing, & Collaborative Environment (DICCE); Distributed Computing Experimental Environment (DCEE); и DOE2000 Collaboratories. Программа DOE2000 расширяется и охватит GRID-технологии, и сейчас программа SciDAC (Scientific Discovery through Advanced Computing) и MICS поддерживают R&D и реализации коллаборационного программного обеспечения в стиле grid и вычислительные инструменты для науки DOE. В ниже приведенной таблице 2.2 представлены некоторые примеры того, как коллаборационное программное обеспечение улучшает научную ситуацию.

Научное сообщество с его петабайтными объемами данных довольно широко разбросано географически, поэтому исследователи DOE находятся среди тех, кто решает проблемы управления использованием вычислительными GRID, удаленным оборудованием и коллаборационной визуализацией.

Ссылки и замечания

4. Провайдерство и сети с высокими кратковременными нагрузками

Произошли существенные изменения во всех аспектах сетевых технологий и среды сотрудничества, как в зоне ответственности DOE, так и в большинстве международных и университетских сообществ. Следовательно, чтобы успешно реализовать сетевые проекты необходимо поменять некоторые базовые предположения, сопряженные с технологией, научными ресурсами и возможностями.

Сеть ESnet в настоящее время базируется на IP и некотором числе специфических сервисов, которые отличаются от стандартных коммерческих IP-сервисов (смотри приложение B). Провайдерство означает, что сервисы должны быть доступны +99.9% времени. Заметим, что модель провайдерства для оговоренных услуг сходна с той, которая определяет стандартные коммерческие сервисы с добавлением определенных услуг, предоставляемых Office of Science.

4.1. Предлагаемые модели

Конференция в августе 2002, “High-Performance Networks for High-Impact Science”, рассмотрела альтернативные модели согласования сетевых требований для научных коллабораций. Критическим пунктом является то, как обеспечить коммуникации, когда требования увеличиваются вдвое каждый год и когда смена поколений сетевых технологий происходит слишком быстро. С учетом всех факторов на конференции была выработана модель провайдерства.

Модель сетевого провайдерства. Для того чтобы отвечать требованиям экономически оправданным образом, программы Office of Science должны следовать трехэлементной модели предоставления услуг (провайдерства):

1. Уровень сетевого провайдерства для поддержки традиционных программных требований;
2. Сетевые ресурсы для научных программ DOE с высокими импульными нагрузками, включая научные приложения и работы с GRID. Этот элемент обеспечивает платформу для разработки прототипов таких программ, которые для своей работы требуют высокопроизводительной сети или продвинутых услуг, которые не могут быть реализованы на традиционном провайдерском уровне
3. Сетевые ресурсы для исследовательской сети нужны для поддержки научных программ DOE. Эти ресурсы дают возможность экспериментировать с новыми концепциями и технологиями, которые адекватны нуждам научной программы.

Стратегия провайдерства для интегрированных сетей оптимальна для трехэлементной сети (см. выше). Сетевое обеспечение науки DOE только выиграет, если планирование, координация и финансирование осуществляются с учетом этих элементов. Факторы, которые следует учитывать, перечислены ниже::

• Совместное понимание успеха должно быть мотивировано, а меры успеха должны как-то коррелировать со всеми выше названными элементами.
• Как только новый сервис начинает предоставляться, увеличиваются издержки поддержки сети.
• Сетевая программа должна быть динамичной и не может быть жестко закреплена в модель провайдерства.

Конференция в 2003 подтвердила выше описанную стратегию и предложила дальнейший план развития (roadmap) на протяжении 2008. Ниже представлены базовые тезисы модели:.

• IP-провайдерство услуг с надежностью +99.9% будет оставаться критическим для науки DOE. Коллаборационные активности, такие как удаленный доступ для проведения экспериментов и управления суперкомпьютерными приложениями, сильно зависят от надежности этих сервисов. Кроме того, научная работа зависит от управляемых сервисов, которые предоставляются в дополнение к коммерческим IP-сервисам.
• Услуги сетей с высокими импульсными нагрузками относятся к услугам, необходимым субнабору сайтов провайдерской сети, чьи требования временами могут быть крайне высоки, но для которых сервис с существенно меньшей надежностью и управляемостью, тем не менее, сможет решить проблему. Обеспечение таких услуг с надежностью больше чем 99.9% с возможностью удовлетворять пиковые запросы, может оказаться слишком дорогим. Эти пиковые сервисы будут спроектированы для перенесения больших объемов данных от экспериментов и симуляций из мультитерабайтного в мультипетабайтный диапазон. Удаленная визуализация, которая не может быть экономически эффективно реализована с помощью провайдерской сети, может стать кандидатом для сетевых сервисов с высокой пиковой загрузкой.
• Сервисы исследовательской сети будут присутствовать в среде тестовой сети, в которой специфические для Office of Science сетевые требования R&D могут быть реализованы совместно несколькими тестовыми сетями. Коммерческие IP-провайдеры должны иметь дело с проблемой “много малых потоков данных” — переносящих малые/скромные объемы данных для десятков или сотен миллионов клиентов. Провайдеры исследовательской сети, такой как ESnet сталкиваются с проблемой “мало очень больших информационных потоков” — ученым нужно перемещать терабайты/петабайты данных для десятков или сотен ученых, сотрудничающих для достижения научного результата. Проблемы совершенно различны, и нужны серьезные исследования для нахождения эффективных решений.
• Управление сетью ESnet будет расширено в направлении координации движения результатов R&D от исследовательской сети к сетям с высокой импульсной пропускной способностью и к провайдерским сетям. Руководство ESnet продолжит свои партнерские отношения с международным научным сообществом.

Несколько технических факторов влияют на наше понимание того, где проходит граница между стандартным провайдерством и предоставлением услуг сетей с высокими допустимыми пиковыми нагрузками. Базовым физическим механизмом для сетей является то, что информация передается путем модуляции света в волоконном кабеле. Через одно волокно может передаваться свет с разными длинами волн одновременно. Для современных и проектируемых электронно-оптических технологий, максимальный поток, который может быть передан по одному волокну составляет 10 Гигабит/сек (Гбит/с). Такой поток называется OC192. Передача данных со скоростью более 10 Гбит/с требует использования нескольких длин волн, или нескольких l. Кроме того, не ясно, может ли современный транспортный протокол TCP, быть улучшен, чтобы эффективно передавать данные со скоростью больше 10 Гбит/с, не ясно также, как управлять при таких скоростях множественными потоками данных с различными приоритетами.

Сеть ESnet сегодня уже имеет часть своей опорной сети, работающей на скорости 10 Гбит/с (OC192). Проблема заключается в том, что потребности растут со скоростью 100% в год, ожидается, что 10 Гбит/с уже будет недостаточно для экспериментов, симуляций и визуализации Office of Science. Предполагается, что к 2008 году опорная сеть ESnet должна будет обеспечить 40 Гбит/с или даже более. Рассматривая технологии, которые могут быть применены и какие требования приведут к естественному разделению провайдерских сетей и сетей с высокими импульсными нагрузками, следует зафиксировать:

• В период до конца 2008, провайдерская сеть должна функционировать с опорной магистралью 10 Гбит/с;
• Сети с высокой импульсной способностью будут наращивать полосу дискретами лямбда (10 Гбит/с) и будут способны обеспечить пропускную способность 40 Гбит/с в 2008 или раньше.
• Комбинация провайдерской сети и сети с высокой импульсной способностью будет необходимой для обеспечения всего спектра требований по пропускной способности.

Главная проблема заключается в том, что на текущий момент нет технологий для транспортировки данных от отправителя к удаленному получателю на скорости 10 Гбит/с. Фактически, выполнение такой операции даже в рамках одного вычислительного центра сегодня не является ординарным делом. Эта проблема известна под названием E2E (end-to-end). Рассматриваемые технологии, способные решить проблему передачи данных со скоростью более 10-Гбит/с, включаю l-переключение и оптическую коммутацию пакетов, находятся на острие текущих R&D.

Существуют альтернативные решения задачи передачи данных со скоростью 40 Гбит/с к концу 2008:

• Office of Science может воспользоваться имеющимися “темными” волокнами. Это во многих случаях удешевит стоимость проекта. Были исследованы разные плюсы и минусы решения проблемы. Использование имеющихся волокон показало эффективность на примере сетевых областей MAN (Metropolitan Area Networks) Bay Area и Чикаго, лаборатории Office of Science расположены недалеко от точек подключения пользователей. Раз волокна имеются, использование дополнительных длин волн требует лишь установки нового оборудования на концах волокон;
• Несколько лябд могут быть предоставлены коммерческими компаниями. Это имеет то преимущество, что провайдеры обеспечивают работу и обслуживание этого сервиса. Проблемой может быть нахождение провайдера, способного предоставить такую услугу в соответствующем месте и в оговоренное время. Учитывая существующее состояние дел, эта проблема найдет свое решение. Недостатком этой опции является высокая цена услуги для некоторых участков сети.

4.2. Обработка данных и управление сетями с высокими кратковременными нагрузками

На конференции были рассмотрены альтернативы управления в рамках проекта roadmap. Ясный консенсус был достигнут в отношении централизованного управления сервисами. Как сказал один из международных участников, если бы Office of Science не имел централизованного управления ESnet, ему следовало бы его создать. Кроме того, покупка сетевых средств по частям очень дорогостояща и такой план не позволил бы предоставлять дополнительные услуги, необходимые для науки, так как это обычно находится за пределами интересов коммерческих IP провайдеров.

Централизованное управление эффективно также для сотрудничества между Office of Science и большим числом университетов и международных коллабораций. Большинство продвинутых научных сетей DOE являются глобальными, и сотрудничество также требует скоординированных усилий при финансировании проектов, чтобы исключить дублирование. Существует ряд других академических сетей, ведущих сетевые разработки, среди них Abilene, SuperSINET, SURFnet, Translight, UKLight и USLIC.

В качестве примера, на конференции в июне 2003, было отмечено, что когда National Science Foundation завершила поддержку NSFnet в 1995, планировалось, что коммерческие провайдеры обеспечат нужные сервисы. Университетское сообщество, обслуживавшееся NSFnet, не смогло получить нужного уровня сервиса непосредственно в коммерческом секторе, и университетское сообщество сформировало сеть Internet 2, известную также под именем Abilene, чтобы обеспечивать себе потребные услуги. В то время как коммерческие провайдеры предоставляли большинство базовых услуг сети Internet 2, специфические требования университетского сообщества могут быть удовлетворены только ими самими. Заметим, что сетевые требования Office of Science и его коллабораторов более схожи с требованиями Internet 2, чем с нормами коммерческого IP-сервиса.

Следовательно, данная “дорожная карта” предлагает, что централизованным образом управляется стандартное предоставление услуг и услуги для импульсных нагрузок, и централизованно координируются сервисы сетевых исследований. Причина того, что исследовательская сеть требует координации больше, чем отдельный канал, заключается в числе элементов, которые не находятся под контролем Office of Science. Кроме того, существует несколько сетевых элементов, финансируемых Office of Science, для сетевых исследований, которые изолированы от ESnet. Чтобы выполнить сетевые R&D по исследованию коннективности E2E, важно, чтобы сеть содержала все необходимые элементы. Таким образом, часть исследовательской сети будет управляться центральной группой, а другие части – другими группами. Координация через центральную группу будет ключевой для успеха дела, включая критический шаг внедрения результатов R&D в реальную сеть и реализацию E2E сервисов.

Финансирование сетевых R&D и средств взаимодействия данного проекта (roadmap) осуществляется в рамках соответствующих секций бюджета. Финансирование провайдерства и сетей с высокой импульсной пропускной способностью охарактеризовано в таблице, представленной выше. Как это указано в приложении B данного доклада, требования к полосе пропускания растут со скоростью 100% в год и, как это представлено в разделе 2 доклада, требования к полосе пропускания сети будут расти с этой же скоростью или даже быстрее для временного периода вплоть до конца 2008. В приложении B отмечается также, что стоимость полосы пропускания будет падать со скоростью 40% в год, и в настоящее время нестабильна. Эти факторы принимаются во внимание при рассмотрении возрастания бюджета (см. таблицу 3-2 ниже). Следовательно, бюджет провайдерства и сетей с высокой импульсной пропускной способностью будет нужно увеличивать, как это указано в таблице. В таблице обобщается инкрементное финансирование проекта:

Таблица 3-2. Требования к инкрементному финансированию для провайдерских сетей и сетей для импульсных нагрузок

Стратегия разделения провайдерской сети и сети с высокой импульсной пропускной способностью, а также исследовательских сетей, как это описано выше диктуется спецификой базовой технологии транспортировки данных по оптическому кабелю. Существуют и дополнительные мотивации. В этой модели меньшее финансирование требуется для получения заданного уровня функционирования. Это связано с двумя факторами. Достижение надежности 99% менее дорого, чем получение надежности +99.9%, так что наличие части сети с надежностью 99% уменьшает издержки. Вторая причина заключается в том, что не каждый сайт лаборатории и не каждый сайт пользователя DOE требует сервиса сети с высокой импульсной пропускной способностью. Сервисы с l-коммутацией могут быть тщательно сконфигурированы, чтобы разместить ресурсы в тех местах, где они наиболее нужны. Это будет справедливо также для сервисов с оптической коммутацией пакетов, когда они станут доступны:

Участники конференции согласились, что сеть с высокой импульсной пропускной способностью должна управляться централизованно той же группой, которая управляет провайдерской сетью. Как это обсуждено выше, активность научных исследовательских сетей DOE должна управляться и координироваться центральной группой. Это будет наиболее экономной моделью управления, и это единственный путь эффективного продвижения результатов R&D в обычные сети и в сети с высокой импульсной пропускной способностью. Это позволит также достичь нужных характеристик E2E.

4.3. Технология и сервисы

Сетевые технологии и сервисы/связующие программы (middleware) необходимы, чтобы перевести потенциал быстрых функциональных cетей в научный прорыв путем облегчения и ускорения доступа и интеграции удаленной информации, компьютеров, программ визуализации и/или экспериментального оборудования, а также межперсональных коммуникаций. Связующие программы позволяют отдельному ученому или научному сообществу согласовать требования своих приложений путем:

• Облегчения нахождения и использования научных данных, компьютеров, программ, и оборудования через сеть контролируемым способом;
• Интегрирования удаленных ресурсов и возможностей коллаборации в локальную экспериментальную, компьютерную и визуалиционную среду.
• Предотвращения (или диагностирования причины) отказов или плохой работы распределенной системы.
• Управления установками сообщества, авторским сопровождением, публикациями, эволюцией научных данных, программ, вычислений, и пр. .

Сетевые технологии делают возможным установить и управлять нужными коммуникациями, то есть распределенной научной средой.

Можно представить, что научная среда, в которой интегрированы научная теория, эксперимент и моделирование, станет средством ускорения получения научного результата. Большинство научных инструментальных систем, таких как источники синхротронного излучения DOE Office of Science в ANL, BNL, LBNL и SLAC, системы гигагерцного ЯМР в PNNL, ускорители частиц в лабораториях DOE (BNL, FNAL, JLab и SLAC), нейтронные источники в ORNL, и большое число меньших установок являются общенациональными и доступны для исследователей как внутри страны, так и в рамках международных коллабораций. Office of Science сотрудничает в разработке и использовании большинства международных установок, таких как LHC (Large Hadron Collider) в CERN.

Это все источники мощных потоков данных, генерируемых с большой скоростью (сотни мегабайт/сек и более). Все эти данные требуют комплексного анализа научными коллаборациями лабораторий DOE и в сотнях университетов [1]. В конечном счете, результаты всей этой экспериментальной науки должны быть сравнены и сопоставлены с теорией, обычно это делается с привлечением симуляции.

Для того чтобы все необходимые ресурсы использовались эффективно в интегрированном научном цикле, где симуляция, эксперимент и теория взаимодействуют, необходимо промежуточное средство (middleware) для управления механизмами диспетчеризации и доступа, для всех распределенных ресурсов. Для того чтобы интегрировать эксперименты реального времени с компьютерными ресурсами и в частности с суперкомпьютерами, с ресурсами памяти, рабочие характеристики объединяющей сети должны быть также под контролем. Это требует различных новых технологий, как для сетей, так и для ресурсов памяти и вычислений, чтобы поддерживать построение виртуальных систем, таких как ультрамасштабируемые протоколы, качество обслуживания, резервирование, совместная диспетчеризация и т.д...

Рис. 4-1. Интегрированная кибер инфраструктура для науки

Кроме того, необходимы легко применимые промежуточные средства, которые обеспечат безопасность, координацию ресурсов, поиск, унифицированный доступ и т.д.. Общепризнано, что подход вычислительных и информационных систем GRID [2] является универсальным принципом построения таких промежуточных средств (интерфейсов) и сотни людей, работающих во всем мире со стандартом GRID и рекомендации Global Grid Forum [3] могут стать базой для решения этой проблемы. Здесь предполагается, что GRID принят в качестве стандарта для промежуточных средств для распределенных научных систем.

4.4. Требования к промежуточным средствам для науки (middleware)

Взяв в качестве примера будущих процессов в науке систему моделирования климата (как это описано в разделе 2), можно сделать вывод, что необходима вычислительная мощность, доступ к аннотированным данным и взаимодействие распределенных субмоделей, с тем, чтобы реалистичная модель климата смогла дать предсказания, которые имеют огромное значение для человеческого общества.

Рассматривая это совместно с другими примерами научных исследований, начиная с конференции августа 2002 (резюме можно найти в приложении A данного доклада), будущий прогресс науки может стать реальностью, благодаря:

1. Удаленному доступу к распределенным вычислительным средствам, данным и совместно используемым системам, что позволяет приспособиться к распределенной природе научного сообщества;
2. Вычислительным возможностям адекватным задаче в момент, когда задача затребована наукой — в частности, суперкомпьютерам, инкорпорированным в виртуальную систему, так что моделирования, чьи компоненты работают на суперкомпьютере, могут быть интегрированы во многие различные компьютерные системы научного сообщества;
3. Информационным емкостям достаточным для научных задач, предоставляемым вне зависимости от географического положения и управляемым информационными системами, нужными для построения и поддержки баз знаний и используемым на междисциплинарном уровне.
4. Программному обеспечению, предоставляющему богатую среду, которая дает ученым возможность построить мультидисциплинарное моделирование;
5. Коммуникационным возможностям достаточным для поддержки всего вышеупомянутого прозрачно для систем и пользователей.

Требования к компьютерным возможностям науки являются наиважнейшими компонентами таких моделирований и должны быть документированы в других местах, таких как конференция SCaLeS (Science Case for Large-Scale Simulation) [4]. Информационная емкость обычно обеспечивается большими управляемыми архивами, ассоциированными с суперкомпьютерными центрами или специализированными информационными научными центрами, такими как многопетабайтная архивная система NERSC DOE (National Energy Research Scientific Computing Center) – [5]..

Первым и вероятно самым важным наблюдением было то, что большая часть науки становится распределенной. Крупномасштабные научные эксперименты в среде DOE выполняются коллективами лабораторий, которые часто являются многоинститутскими, и требуют информационных и вычислительных ресурсов, которые распределены шире, чем даже сами коллабораторы. Далее, так как научные приборы становятся все более сложными (и, следовательно, более дорогими), они все шире используются удаленными пользователями совместно. Даже цифровое моделирование — ранее концентрировавшееся на одном или нескольких суперкомпьютерах — сейчас становится все более распределенным. Такие симуляции производят все больше данных с достаточным уровнем достоверности, так что эти данные используются для других симуляций и управления лабораторными экспериментами или для проверки или калибровки других подходов к проблеме. Это направление науки существенно зависит от инфраструктуры, которая поддерживает распределенную науку.

Вторым наблюдением является то, что любая область науки требует высокоскоростных сетей и совершенных средств взаимодействия с ними для управления и доступа к имеющимся ресурсам, таким как широко распределенные высокопроизводительные вычислительные системы, многие среднемасштабные системы научных коллабораций, приборы, генерирующие большие потоки данных, большие информационные архивы. Рассматривая вместе эти элементы и сети их соединяющие, можно отметить, что они являются критическими по отношению к науке следующего поколения и по отношению к формированию и работе высоко интерактивных, крупномасштабных коллабораций. То есть, все эти элементы необходимы, чтобы выполнить распределенные вычисления, создать информационную и коллаборационную инфраструктуру, которая сделает возможным прорыв в область высоких темпов развития. Изменения парадигмы возникают из-за того, что увеличение масштаба и продуктивности науки целиком зависит от интегрированной инфраструктуры, которая далека от того, что мы имеем сегодня. Далее, эти изменения парадигмы не являются спекулятивными; несколько ветвей науки DOE уже продвигают существующую инфраструктуру к ее пределам, пытаясь сформировать науку следующего поколения. Примерами могут служить физика высоких энергий с ее всемирными коллаборациями, анализирующими петабайты данных, и сообщество астрономии и астрофизики, которое объединяет огромные базы данных, сформированных измерительными приборами нового поколения, так что может быть реализована совершенно новая наука, если рассмотреть все эти данные одновременно. Например, National Virtual Observatory [6] иллюстрирует это очень хорошо. Смотри также “New Science: Rare Object Searches” [7].

Третье наблюдение заключается в том, что имеет место унифицированность в сервисах, необходимых различным научным дисциплинам. Это означает, что мы можем определить общую инфраструктуру для распределенной науки, и в этом заключается роль вычислительных и информационных GRID (смотри, например, ссылку 8).

4.4. Технология и требования к сервисам

Чтобы быть эффективными, средства управления grid должны быть развернуты широко, а также иметь набор сервисов и инфраструктуру для их поддержки. Тип системы взаимодействия grid описывавшийся до сих пор предоставляет базовые функции для доступа и управления ресурсами. Как только мы реализовали эти сервисы и приобрели опыт работы с ними, становится ясно, что необходимы также сервисы, чтобы сделать эффективным использование распределенных ресурсов; например, обобщенное управление виртуализованными данными, которое используется при анализе информации в физике высоких энергий [9].

Примером такого высокоуровневого сервиса является брокерство, служащее для автоматизации построения виртуальных систем различных ресурсов, специфических для приложения. Другим примером может служить коллективная диспетчеризация ресурсов, так что они могут работать скоординировано. Это нужно, чтобы позволить, например, ученому использовать высокопроизводительную вычислительную систему, чтобы выполнить анализ данных в реальном масштабе времени. Это может также позволить одновременное выполнение моделирования для нескольких разных дисциплин, сопровождаемое обменом данными между ними. Коллективная диспетчеризация зависит от возможности совместно управлять вычислительными ресурсами, используя предварительное резервирование в системе управления заданиями, и от возможности резервировать полосу вдоль пути, соединяющего ресурсы.

Сервисы высокого уровня обеспечивают также функции, которые помогают разбивать на части и объединять различные программные операции и позволяют создать сложные программные системы в стиле plug-and-play. Настоящий подход к этим сервисам позволяет развить усилия промышленности в области Web-сервисов, базирующихся на языке XML (extensible markup language), чтобы интегрировать Web и grid-сервисы. Это позволит использовать коммерческие и общедоступные программные средства, такие как генераторы WEB-интерфейсов и некоторые другие программы для построения сложных прикладных систем, которые предоставляют богатую функциональность, необходимую для оптимизации производительности в сфере науки.

Однако существует также набор возможностей, которые нужны для поддержки и обеспечения работы grid. Например, для систем, основанных на GRID, нужно взаимодействовать с учетом требований безопасности. Кроме того, эти коммуникации часто требуют сетевого качества обслуживания (QoS) для резервирования полосы пропускания или для сервисов реального времени. В обоих случаях, grid может обеспечить только сервис высокого уровня, который координирует резервирование уровня ресурса. Эти возможности необходимы по существу всем приложениям распределенной науки.

4.5. Технологии и сервисы

Чтобы идентифицировать возможности, необходимые для поддержки grid и распределенных приложений, использующих grid, рабочая группа по технологиям и сервисам (Technologies and Services Working Group) начала с прикладных требований конференции "High-Performance Network Planning Workshop” в августе 2002 [10] и рассмотрела, что мешает использовать средства grid для обеспечения надежной среды взаимодействия.

Рабочая группа выделила тринадцать проблем, влияющих на успех распределенной науки. Пять первых квалифицировались как важнейшие для установления и поддержки инфраструктуры взаимодействия. Следующие три квалифицировались как очень важные. Идентифицированные проблемы перечислены ниже:

• Интегрированный grid и безопасность сайта. Ни grid, ни любые распределенная инфраструктура науки не будет существовать, если мы не решим проблему аутентификации и авторизации пользователей и их процессов с учетом firewall или других средств кибер безопасности, чтобы обеспечить доступ к ресурсам.
• Коллаборационные сервисы и совместно используемая среда. Среди примеров можно назвать совместно используемые рабочие станции и приложения, видеоконференции по запросу, которые легко использовать в пользовательской среде, удаленные пульты управления, и разделяемые файловые системы.
• Мониторинг рабочих характеристик и проблемы диагностики (междоменной). Отладка и настройка рабочих характеристик распределенных приложений крайне важна и очень сложна. Эффективные средства дадут заметный выигрыш в производительности и увеличат возможности пользователей.
• Гарантированные параметры сети и качество обслуживания (QoS). Для надежной связи удаленного оборудования с суперкомпьютерами, так чтобы эксперимент и моделирования могли взаимодействовать, или для эффективной связи прикладных компонентов, которые должны работать одновременно, крайне важно иметь возможность специфицировать требуемые рабочие характеристики сети (пропускную способность, время отклика и т.д.).
• Авторизация. Мы должны иметь надежный способ специфицировать, кому и что доверяется делать в пределах доменов. Это особенно важно при совместном использовании ресурсов и данных.
• Управление областью имен. Глобальное управление пространством имен научных объектов — данных, текстов, программ и т.д. — является важным и широко распространенным.
• Портал публикации/подписки (статьи + данные). Необходим надежно управляемый репозитарий для долговременного хранения данных.
• Самозащита сетей и детектирование вторжения. Никогда не будет возможно разделять распределенные ресурсы и не допускать доступа неавторизованных объектов (хакеров и т.д.), поэтому мы должны иметь более сложные системы детектирования попуток проникновения, которые смогут защитить сеть от вредоносных вторжений.
• Кэширование и вычисления в сети. Когда распределенное сообщество анализирует большой объем данных, информация должна свободно перемещаться в определенные узлы сети, чтобы минимизировать транспортировку и улучшить доступ. Это потребует наличия в сети службы кэширования. Аналогично, компьютерные сервисы могут помочь минимизировать перенос данных, анализируя их и архивируя в узлах кэширования.
• Мультикаст IP. IP-мультикастинг является важной возможностью создания масштабируемых коллаборационных сервисов. Однако, после нескольких лет внедрения, этот вид услуг все еще не является стабильным, существуют конкурирующие альтернативы. Сервис нуждается во всесторонних диагностических средствах, чтобы анализировать проблемы и вносить коррективы.
• Управление выделением ресурсов. Во многих случаях оказывается необходимым ограничить или выделить определенный ресурс (QoS), для этого нужна служба управления этим процессом (например, кэшированием или резервированием полосы пропускания). Эта проблема должна быть решена в общем виде, а услуга должна предоставляться, как сервис, базирующийся на GRID, для любых услуг, нуждающихся в выделении ресурсов.
• Управление копированием. Поскольку существует кэширование сетевых данных, базовым сервисом управления такими кэшами является управление копированием, которое отслеживает, куда данные копируются и где размещается оригинал (“master copy”) и т.д..
• Каталог метаданных. Фундаментальным аспектом распределенных данных и сервисов является наличие надежного каталога, который достаточно подробно описывает данные и сервисы и их размещение. Как большинство служб каталогов этот каталог не должен быть централизованным — большинство научных коллабораций будут обслуживать структуру своих данных самостоятельно — однако, существует потребность существования централизованного каталога, позволяющего связать воедино все научные данные. Это является аналогом роли, которую играет корневой сервер имен в Интернет DNS (Domain Name System)..

Ссылки

5. Исследовательская сеть

Исторически, научные сообщества ожидали, что сетевые возможности доступны в момент, когда они потребуются. Так и было в прошлом. Однако, в последние годы разрыв между доступными рабочими характеристиками сети в отношении E2E-сервиса и теоретическими параметрами стал увеличиваться. Как было отмечено на последней конференции DOE Science Computing Conference [1], этот разрыв сейчас достиг трех порядков, как это показано на рис. 5-1. В сочетании с непредсказуемыми требованиями крупномасштабных научных приложений, этот разрыв будет серьезным узким местом для реализации описанных выше проектов DOE. Например, быстродействие наилучших каналов на сегодня составляет 10-Гбит/c (OC192), но это быстродействие доступно только в точках, непосредственно подключенных к опорной сети. На стороне приложения транспортная пропускная способность обычно не превосходит нескольких десятков мегабит в сек, и может достигать нескольких сотен мегабит в сек при уделении значительного и постоянного внимания со стороны сетевых администраторов. Многогигабитная пропускная способность может быть достигнута за счет чудовищных усилий со стороны сетевой команды и прикладных экспертов; такие значения полосы, хотя и широко рекламируются, являются эфемерными. Кроме того, полоса является не единственной мерой эффективности работы. Не существует доступных технологий в современных WAN, которые бы обеспечили либо гарантированную стабильность, необходимую для управления в реальном масштабе времени через каналы Интернет, либо гибкость, необходимую для мгновенной переадресации больших потоков визуализационных данных.

Рис. 5-1. Несогласованность между прикладными потоками и быстродействием оптических сетей

Вообще, требующиеся сетевые возможности являются весьма специфичными для проектов DOE, как с точки зрения высокой пропускной способности, так и по другим параметрам. Несмотря на то, что имеются перекрытия с проектами других агентств, полнота требований в случае DOE является уникальной. Internet2 и коммерческий Интернет оптимизированы для академического и массового рынка услуг, и не могут удовлетворить приложения нового поколения. Их зона внимания пространственно плотные широкомасштабные сети, беспроводные сети, сети с перекрытием приложений, и сети, реагирующие на чрезвычайные потребности [2-4]. Эти направления не перекрывают насущные требования научных приложений DOE, которые не находятся среди высших приоритетов промышленности и других агентств.

ESnet успешно обеспечивает насущные сетевые потребности тысяч ученых DOE и их коллабораторов, разбросанных по всему миру. Однако крайние требования некоторых научных приложений существенно превышают существующие возможности. Следовательно, необходимы революционные продвижения в ESnet, чтобы обеспечить научную миссию DOE, и чтобы воспользоваться преимуществами всемирных научных ресурсов, таких как европейская система информационного GRID.

Главная цель усилий в области исследовательских сетей является предоставление интегрированной и стабильной среды для выполнения разработок и тестирования сетевых технологий для реальных высокопроизводительных сетей и научных приложений. Среди технологий, поддерживаемых исследовательской сетью обеспечение надежного обмена данными в терабайтном диапазоне при скоростях от гигабит до терабит в секунду, интерактивная удаленная визуализация петабайтных объемов данных при скорости 10-30 кадров в секунду, интерактивное управление удаленными вычислениями в реальном времени, удаленная работа на больших экспериментальных установках, и механизмы кибер безопасности с минимальным влиянием на работу приложений

5.1. Возможности, созданные в рамках научной сети

Общие требования к сети DOE вообще и Office of Science в частности простираются от рутинных до экстремальных, и таким образом требуют инфраструктуры, которая состоит из провайдерской сети и сети ориентированной на высокие импульсные нагрузки. Кроме того, исследовательская сеть необходима для исследования и разработки, нужных средств, чтобы преодолеть проблемы E2E в случае крупномасштабных приложений.

Сетевые возможности, которые необходимо разработать, чтобы решать крупномасштабные научные задачи DOE, относятся к следующим основным категориям:

1. Надежная и неискаженная передача данных в терабайтном диапазоне при скоростях от гигабит до терабит в секунду.
2. Удаленная интерактивная визуализация больших объемов данных в петабайтном диапазоне.
3. Управление вычислениями на суперкомпьютерах и экспериментами.
4. Интерактивное коллаборационное управление вычислениями, визуализированными данными во многих проекциях, и.
5. Обеспечение безопасности научной кибер среды с минимальными издержками для приложений.

В частности, важно, чтобы эти возможности были прозрачно доступны для приложений ученых с малыми или отсутствием дополнительных требований к их времени или усилий, чтобы воспользоваться ими. В частности, не эффективно, если эти возможности требуют серьезных усилий от команды обслуживающей сеть и прикладных экспертов.

5.2. Технологии исследовательской сети

Чтобы реализовать указанные выше возможности, будут выполнены несколько сетевых исследований в сочетании с существующими технологиями в контексте приложений

Транспортные протоколы с ультравысокой пропускной способностью. Доминирующий в настоящее транспортный протокол TCP был первоначально создан и оптимизирован для низкоскоростных каналов Интернет. Он не обладает характеристиками и масштабируемостью, которые бы позволяли ему отвечать современным требованиям. На протяжении многих лет DOE был лидером в улучшении TCP, для обеспечения требований научных телекоммуникаций. Получение высокой скорости передачи данных включает в себя два подхода. На одном полюсе, TCP-методы совместного использования IP-сети могут быть адаптированы и масштабированы к скоростям Гбит/c-Tбит/c. Проблема здесь заключается в исследовании различных частей TCP, таких как медленный старт и надежное исключение перегрузок, чтобы поддерживать требуемую пропускную способность. На другом полюсе, можно установить на концах канала специальное широкополосное оборудование с приемлемым управлением скоростью передачи. Этот подход исключает сложные проблемы оптимизации TCP, за счет исключения перегрузки. В частности в будущем, когда эксперименты будут генерировать петабайты данных, потребуются протоколы, которые способные обеспечить терабитную скорость передачи. Для таких пропускных способностей, потребуются выделенные аппаратные динамические l-переключатели с обновленными не-TCP механизмами, чтобы получить терабитную пропускную способность. Оптические сети с пакетной коммутацией являются технологией следующего поколения и потребуют реализации R&D, для того чтобы быть интегрированными в среду Office of Science, начиная с 2005-2006, с тем чтобы быть внедренными к началу 2008-2009.

Стабильно управляемые E2E-каналы. Для поддержки интерактивной визуализации в WAN, нужны два канала: визуальный канал, который передает изображение, и канал управления, который передает управляющую информацию от пользователя к серверу визуализации. Первый канал должен обеспечивать скорость передачи данных, гарантирующую нужное качество изображения, в то время как второй должен гарантировать малый временной разброс, чтобы исключить нестабильность обратной связи. Существует несколько возможностей реализации визуальных каналов, от транспортировки геометрии (например, коды OpenGL) с рендерингом на стороне пользователя, когда для доставки данных используется стандартная переадресация (например, xforwarding). В конкретном приложении, может потребоваться комбинация, основанная на необходимой полосе пропускания и конвейерах визуализации. В любом случае, пропускная способность должна соответствовать необходимому качеству изображения. С сетевой транспортной точки зрения оба канала требуют стабильной пропускной способности, которая может быть частично обеспечена через обычные IP-сети. С другой стороны, их легче реализовать, если можно организовать два выделенных канала, предоставляемых по запросу.

Коллаборационное управление в реальном масштабе времени и потоки данных. Нужны гибкие транспортные протоколы чтобы осуществлять удаленные вычисления. Вычисления обычно мониторируются удаленно, возможно путем визуализации определенного параметрического пространства, и управляется в пределах области интереса. Очень важно, чтобы операции управления, осуществлялись через надежный канал, чтобы удерживать вычисления в допустимом диапазоне параметров. Заметим, что неадекватный канал управления может вызвать проблемы осцилляций, которые приводят к неэффективному использованию вычислительных ресурсов, в частности суперкомпьютеров. Проблема управления еще более остра для удаленного управления экспериментальным оборудованием, где задержка команд управления может вызвать разрушительные последствия. В крайнем случае, высокочастотный джиттер может вызвать резонанс, который может привести к полной потере управляемости. Далее, когда управляющие операции координируются многими пользователями, разбросанными географически, управляющие каналы должны соответствующим образом координироваться. За исключением простых управляющих операций и воздействий, TCP/IP-сети не предоставляют нужного уровня стабильности. Для этого класса возможностей следует исследовать подход, базирующийся на выделенных каналах, в сочетании с соответствующими транспортными методами.

Динамическое выделение ресурсов и выделение полосы по запросу. Концепция динамического представления ресурсов представляется перспективной для реализации многих сетевых возможностей для научных приложений, генерирующих кратковременные всплески потока данных, таких как:

• Динамическое выделение дискретных значений полосы пропускания на лябда уровне.
• Совместное использование оптических путей, в соответствии с традиционными методами.
• Выделенные оптические пути с транспортными протоколами мультиплекси-рования, т.e., транспортные протоколы не связанные с более низкими сетевыми уровнями.
• Эффективное использование дорогостоящей сетевой среды при возникновении кратковременного увеличения потоков данных.

Требование выделения по запросу выделенных оптических каналов требует введения политик предоставления ресурсов и реализации, которые отсутствуют в сетях с пакетной коммутацией. Запросы на предоставление выделенного оптического канала (лямбды) будет посылаться научными приложениями центральным серверам выделения полосы, которые поддерживают состояние сети. Когда запрос принят, серверы реализации расширят полосу оптических каналов, поддержат их оговоренное время, и затем аннулируют это расширение. На время выделения ресурса оконечные системы могут использовать протоколы, которые оптимизируют работу приложения, а также оптического канала. Таких возможностей нет поверх IP-сетей, и вероятно они будут разработаны отдельно, таким образом, нужно разработать этот класс крупномасштабных приложений DOE. Заметим, что серверы выделения полосы должны быть способны реализовывать политики высокого уровня разрешения запросов, а также диспетчеризации каналов путем поддержки приемлемого уровня полосы пропускания на всех нужных участках. Кроме того, нужно соответствующее маршрутное и переключающее оборудование для реализации запросов и мониторинга.

Архитектура и инфраструктура решений. В связи с тестовым характером исследовательской сети очень важно обеспечить достаточно исчерпывающий мониторинг и измерение параметров инфраструктуры, чтобы облегчить диагноз, отладку и оптимизацию рабочих характеристик. Кроме того, архитектура исследовательской сети должна иметь средства обхода операционной системы (OС), удаленного доступа к памяти данных RDMA (remote data memory access) и другие нетрадиционные сетевые возможности.

Проблемы кибер безопасности. Научная среда DOE состоит из очень сложного комплекса дорогостоящих распределенных вычислительных ресурсов и научных установок, которые должны быть защищены от кибер атак. Как стало ясно в последнее время, количественный рост строгих firewall, особенно в узлах DOE, привел в нерабочее состояние несколько приложений с сетевым базированием. В частности, несколько функций приложений, которые работали на основе использования открытых сокетов, прекратили свою работу, как только firewall’ы по умолчанию запретили обмены через общие порты. В то время как эта проблема может быть временно устранена путем изъятия порта или перевода машины в открытую часть сети, сохраняется проблема защиты такой ЭВМ от атак. Необходимы более систематические усилия для обеспечения гармонического взаимодействия научных приложений в безопасной сетевой среде. Современные грубые фильтры пакетов и firewall’ы имеют ограниченное влияние на скорость обмена данными, что в свою очередь ограничивает пропускную способность приложения

Традиционно, научное сообщество DOE полагается на коммерчески доступные продукты обеспечения кибер безопасности. В ультраскоростных сетевых инфраструктурах, возможности низкоскоростных систем безопасности составляет (10 Мбит/с – 655 Мбит/с), что ставит под вопрос использование firewall и систем детектирования вторжений. Эта проблема обращает внимание на два пункта:

1. Масштабируемые технологии для систем кибер безопасности. Современные системы кибер безопасности созданы для того, чтобы защитить сети, работающие при низких скоростях. Учитывая то, что скорости обменов в научной среде будут превышать несколько гигабит/сек и более, особенно важно обратить внимание на проблему кибер безопасности, которая может стать основным препятствием на пути решения научных проблем. Крайне важно разработать и внедрить IDS, firewall или альтернативные системы сетевой безопасности, способные работать на скоростях многих гигабит/сек или даже выше. Более того, большинство методов детектирования вторжения и фильтрации были разработаны для систем пакетной коммутации. Может потребоваться новый класс методов обеспечения безопасности сетей, которые могут по запросу предоставить выделенный канал E2E. Оптические сети с пакетной коммутацией потребуют дальнейшего рассмотрения и исследования.
2. Политики кибер безопасности для открытой научной среды. Важно разработать методы, которые являются совместимыми и согласованными с общей политикой безопасности DOE в контексте описания и интерпретации.

Суммируя можно заключить, что в область технических исследований следует включить.

• TCP и не-TCP транспортные методы пригодные для передачи при скоростях до 40 Гбит/с или выше в условиях выделенных или разделяемых каналов.
• Динамически предоставляемые выделенные каналы E2E с заданной полосой пропускания для целей управления, и
• Методы кибер безопасности для работы при крайне высоких скоростях в выделенных каналах.

В этих областях, задача обычно включает использование существующих методов и разработку новых методов, специально оптимизированных для работы в высокопроизводительных сетях, а также средств, которые адаптируют эти возможности для приложений пользователей.

5.3. Среда исследовательской среды: Переход к провайдерству

Исследовательская сеть, которая включает в себя современные программные и аппаратные компоненты, содержит маршрутизаторы/переключатели, широкополосные каналы, протоколы и модули прикладных интерфейсов, является важным элементом для решения задач, стоящих перед DOE. Эта сеть будет способна обеспечить разработки различных сетевых технологий, базирующихся на широкополосных каналах, созданных на основе оборудования следующего поколения

Сетевые технологии для высокоскоростного управления, динамического выделения ресурсов, интерактивной визуализации и управления, и кибер безопасности будут разрабатываться поэтапно в тесном контакте с пользователями. Приложения могут исполняться пользователями непосредственно в исследовательской сети, а отработанные технологии будут постепенно передаваться приложениям и в провайдерскую сеть.

5.4. Результирующий список важных R&D Essential Office для научной сети

В дополнение к перечисленному выше следует добавить следующие высокоприоритетные пункты:

• Транспортные решения для 40+ Гбит/с.
• Динамическое выделение полосы (диспетчеризация, приоритеты, совместное использование и т.д.).
• Ультраскоростные компоненты кибер безопасности и политики.
• Разработка ультраскоростного транспортного протокола.
• Сетевые измерения, мониторинг и анализ при высоких скоростях
• Ультраскоростное моделирование, симуляции и управление трафиком.

5.5. Этапы и критерии

Ниже определены этапы выполнения работ над проектом классифицированные по времени исполнения:

1. Непосредственное исполнение (1-2 года). Использование существующего сетевого транспорта и технологий для получения наилучших рабочих характеристик для различных сетевых задач.
2. Краткосрочные исследования (2-3 года). Улучшение существующих сетевых технологий (при сохранении обратной совместимости) с целью получения характеристик в 10 раз лучше существующих.
3. Долгосрочные исследования и разработки (4-5 лет). Разработка радикально новых технологий для предоставления сервисов по порядку величины лучших по сравнению с существующими по широкому перечню параметров.

Следующим критериям будет уделяться специальное внимание при разработке технологий в рамках исследовательской сети.

1. Масштабирование Е2Е (End-to-end).
2. Исключение географических барьеров.
3. Допущение новых модальностей и технологий исследования.
4. Простота использования приложения пользователем.
5. Уровень и влияние кибер безопасности.

5.6. Рабочие модели

Были рассмотрены несколько бизнес моделей для исследовательских сетей.

1. Первой опцией является сеть, логически разделенная на провайдерскую, выдерживающую большие импульсные нагрузки и исследовательскую сеть. Это обеспечит удешевление и гибкое выделение ресурсов и простой переход от разработки к внедрению. Кроме того, при корректной конфигурации сети можно исследовать компоненты в условиях реальных эксплуатационных условий, во всяком случае, для коротких интервалов времени. К числу недостатков можно отнести операционную сложность и интерференцию между разными компонентами трафика.
2. Второй опцией является построение трех физически изолированных сетей. Такое решение имеет преимущество низкой операционной сложности и полной изоляции сервисов, но оно усложняет переход от исследований к эксплуатации новых технологий.
3. Третей опцией является гибридный поход, предполагающий логическую изоляцию провайдерской сети и сети для высоких импульсных нагрузок в рамках единой инфраструктуры. Преимуществами этого метода является простой доступ к сети и более тесное сотрудничество между исследовательской сетью и сетью для высоких импульсных нагрузок. Существенной особенностью является то, что исследовательская сеть здесь является частью провайдерской сети, но при этом допускается запуск приложений с высоким импульсным трафиком в рамках исследовательской сети.

Считается, что третья опция наилучшим образом соответствует рабочим потребностям исследовательской сети..

Общее руководство исследовательской сетью будет осуществляться Science Networking и Services Committee в части выделения ресурсов на уровне лябд и различных проектов и организаций. Кроме того, существует проблема выделения ресурсов низкого уровня по запросам и возможности отсутствия доступа к ресурсу в результате проведения эксперимента или теста. Заметим, что приложения могут запросить выделения канала или стабильного разделяемого канала на определенный период времени. С другой стороны, определенный исследовательский сетевой проект может ограничить возможности сети, что негативно повлияет на работу маршрутизаторов и рабочих станций. Такие задачи будут диспетчеризоваться на основе запросов. Выделение низкоуровневых ресурсов по запросу будет осуществляться специальным комитетом, который определяет политику распределения ресурсов.

Ссылки

6. Модели менеджмента и альтернативы

Используемая модель менеджмента сегодня для ESnet является центральной при осуществлении финансирования и управления. ESnet является провайдерской опорной сетью, обеспечивающей соединение между узлами DOE, а также между этими узлами и глобальным Интернет. ESnet также предоставляет сервис для обслуживания коллабораций и систем GRID. Национальные лаборатории и другие узлы, которые непосредственно соединены с ESnet, несут полную ответственность за LAN, через которые осуществляется соединение пользователей и систем с ESnet, этот подход показал хорошую эффективность на протяжении нескольких лет. Вероятно, не существует альтернативы для независимого администрирования LAN персоналом узла. Однако были предложения, которые предполагают две компромиссных альтернативы для управления опорной сетью.

Анализ возможностей показывает ряд существенных преимуществ настоящего подхода:

1. Экономия средств. Общий подход и объем закупок позволяют минимизировать расходы. Централизованный подход позволяет эффективно распределять и перераспределять ресурсы, например, при возникновении новой инициативы.
2. Экономия людских ресурсов. Общая потребность в людских ресурсах при поддержке 24?7 (24 часа в день, 7 дней в неделю) сетевой среды может быть минимизировано, тем больше, чем меньше требует людей централизованное управление. Кроме того, существует много операционных проблем WAN, которые решаются сообществом ESnet, вместо того, чтобы каждый узел работал над теми же решениями самостоятельно. Кроме того, существует много общего в технологии, в подходах, оборудовании и т.д. для практически всех узлов, входящих в ESnet, и, координируя усилия, можно сэкономить значительные ресурсы.
3. Критические сетевые сервисы для миссии DOE в науке. Многие сетевые функции ESnet и многие сервисы недоступны у коммерческих сервис-провайдеров. Предлагаемый подход упрощает доступ к таким сервисам оптимальным образом.
4. Общая технология. Научное сообщество DOE достаточно агрессивно в отношении использования сети. Общая инфраструктура опорной сети делает доступной технологию для всех пользователей и узлов, без возможных проблем несовместимости с поставщиками или провайдерами.
5. Безопасность. В существующей модели, каждый узел несет ответственность за свою кибер безопасность. Однако, централизованно управляемая опорная сеть, такая как ESnet может предложить дополнительную защиту. Например, во время последних всемирных SQL-атак персонал ESnet, работающий круглые сутки, ограничил доступ со стороны зараженных узлов, как для сообщества DOE, так и для остального Интернет, в некоторых случаях заблокировал доступ до тех пор, пока администрация узла не предприняла меры сама.
6. Корпоративная идентификация. Сеть ESnet хорошо известна и уважаема во всем мире, в сообществе, работающем в области исследований и образования. Соединение ESnet с сетями R&E во всем мире воспринимается как соединение с научным сообществом DOE.

Ниже кратко рассмотрены два альтернативных подхода ESnet к построению сети:

1. Коммерческие сервис-провайдеры (ISP). В этой модели, каждый узел ESnet должен нести ответственность за контракты с коммерческими сервис-провайдерами в отношении сетевой поддержки. Этот подход имеет много недостатков:
• В результате поддержание сети обходится DOE дороже, так как экономия, связанная с оптовыми скидками и т.д. (см. выше), минимизируются или даже обнуляются. Более того, в то время как централизованный менеджмент ESnet крайне заинтересован в снижении издержек, коммерческий провайдер мотивирован существенно меньше.
• Сетевые ресурсы в этом варианте не принадлежат научному сообществу DOE, но будут разделяться и подвергаться загрузке посторонним трафиком. Это приводит к заметному ухудшению эксплуатационных характеристик сети и непредсказуемости. Коммерческие сети не предназначены для работы с большими потоками в диапазоне терабайт/петабайт. Они сконфигурированы для обслуживания миллионов небольших информационных потоков пользователей. Такие сервисы ESnet как мультикастинг и политика маршрутизации будут недоступны.
• Будет практически невозможно управлять, консолидировать или перенаправлять ресурсы в рамках сети DOE; Например, чтобы среагировать на неожиданную потребность или обеспечить новое приложение.
• Введение новых технологий будет более трудным, так как это потребует развертывания нужной технологии у всех провайдеров вдоль путей, используемых сетью научного сообщества DOE. Провайдеры при внедрении новых технологий мотивируются только получением прибыли, а не важностью поддержки научных исследований, что помешает внедрению технологий, в которых заинтересовано только DOE.
• Сообщество пользователей, обслуживаемое ESnet, пользуется поддержкой оперативного персонала, который обладает высокой квалификацией и ориентирован на исследовательское сообщество DOE. Ясно, что это не так в случае использования услуг нескольких коммерческих провайдеров.
• Многие каналы R&E, крайне важные для науки DOE, не доступны для коммерческих сетей.
• Ясно также, что некоторые программы предпочтут сформировать собственные сети с привлечением каналов ESnet, чем адаптировать для своих целей сервисы коммерческих сетей.
• Этот подход исключит существование центральной команды обслуживания 24?7, которая образует фундамент для многих сервисов и технологий в будущем

По указанным выше причинам этот подход не рассматривался, как предпочтительная модель предоставления сетевых услуг для научного сообщества DOE.

2. Сервисы, использующие темные волокна. В этой модели, ESnet будет поставлять темные волокна в национальном масштабе и будет ответственна за их активизацию (т.e., за поставку оптоволоконного оборудования, необходимого для функционирования волокон) и за их последующее обслуживание.
• Этот подход является вариацией провайдерской модели и необязательно будет влиять на модель управления, но вполне согласуется с моделью управления (и вероятно демонстрирует другое преимущество централизованного управления — возможность легкого внедрения новых технологий в масштабах сообщества).
• Главным фактором в пользу этого подхода является то, что, когда за темные волокна заплачено и они активированы, стоимость инкрементных инвестиций будет относительно невысокой (т.e., добавления длин волн). Однако начальные инвестиции могут оказаться очень существенными.
• По этим причинам, реализация проекта начнется на региональном уровне с учетом провайдерских сервисов, чтобы проверить пригодность выбранных решений. Заметим, что план работ будет вероятно включать оценку этого подхода в национальном масштабе с помощью анализа решений в рамках исследовательской сети.

6.1. Управление другими сетевыми компонентами

1. Высокие импульсные нагрузки. Этот компонент новой сетевой среды предназначен для того, чтобы (a) обеспечивать поддержку оконечным приложениям и приложениям, работающим с высокими импульсными нагрузками и (b) обеспечивать тестирование и подготавливать основу для внедрения сетевых и коммуникационных технологий. Кроме того, персонал провайдерской сети должен быть объединен с составляющей сетей, рассчитанных на высокие импульсные загрузки, чтобы обеспечить плавный переход к провайдескому статусу. Требования высоких импульсных нагрузок должны быть удовлетворены путем поэтапного внедрения новых технологий в ESnet. Соответственно, поддержка таких сетей станет осуществляться согласно той же модели управления, что и провайдерские сети.
2. Исследование. Этот компонент планируется для решения (a) поддержки исследовательской сетевой активности в рамках DOE/Office of Science и (b) исследования жизнеспособности новых технологий. Заметим, что исследовательская сеть должна иметь достаточно интерфейсов для внешних исследовательских сетевых операций.

6.2. Управление технологией и сервисами

Управление ESnet осуществляет видеоконференции и реализует централизованную службу PKI (Public Key Infrastructure) научных сотрудников Office of Science. Как только станет доступен для участников научного сообщества весь набор технологий и сервисов, потребуется централизованное управление поддержкой ядра сервисов. Заметим, что централизованное управление не подразумевает централизованное размещение всех этих сервисов. Централизованное управление будет координировать переход технологий и сервисов из фазы R&D в фазу провайдерства для долгосрочной поддержки коллабораций и GRID зоны ответственности Office of Science.

7. Управление сетями и сервисами для науки DOE
7.1. Текущая модель управления

Из трех видов функциональности сети в настоящее время DOE поддерживает только провайдерскую сеть (ESnet) и некоторые элементы исследовательской сети. Со стороны DOE программа администрируется программным менеджером отдела MICS Office of Science. Сеть управляется контрактором, в настоящее время LBNL, с финансированием от MICS. Хотя это не предоставляет всей функциональности для исследовательских испытаний или даже для приложений с высокими импульсными нагрузками, рассмотренными в докладе, имеется ощущение, что программа отвечает расширенным требованиям провайдерской модели Office of Science с хорошим уровнем аппроксимации и это при ограниченном финансировании.

Контрактор ESnet назначен комитетом, представляющим программы пользователей сети, первоначально это программы Office of Science. Координирующий комитет ESnet ESSC (ESnet Steering Committee) ответственен за.

• Документирование, обзор, ранжирование сетевых требований для всех программ Office of Science.
• Контроль исполнения бюджета ESnet, как это представлено MICS, формирование бюджета с учетом требований к сети и их приоритетов.
• Выделение сетевых требований, которые нуждаются в дальнейших исследованиях.
• Установление нужных рабочих характеристик ESnet.
• Предложение новых технологий для улучшения возможностей ESnet.

7.2. Обсуждения и рекомендации

Центральным вопросом является, следует ли три сетевые функциональности и связанные с ними сервисы финансировать и организовывать как независимые или их следует централизовать. Выше были приведены технические и организационные аргументы в пользу совместной работы разных частей сети, что позволяет плавно переходить от исследований новых технологий к их внедрению в практику. По тем же причинам мы предпочитаем централизованную модель финансирования с одной организацией, ответственной за все три типа сетей. Хотя сейчас большая часть средств приходит из одного офиса DOE, мы полагаем, что модель финансирования DOE должна позволять финансирование из многих разных программ, когда в этом возникнет потребность.

Расширенная функциональность, и, следовательно, широкий круг клиентов, новой научной сети и сервисов должны вести к расширению координации внутри DOE. Это верно на одном уровне в пределах организации ASCR/MICS, где программы сетевых исследований и разработок ориентированы на сеть DOE, как место тестирования и демонстрации новых возможностей. Но также верно то, что другие программные офисы в рамках Office of Science должны иметь средства координации с DOE, особенно, когда они непосредственно осуществляют финансирование сетей или сервисов, чтобы решить свои специфические проблемы. Таким образом, мы рекомендуем рабочим группам из программных офисов координировать процесс финансирования и выделения ресурсов. Головной комитет включается в программу SciDAC, в которой финансирование ассоциировано со всеми программами Office of Science. По меньшей мере, один член рабочей группы должен посещать заседания Science Networking and Steering Services Committee.

Для работы со специализированными требованиями мы предлагаем структуру комитета, базирующуюся на SNSC (Science Networking and Services Committee), которая могла бы быть выбрана для обеспечения широкого представительства в Office of Science, но увеличена за счет экспертов в области исследований, высоких загрузок, а также технологий и сервисов. SNSC образует подкомитеты, чтобы обеспечить управление для каждой из трех типов сетей и сервисов.

SNSC может иметь до четырех подкомитетов, включая три обсужденные выше и технический подкомитет узла, как сегодняшний ESCC.

Приложение A: Научные приоритеты

Здесь суммируются требования семи основных программ Office of Science в порядке их воздействия на требования к высоко функциональным сетям и средствам взаимодействия, которые упрощают использование этих сетей. Заметим, что большинство научных проблем требуют интегрированной инфраструктуры, которая включает в себя крупномасштабный компьютинг, память данных, скоростные сети и средства взаимодействия, которые все это объединяют.

Требования со стороны физики высоких энергий

Большинство экспериментов в физике высоких энергий в следующие двадцать лет поменяют представление о фундаментальных взаимодействиях, структуре и симметрии, которые определяют природу вещества и времени. Наиболее крупные коллаборации сегодня это CMS и ATLAS, они создают детекторы на LHC (Large Hadron Collider) в CERN. Эти коллаборации насчитывают по 2000 физиков из 150 научных центров и организаций, из более чем 30 стран. Эти коллаборации являются наиболее крупными, в которых США будут участвовать в ближайшие 10 лет, и включают 300 - 400 физиков из более чем 30 университетов, и из большинства лабораторий высоких энергий.

Проблемы физики высоких энергий порождают наиболее серьезные информационные потоки из числа известных. Существующее поколение экспериментов в SLAC (BaBar) и FNAL (D0 и CDF), а также эксперименты на релятивистском коллайдере тяжелых ионов RHIC (Relativistic Heavy Ion Collider) а национальной лаборатории в Брукхевене уже столкнулось с большими проблемами в сфере обработки сверх больших потоков данных. В эксперименте BaBar в частности уже накоплено около петабайта данных (10¹⁵ байт). Эти данные за предстоящие 10 лет увеличат свой объем с петабайт до экзабайт (1 экзабайт = 1000 петабайт =10¹⁸ байт). Сотни и тысячи разработчиков ученых по всему миру непрерывно разрабатывают программы для отбора определенных событий, для лучшей калибровки детекторов, чтобы лучше и быстрее вычислять количественные характеристики явления. Требуется управлять глобально распределенными ресурсами, чтобы достичь требуемого результата оптимальным образом.

Коллаборации всемирного масштаба были бы невозможны, если бы у физиков не было в распоряжении сетей, способных обеспечить совместную работу удаленных групп.

Чтобы реализовать все поставленные цели, нужно распределить приоритеты, а система в целом должна эффективно управляться и мониторироваться. Нужно разработать систему взаимодействия “человек-grid”. Разрабатывая эффективный набор компромиссов между использованием ресурсов высокого уровня, требованиями проведения ремонтов и регламентных работ и условиями реализации политики использования ресурсов для различных групп участников, приходится сталкиваться с новыми проблемами типичными для широко распределенных систем.

Рис. A-3. Иерархическая информационная система GRID для коллаборации CMS (Compact Muon Solenoid). Включены системы памяти, вычислений, сетевого обеспечения, а также диспетчеризации, управления и безопасности.

Научные требования со стороны магнитного термояда

Долговременной целью исследований в области магнитного термояда является разработка надежной энергетической системы, которая устойчива при изменении внешних условий. Чтобы достичь этой цели, необходимо разработать физику плазмы, которая находится на границе гидродинамики, электромагнетизма, и неравновесной статистической механики. Термоядерный синтез является областью науки, где сотрудничество неизбежно из-за ограниченности числа уникальных физических установок и уникальности вычислительных программ.

В Соединенных Штатах, экспериментальные исследования в области термоядерного синтеза сконцентрированы в трех крупных центрах (Alcator C–Mod, DIII и NSTX). Стоимость установок превосходит миллиард долларов. Магнитные термоядерные эксперименты на этих установках работают в импульсном режиме, генерируя плазму в течение 10 секунд каждые 10-20 минут. За сутки реализуется 25-35 импульсов. Для каждого импульса плазмы производится 10000 отдельных измерений, которые производят несколько сотен мегабайт данных. Во время экспериментального сеанса обсуждается настройка контрольных параметров с тем, чтобы сделать их оптимальными. Экспериментальная команда обычно насчитывает 20 - 40 человек, с участием других удаленных коллабораторов. Решения об изменении следующего импульса плазмы принимается на основе анализа, проводимого в течение 15-минутных интервалов между импульсами. Такой режим работы требует быстрого анализа данных, который производится в режиме близком к реальному времени географически рассредоточенной группой сотрудников.

Вычислительная составляющая в экспериментальной науке становится все более сложной. Пять лет тому назад, анализ, который выполнялся за ночь, теперь реализуется между импульсами. Ожидается, что за ближайшие пять лет данные, поступающие между импульсами, превысят по объему гигабайт. За время одного экспериментального дня в работе могут принять участие 5 - 10 удаленных организаций. Объемы данных, формируемых в результате симуляций, в ближайшие пять лет превысят терабайт. Кроме того, эти данные будут анализироваться также как и экспериментальные данные.

Разработанные в настоящее время улучшенные средства для визуализации позволят использовать эффективно эти все возрастающие объемы данных для принятия решений экспериментальной группой. Ясно, что перемещение этого объема данных за время 15-20 минут к компьютерному кластеру, информационным серверам и визуализационным средствам, используемым экспериментальной группой, распределенной по США, потребует много больше сетевой полосы пропускания и средств взаимодействия, чем сейчас доступно.

Приложение B: История и состояние научных сетей DOE— ESNET сегодня

В этом приложение дается обзор ситуации в сетях DOE на текущий момент, с особым акцентом на проект ESnet. Показана эффективность проекта с момента его начала в 1985. Однако данный доклад имеет целью показать существенные изменения практически во всех его частях. Подход строится на основе прошлого успеха и ставит задачу удовлетворения всех будущих требований. Изменения планируются области финансирования, технологии, архитектуры, сервисов и управления.

Обзор проектов

ESnet представляет собой WAN, которая поддерживает основные направления науки развивающиеся в рамках департамента энергетики США. Проект ESnet поддерживает базовую миссию агентства, его стратегические цели, обеспечивая DOE эффективной и надежной телекоммуникационной инфраструктурой, гарантирующей лидирующие позиции в области сетевых сервисов.

Приложение C: Глобальная ситуация

Последние несколько лет произошли драматические изменения в глобальном масштабе и, особенно в области сетей, рассчитанных на высокие импульсные нагрузки. Изменения были всеохватывающими и быстрыми, особенно в областях: (a) ввода новых технологий, воздействующего на стоимость услуг; (b) чрезмерный энтузиазм в области информационных технологий привел многие компании на грань банкротства; (c) большинство академических институтов начали сами формулировать требования к сетям R&E; (d) ликвидация государственного регулирования международных коммуникаций привела к снижению цен и сделала возможным рост новых R&E-сетей в Европе, Японии и Канаде с международными связями с США в масштабах, немыслимых 10 лет назад и (e) появление GRID, которые обещают создать небывалые прежде распределенные вычислительные ресурсы.

ESnet ставит перед собой новую цель – 1 Тбит в секунду.