4.1.1.2 Fast Ethernet (FE), GE, 10GE, 40GE 100GE
Семенов Ю.А. (ГНЦ ИТЭФ)

У технологии Ethernet достаточно долгая история. В какой-то момент времени она конкурировала с техникой Fibre Channel. Динамика этого процесса отражена на рис. 4.1.1.2.0. Смотри 10 and 100 Gigabit Ethernet Overview. Обсуждается проект ТЕ (Tera Ethernet - 10¹² бит/c).

Рис. 4.1.1.2.0.0. Стандарты физического уровня IEEE 802.3 (ipj18.1-2)

Рис. 4.1.1.2.0. История эволюции Ethernet

Разработка все более быстродействующих версий сети диктовалась быстрым ростом потребности передачи все больших объемов данных за все меньшие времена. Смотри рис. ниже. Из рисунка виден практически линейный рост потребности в полосе по годам. Из графика видно, что удвоение полосы следует каждые 12-18 месяцев.

Рис. 4.1.1.2.0a. Потребности в полосе по годам

Fast Ethernet.100-мегагерцную сеть Ethernet дешевле создать на базе скрученных пар. Существует несколько версий 100-мегагерцного Ethernet (100base-T4, 100base-TX, 100base-FX, стандарт 100VG-anylan - IEEE 802.12). Формат кадра FE и GE предполагает обязательное использование ESD (EFD) - разграничителей конца кадра (потока). ESD (End Stream Delimeter) не увеличивает длины кадра, так как попадает в область IPG (96 бит-тактов, разделяющих кадры с длиной 1522 байта).

TX и RX передатчики и приемники входных/выходных оптоволоконных трансиверов, соответственно. FOMAU - (Fiber Optic Media Attachment Unit) оптоволоконный трансивер (см. рис. 4.1.1.1.9).

Сегменты T4 (100base-T4) используют четыре скрученные пары телефонного качества (экранированные и неэкранированные скрученные пары проводов категории 3, 4 или 5) длиной до 100м. Провода должны быть скручены по всей длине, скрутка может быть прервана не далее как в 12мм от разъема (это требование справедливо и для сегментов типа TX).

Сегменты TX (100base-TX, стандарт ANSI TP-PMD) состоят из двух скрученных пар проводов информационного качества (волновое сопротивление 100-150 Ом, экранированные и неэкранированные скрученные пары проводов категории 5, длина до 100м).

FX-сегменты (100base-FX) представляют собой оптоволоконные кабели, отвечающие требованиям стандарта ANSI. Мультимодовое волокно 62,5/125 m (см. выше) работает в инфракрасном диапазоне 1350нм. Максимальная длина сегмента составляет 412 метров, ограничение определяется соображениями допустимых задержек. Предельное ослабление сигнала в волокне не должно превышать 11 дБ, стандартный кабель имеет 1-5 дБ/км. Оптические разъемы должны отвечать тем же требованиям, что и разъемы, используемые в FDDI-сетях (MIC- Media Interface Connector).

Для того чтобы выявить, к какой модификации относится тот или иной сегмент, разработан специальный протокол распознавания, позволяющий строить сети, которые содержат оборудование и кабельные сегменты, отвечающие разным требованиям.

Универсальная схема подключения ЭВМ или любого другого оборудования (например, сетевого принтера) к 100-мегагерцному Ethernet показана на рис. 4.1.1.2.1.

Физическая среда служит для передачи сигналов Ethernet от одной ЭВМ к другой. Выше были перечислены три вида физических сред, используемых 100-мегагерцным Ethernet (T4, TX и FX). Здесь используется 8-контактный разъем (RJ-45) для скрученных пар или специальный оптоволоконный соединитель. Блок PHY выполняет ту же функцию, что и трансивер в 10-мегагерцном Ethernet. Он может представлять собой набор интегральных схем в сетевом порту или иметь вид небольшой коробочки на MII-кабеле. Интерфейс MII является опционным, он может поддерживать работу с 10- и 100-мегагерцным ethernet. Задачей MII является преобразование сигналов, поступающих от PHY, в форму, приемлемую для стандартного набора ИС Ethernet. Соединительный кабель не должен быть длиннее 0,5м. PHY и MII могут быть объединены на одной интерфейсной плате, вставляемой в ЭВМ.

Рис. 4.1.1.2.1 Блок-схема подключения оборудования к 100-мегагерцному Ethernet

В сетях 100-мегагерцного Ethernet используются повторители двух классов (I и II). Задержки сигналов в повторителях класса I больше (~140нс), зато они преобразуют входные сигналы в соответствии с регламентациями применяемыми при работе с цифровыми кодами. Такие повторители могут соединять каналы, отвечающие разным требованиям, например, 100base-TX и 100base-T4 или 100base-FX. Преобразование сигнала может занимать время, соответствующее передаче нескольких бит, поэтому в пределах одного логического сегмента может быть применен только один повторитель класса I, если кабельные сегменты имеют предельную длину. Повторители часто имеют встроенные возможности управления с использованием протокола SNMP.

Повторители класса II имеют небольшие задержки (~90нс или даже меньше), но никакого преобразования сигналов здесь не производится, и по этой причине они могут объединять только однотипные сегменты. Логический сегмент может содержать не более двух повторителя класса II, если кабели имеют предельную длину. Повторители класса II не могут объединять сегменты разных типов, например, 100base-TX и 100base-T4. Согласно требованиям комитета IEEE время задержки сигнала jam в повторителе Fast Ethernet (TX и FX) не должно превышать 460 нсек, а для 100base-T4 - 670 нсек. Для повторителей класса I эта задержка не должна быть больше 1400 нсек. Значения предельных длин сегментов для различных конфигураций сети приведены в таблице 4.1.1.2.1.

Таблица 4.1.1.2.1. Максимальные размеры логического кабельного сегмента

Тип повторителя	Скрученные пары [м]	Оптическое волокно [м]
Один сегмент ЭВМ-ЭВМ	100	412
Один повторитель класса I	200	272
Один повторитель класса II	200	320
Два повторителя класса II	205	228

Типовые задержки для различных устройств Fast Ethernet представлены в табл. 4.1.1.2.2.

Таблица 4.1.1.2.2

Сетевое устройство	Задержка [нсек]
Повторитель класса I	700
Повторитель класса II (порты T4 и TX/FX)	460
Повторитель класса II (все порты T4)	340
Сетевая карта T4	345
Сетевая карта ТХ или FX	250

Вариант построения 100-мегагерцной сети ethernet показан на рис. 4.1.1.2.2.

Рис. 4.1.1.2.2. Возможная схема 100-мегагерцной сети Ethernet.

Из рисунка видно, что максимальная длина логического сегмента не может превышать А+Б+В = 205 метров (см. табл. 4.1.1.2.3.). Предельно допустимые длины кабелей А и В приведены в табл. 4.1.1.2.3.

Таблица 4.1.1.2.3. Максимально допустимые длины кабелей для сети, показанной на рис. 4.1.1.2.2
(Таблица взята из книги Лаема Куина и Ричарда Рассела Fast Ethernet, bhv, Киев, 1998.).

Тип кабеля А (категория)	Тип кабеля В (категория)	Класс повторителя	Макс. длина кабеля А [м]	Макс. длина кабеля В [м]	Макс. диаметр сети [м]
class=txt4>5,4,3 (TX, FX)	5,4,3 (TX, FX)	I или II	100	100	200
5 (TX)	Оптоволокно	I	100	160,8	260,8
3 или 4 (T4)	Оптоволокно	I	100	131	231
Оптоволокно	Оптоволокно	I	136	136	272
5 (TX)	Оптоволокно	II	100	208,8	308,8
3 или 4 (T4)	Оптоволокно	II	100	204	304
Оптоволокно	Оптоволокно	II	160	160	320

При работе со скрученными парами (стандарт TX) используется 8-контактный разъем RJ-45 со следующим назначением контактов:

Номер контакта	Назначение сигнала	Номер контакта	Назначение сигнала
1	Передача +	5	Не используется
2	Передача -	6	Прием -
3	Прием +	7	Не используется
4	Не используется	8	Не используется

Если используются экранированные пары и 9-контактный разъем “d”-типа, то назначение контактов следующее:

Контакт 1	Прием +
Контакт 5	Передача +
Контакт 6	Прием -
Контакт 9	Передача -

Для стандарта 100base-T4 назначение контактов приведено в таблице 4.1.1.2.4.

Таблица 4.1.1.2.4. Разъем MDI (Media dependant interface) кабеля 100base-t4

Номер контакта	Назначение сигнала	Цвет провода
1	tx_d1 + (передача)	Белый/оранжевый
2	tx_d1 -	Оранжевый/белый
3	rx_d2 + (прием)	Белый/зеленый
4	bi_d3 + (двунаправленная)	Голубой/белый>
5	bi_d3 -	Белый/голубой
6	rx_d2 -	Зеленый/белый
7	bi_d4 +	Белый/коричневый>
8	bi_d4 -	Коричневый/белый

Как видно из таблицы, одна пара предназначена для передачи (TX), одна для приема (RX) и две для двунаправленной передачи (BI). Знак полярности сигналов обозначен соответственно + и -. Уровень логической единицы +3,5 В (CS1), нуля - 0 В (CS0), а -1 соответствует -3,5 В (CS-1). Стандарт 100base-T4 предполагает применение схемы кодирования 8B6T. Алгоритм 8B6T преобразует октет данных в 6-битовый тернарный символ, который называется кодовой группой 6Т. Эти кодовые группы передаются параллельно по трем скрученным парам сетевого кабеля, что позволяет осуществлять обмен лишь со скоростью 33,33Мбит/с. Скорость же передачи тернарных символов по каждой из пар проводов равна 6/8 от 33,33 Мбит/с, что эквивалентно 25 МГц. Шесть тернарных символов позволяют отобразить 3⁶=729 различных кодов. Это позволяет отобрать для отображения 256 восьмибитовых кодов те тернарные символы, которые обеспечивают не менее 2 перепадов уровня сигнала. Схема подключения и передачи сигналов в сетях 100base-T4 показана на рис 4.1.1.2.3.

Пары 2 и 3 также как и в ТХ предназначены для приема и передачи данных. Пары 1 и 4 используются в двух направлениях, преобразуя канал между узлом и повторителем в полудуплексную. В процессе передачи узел использует пары 1, 2 и 4, а повторитель - пары 1, 3 и 4. Следует заметить, что схема Т4, в отличие от ТХ, может работать только в полудуплексном режиме.

Рис. 4.1.1.2.3. Схема подключения и передачи сигналов в сетях 100base-T4 (буквы К с цифрами обозначают номера контактов разъема)

В сетях Fast Ethernet максимальное значение окна коллизий равно 5,12 мксек и называется временем канала (slot time). Это время в точности соответствует минимальной длине пакета в 64 байта. Для более короткого пакета коллизия может быть не зафиксирована. Окно коллизий представляет собой время от начала передачи первого бита кадра до потери возможности регистрации коллизии с любым узлом сегмента, это время равно удвоенной задержке распространения сигнала между узлами (RTT). Конфигурация сети Fast Ethernet, для которой значение окна коллизий превышает время канала, не верна. Время канала задает величину минимального размера кадра и максимальный диаметр сети. Для пояснения этих взаимозависимостей рассмотрим сеть, показанную на рис. 4.1.1.2.4.

Рис. 4.1.1.2.4

Задержка повторителя складывается из задержек физического уровня обоих портов и собственно задержки повторителя. Задержка на физическом уровне сетевого интерфейса считается равной 250 нсек. Рассмотрим задержки сигнала для всех пар узлов (a, b и c) изображенной на рисунке сети:

a ® b	250+110+700+11+250	= 1321 нсек
a ® c	250+110+700+495+250	= 1805 нсек
b ® c	250+11+700+495+250	= 1706 нсек

Когда А передает кадр, узлы В и С отслеживают наличие несущей. Это продолжается до тех пор, пока А не завершит эту процедуру. Как только узлы В и С фиксируют окончание передачи кадра узлом А, они запускают свои таймеры IPG. Запускает свой таймер ipg и узел А, причем его таймер стартует первым. На рис. 4.1.1.2.5 показана временная диаграмма развития событий в сетевом сегменте. Таймер В стартует следующим через 1321 нсек после А. Таймер узла С стартует спустя 1805 нсек после А.

Рис. 4.1.1.2.5 Временная диаграмма, поясняющая возникновение коллизий (все времена в наносекундах)

Узел В начинает передачу сразу после срабатывания его IPG-таймера, а через 484 наносекунды передачу начнет и узел С, так как канал с его точки зрения свободен. Но коллизии еще не происходит, так как их кадры еще не “столкнулись”. Для того чтобы первый бит от узла В достиг узла С, требуется 1706 наносекунд. Узел С зарегистрирует столкновение первым, это произойдет в момент 3987нсек. После этого С будет продолжать передачу еще в течение 320 нсек (сигнал jam). Сигнал jam гарантирует регистрацию коллизии повторителем. Только спустя 484 нсек коллизию обнаружит узел В, начнет передачу своего сигнала jam после чего прекратит передачу. При этом предполагается, что jam не является контрольной суммой передаваемого пакета.

Стандарт IEEE предусматривает возможность полнодуплексной связи при использовании скрученных пар или оптоволокна.

Реализуется это путем выделения для каждого из направлений передачи независимого канала. Такая схема осуществляет связь типа точка-точка и при определенных условиях позволяет удвоить пропускную способность сети. Здесь нет нужды в стандартном механизме доступа к сетевой среде, невозможны здесь и столкновения. Дуплексную схему могут поддерживать все три модификации 100-мегагерцного Ethernet (100base-TX, 100base-T4 и 100base-FX). Для оптоволоконной версии дуплексной связи предельная длина сегмента может достигать 2 км (для полудуплексного варианта предельная длина сегмента может достигать 412 м). Следует иметь в виду, что для локальных сетей целесообразнее применение мультимодового оптоволокна (дешевле и больше коэффициент захвата света, но больше удельное поглощение).

В настоящее время разрабатываются новые еще более скоростные варианты Ethernet IEEE 802.3z. Гигабитный Ethernet утвержден в качестве стандарта в 1998 году; 1000base-FX; ftp:/stdsbbs.ieee.org/pub, смотри также www.gigabit-ethernet.org/technology/faq.html и Гигабитный Ethernet Introduction to Gigabit Ethernet, Maximizing Performance of a Gigabit Ethernet NIC Interface . Эти сети ориентированы на применение 4-х скрученных пар категории 5 или выше (до 100м, разъем RJ-45) и оптоволоконных кабелей. Вместо манчестерского кода применяется кодировка 8В/10B. Эта нотация означает, что каждый байт кодируется при передаче десятью битами. При этом не должно быть более 4 идентичных бит подряд и ни в одном коде не должно быть более 6 нулей или 6 единиц. Так достигаются хорошие условия синхронизации и высокая стабильность постоянной составляющей. В рассматриваемом варианте по каждой паре передаются сигналы с частотой 125МГц, и за каждый так транспортируется два бита. Сетевые интерфейсы используют шину PCI. В этом стандарте могут использоваться полнодуплексные повторители (FRD). Эти повторители в отличии от традиционных имеют встроенные буферы на каждом из портов. Схема передачи предполагает карусельный способ доступа портов к шине повторителя. Но в этом приборе, в отличие от коммутатора, нет анализа адреса места назначения и пакет передается всем портам устройства. Блок-схема сетевого интерфейса GE и 10GE показана на рис. 4.1.1.2.6 (работа через скрученную пару). Поскольку в локальной сети могут присутствовать сегменты как FE, так и GE, возможны переполнения буферов в переключателях и потери кадров. Перекладывание подавления перегрузки на уровень L4 в данном случае особенно накладно. Для решения проблемы перегрузки одна из сторон посылает служебный кадр, сообщающий о том, что другая сторона на некоторое время должна прервать передачу. В поле тип такого кадра заносится код 0x8808, а первые два байта поля данных являются управляющими, последующие октеты могут содержать параметры команды. Для управления используются кадры типа PAUSE, в качестве параметра может быть указано длительность паузы в единицах времени передачи кадра минимальной длины. Для GE такая единица равна 512 нсек. Максимальная длительность паузы равна 33,6 мсек. Хотя использование концентраторов не запрещено, оно крайне нежелательно, так как приводит к понижению эффективности использования сети.

Процесс перехода пользователей с одного стандарта Ethernet на другой определяется в заметной мере стоимостями соответствующих интерфейсов. Исторически эту миграцию для интерфейсов персональных машин можно проследить на рис. 4.1.1.2.6 (по вертикальной оси отложена доля соответствующих интерфейсных карт в %). К 2007 году на плато вышли интерфейсные карты GE и начали свое восхождение карты 10GE (пока для серверов). Переход с FE на GE дает выигрыш в скорости обмена на 341% (результат измерений Deploying Gigabit Ethernet on the desktop), при работе с базами данных аналогичный выигрыш в скорости составляет 42%.

Рис. 4.1.1.2.6. Темп перехода пользователей с одного стандарта Ethernet на другой

Соединительные кабели для GE

Рис. 4.1.1.2.6а. Длины сетевых сегментов для разных типов сетевой среды (ipj18.1-2)

Новые Ethernet протоколы 1000BASE-T и 10GBASE-T требуют применения скрученных пар существенно более высокого качества (с большей полосой пропускания, с низкими уровнями NEXT и FEXT). Передача в этом случае производится по четырем скрученным парам одновременно. (Смотри ieee802.3/10GBT.) Предполагается, что эта технология станет стандартной в первой половине 2006 года и станет частью спецификации IEEE 803.3ae. Требования к кабелю определяются документом ISO/IEC-11801:2002 для классов D или выше. Характеристики соответствующих кабелей смотри в разделе "Кабельные каналы связи". Анализ распределения используемых длин показывает, наиболее часто используются кабели длиной 40м, а с вероятностью более 90% длина кабеля не превышает 80м. Кабели классов D-F имеют полосу пропускания 250-625 МГц.

Рис. 4.1.1.2.6б. Блок схема сетевой карты для работы с GE и 10GE

Из рисунка видно, что цифровая обработка сигналов стала основой работы такого устройства. Для кабелей класса F (категория 7) максимальная длина составляет 100м, для класса Е (категория 6) от 55 до 100м, а для класса D (категория 5е) - 20-60м. При этом ожидается уровень BER не хуже 10^-12. Скрученные пары предлагаются в качестве дешевого решения, при больших длинах оптическое волокно остается вне конкуренции. Ниже в таблице приводится сравнение режимов работы приемо-передатчиков в 1000BASE-T и 10GBASE-T.

Рис. 4.1.1.2.6в. Длины 10GE-сегментов для разных типов сетевой среды (ipj18.1-2)

При построении высокопроизводительных серверов для скоростей обмена 1-10Гбит/c и более возможно встраивание в него многоканального переключателя. Для этой цели может быть применен контроллер Intel 82598 (10GE; см. Intel). Такое решение позволит существенно удешевить систему. При этом отдельный вход/выход переключателя может обслуживаться отдельным процессором или отдельной виртуальной машиной. Так как межпроцессорный обмен происходит 32- или даже 64-битными кодами, схема существенно упрощается. Смотри GE-FC

Для решения проблемы мониторирования трафика рекомендуется обратиться к статье Net Optics Tap Campaigns.

Схема мониторинга трафика в сетях с быстродействием 10/100/1000 Мбит/с

Для получения дополнительной информации рекомендую обратиться к статье Increased Productivity with Gigabit to the Desktop.

Хотя Ethernet на 1 Гбит/с и не использовал все свои возможности, реализован уже 10Гбитный Ethernet (IEEE 802.3ae, 10GBase-LW или 10GBase-ER). Этот стандарт утвержден в июне 2002 года и в случае использования для построения региональных каналов соответствует спецификациям OC-192c/SDH VC-4-46c (WAN). Опробован канал длиной 200 км с 10 сегментами. Существует серийное сетевое оборудование обеспечивающее надежную передачу на скорости 10Гбит/с при длине одномодового кабеля 10 км ( l=1310 nm). Эти данные взяты из журнала "LANline" (www.lanline.de) N7, Juli 2002. При работе с оптическими волокнами могут применяться лазеры с вертикальными резонаторами и поверхностным излучением VCSEL (Vertical Cavity Surface Emitting Laser). В случае мультимодовых вариантов используются волокна с градиентом коэффициента преломления. В протоколе 10Гбит/c Ethernet предусмотрен интерфейс chip-to-chip (802.3ae-XAUI - буквы ае означают здесь Ethernet Alliance - www.10gea.org). Такие каналы могут использоваться и в LAN для соединения переключателей сетевых кластеров. Соединение организуется по схеме точка-точка. Эта технология удобна для использования в фермах ЭВМ. Стандартизованы порты: 10Gbase-LR (до 10 км по одномодовому волокну - для высокопроизводительных магистральных и корпоративных каналов), 10Gbase-ER (до 40 км по одномодовому волокну), 10Gbase-SR (до 28 м по мультимодовому волокну - для соединений переключателей друг с другом), а также 10Gbase-LХ4 (до 300 м по мультимодовому волокну стандарта FDDI - для сетей в пределах одного здания). Обсуждается возможность построения 100Гбит/c Ethernet. В 10Gbase для локальных сетей применяется кодирование 64В/66B (вместо 8В/10B, используемого в обычном гигабитном Ethernet), так как старая схема дает 25% увеличение паразитного трафика. Следует обратить внимание, что такое решение делает непригодными существующие оптоволоконные технологии SDH/SONET. К концу 2002 года технология 10Гбит-Ethernet вторглась в область региональных (MAN; смотри форум Metro-Ethernet и EFM Task Force) и даже межрегиональных (WAN) сетей, тесня SDH, Fibre Channel, OC-192, PCI Express и InfiniBand. Этот стандарт удобен для реализации серверов на базе многоядерных базовых процессорных плат. Для Fiber Channel предельное быстродействие в 1 Гбит/c (1988) несколько раз повышалось и в конце концов (осень 2011г) достигло 16 Гбит/c. Компания CISCO поддерживает версию 16 Гбит/с FCoE (Fiber Channel over Ethernet). Планируется разработка варианта на 32 Гбит/c, а в перспективе (к 2024 г) и 512 Гбит/c.

Новые 10GE интерфейсные платы обеспечивают следующие сервисы:

• MSI-X - распределение сетевых прерываний между несколькими ЦПУ и ядрами, что повышает эффективность машины и ускоряет обработку прерываний.
• Несколько Tx/Rx очередей, организованных на аппаратном уровне, что позволяет обрабатывать трафик в параллель.
• Распараллеливание обработки пакетов разными ЦПУ (Linux) с учетом IP-адресов и ТСР-портов.
• Обеспечение малых задержек отклика. Система позволяет работать одновременно с разными ОС.

Таблица 4.1.1.2.4a. Стандарты 10GE-каналов и их реализации (О стандарте 10GE).

Как видно из таблицы, сегодня 10GE допускает применение и скрученных пар (см. таблицу ниже TIA-942 Data Center Networking Applications: 10 Gigabit Ethernet Over Twisted-pair Copper). Таким образом, в пределах одной, даже очень большой комнаты 10GE-сеть может быть реализована на скрученных парах.

В версии 10Gbase-X4 используется кодирование 8В/10B. Там формируется 4 потока по 3,125Гбит/с, которые передаются по одному волокну (1310нм) с привлечением техники мультиплексирования длин волн (WWDM). В случае 10Gbase-W на уровне МАС вводится большая минимальная длина IPG. Смотри статью "О стандарте 10GE".

Рис. 4.1.1.2.7. Схема уровней для 10Gbase Ethernet

Переход на технологию 10GE открывает новые возможности, например, использование распределенной, совместно используемой памяти SAN (Storage-Area Network). Возможно эффективное совмещение возможностей 10GE и технологии Fibre Channel (FC). Смотри рис. 4.1.1.2.8. (New Trends Make 10 Gigabit Ethernet the Data-Center Performance Choice.

Рис. 4.1.1.2.8. Применение 10GE в среде SAN (совмещение с FC; GbE=GE)

В перспективе можно ожидать совмещения трафика LAN и SAN (см. рис. 4.1.1.2.9. FCoE - Fibre Channel over Ethernet).

Рис. 4.1.1.2.9. Применение 10GE в среде SAN (совмещение с FC)

Рис. 4.1.1.2.9a. Формат пакета Fibre Channel, передаваемого по сети Ethernet

FC сегодня может обеспечить скорость передачи 8-18Гбит/с. О практической реализации FCoE можно прочесть в fcoe.com, а также в Wikipedia. Код FCoE=0x8906.

Таблица 4.1.1.2.5. Классификация категорий оптических волокон для сетевых приложений (данные взяты из журнала "LAN line Special" за июль-август 2002 года; www.lanline.de). Согласно принятым сокращениям буквы в конце обозначения канала (например, 10Gbase-LX) характеризуют оптическое волокно [E - Extended (для WAN или MAN, длина волны 1550нм), L - Long (для расстояний <10км при длине волны 1310нм, возможен вариант с многомодовым волокном длиной до 300м и привлечением техники WWDM) и S - Short (для расстояний менее 35 м при длине волны 850нм; для волокон с 160 МГц*км длина <28м, а для 200МГц*км < 35м)] и тип кодирования (R, W или X).

1. Представлены значения для волокон с диаметрами 62.5/125 и 50/125 m(MMF). Там, где значения отличаются, в скобках дается величина для 50 мкм.
2. Приложение в настоящее время промышленностью не поддерживается
3. Приложение в настоящее время не поддерживается разрабатывавшей его группой
4. Приложение в стадии разработки
5. Приложение с ограниченной полосой пропускания для указанных длин канала. Использование для каналов с более высокими требованиями в случае применения компонентов с меньшим ослаблением, не рекомендуется.
6. Длина канала может быть ограничена для волокон с диаметром 50 мкм.
7. Длина канала для одномодового волокна может быть больше, но это находится вне пределов регламентаций стандарта.

Таблица 4.1.1.2.6. Максимальные длины каналов с мультимодовыми волокнами

1. Максимальное ослабление на км (850/130нм): 3.5/1.5 дБ/км; минимальная полоса пропускания для длин волн (850/130нм): 500МГцкм
2. Максимальное ослабление на км (850/130нм): 3.5/1.5 дБ/км; минимальная полоса пропускания для длин волн (850/130нм): 200МГцкм/500МГцкм
3. Эти приложения ограничены по полосе. Использование компонентов с меньшим поглощением для получения каналов с улучшенными параметрами, не рекомендуется.

Всякая, даже гигантская сеть была когда-то маленькой. Обычно сеть начинается с одного сегмента типа 1, 3 или 4 (рис. 4.1.1.2.1). Когда ресурсы одного сегмента или концентратора (повторители для скрученных пар) исчерпаны, добавляется повторитель. Так продолжается до тех пор, пока ресурсы удлинения сегментов и каналы концентраторов закончатся и будет достигнуто предельное число повторителей в сети (4 для 10МГц-ного Ethernet). Если при построении сети длина кабельных сегментов и их качество не контролировалось, возможен и худший сценарий - резкое увеличение числа столкновений или вообще самопроизвольное отключение от сети некоторых ЭВМ. Когда это произошло, администратор сети должен понять, что время дешевого развития сети закончилось - надо думать о приобретении мостов, сетевых переключателей, маршрутизаторов, а возможно и диагностического оборудования. Применение этих устройств может решить и проблему загрузки некоторых сегментов, ведь в пределах одного логического сегмента потоки, создаваемые каждым сервером или обычной ЭВМ, суммируются. Не исключено, что именно в этот момент сетевой администратор заметит, что топология сети неудачна и ее нужно изменить. Чтобы этого не произошло, рекомендуется с самого начала тщательно документировать все элементы (кабельные сегменты, интерфейсы, повторители и пр.). Хорошо, если уже на первом этапе вы хорошо представляете конечную цель и те возможности, которыми располагаете. Бухгалтерская сеть и сеть, ориентированная на выход в Интернет, будут иметь разные структуры. Прокладывая кабели, рекомендуется учитывать, что положение ЭВМ время от времени меняется, и это не должно приводить к изменению длины сегмента или к появлению дополнительных “сросток”. Следует также избегать применения в пределах сегмента кабелей разного типа и разных производителей. Если сеть уже создана, научитесь измерять информационные потоки в сегментах и внешние потоки (если ваша сеть соединена с другими сетями, например с Интернет), это позволит осмысленно намечать пути дальнейшей эволюции сети. Если возможности позволяют, избегайте использования дешевых сетевых интерфейсов, их параметры часто не отвечают требованиям стандарта. Сетевая архитектура требует немалых знаний и это дело лучше поручить профессионалам.

Когда потоки данных в сети достигают уровня, при котором использование мостов и сетевых переключателей уже недостаточно, можно подумать о внедрении маршрутизаторов или быстрого Ethernet. Эти субсети будут играть роль магистралей, по которым идет основной поток данных, ответвляясь в нужных местах в субсети, построенные по традиционной технологии.

Особую проблему составляют переходы 100 Мбит/с ®10 Мбит/с (рис. 4.1.1.2.10). Дело в том, что на MAC-уровне нет механизмов понижения скорости передачи для согласования возможностей отправителя и приемника. Такие возможности существуют только на IP-уровне (ICMP-congestion, опция quench). Если функцию шлюза исполняет, например, переключатель, то исключить переполнение его буфера невозможно. Такое переполнение неизбежно приведет к потере пакетов, повторным передачам и, как следствие, к потере эффективной пропускной способности канала. Решить проблему может применение в качестве шлюза маршрутизатора (здесь работает ICMP-механизм ”обратного давления”).

Рис. 4.1.1.2.10 Схема переходов 10-100-10 Мбит/с

Если любые 2 или более каналов справа попытаются начать работу с одним из каналов слева, или наоборот, потери пакетов неизбежны. Лучше, когда N<10. Проблема исчезает, когда SW работают на IP-уровне.

При требованиях повышенного быстродействия может быть успешно применен GE или 10GE. Это особенно полезно при создании информационных центров коллективного пользования или виртуальных информационных центров, в частности с привлечением технологии SAN, когда желательно иметь минимальные задержки. Задержки при работе с переключателем 10GE cut-through представлены в таблице ниже (Ethernet: The High Bandwidth Low-Latency Data Center Switching Fabric, там же обсуждаются различные практические решения):

На очереди внедрение более скоростных GE-технологий WDM (см. A comparison of next-generation 40-Gbps technologies). Речь идет об адаптивных полностью оптических сетsях. Такие сети использует минимальное число преобразований сигналов оптический-электрический-оптический. Пример такой сети показан на рис. 4.1.1.2.11.

Рис. 4.1.1.2.11. Адаптивная исключительно оптическая сеть

Данная сеть использует реконфигурируемые оптические мультиплексоры типа Add/Drop (ROADM - Reconfigurable Optical Add-Drop Multiplexer), которые могут работать на скоростях 10-100Гбит/c. Смотри рис. 4.1.1.2.12.

Рис. 4.1.1.2.12. Упрощение сети с помощью eDCO и ROADM

eDCO electronic Dynamically Compensating 10G Optics. Эта технология позволяет обходиться без компенсации дисперсии для расстояний до 2000 км. ROADM - Reconfigurable Optical Add/Drop Multiplexeres (Nortel).

Для того чтобы быть эффективной и конкурентоспособной (по сравнению с 4*10GE) новая технология должна отвечать следующим требованиям:

1. Иметь сходные эксплуатационные характеристики по отношению к существующей версии (10GE) с учетом хроматической дисперсии (CD), поляризационной модовой дисперсии (PMD) и оптического отношения сигнал-шум (OSNR).
2. Быть масштабируемой, т.е. поддерживать 50 ГГц интервалы
3. Обеспечивать совместимость с ROADM
4. Быть дешевле чем 4×10GE

Переход с 10 на 40GE при неизменности интенсивности светового потока число фотонов на входе приемника из расчета на один бит упадет в 4 раза, что понизит OSNR на 6 ДБ. При этом CD ухудшится в 16 раз, а PMD ухудшится в 4 раза. Для повышения надежности система будет оснащена устройствами коррекции ошибок FEC.

Большинство современных систем 10GE используют для передачи модуляцию NRZ (Non-Return-to-Zero, см. Представление электрических сигналов в цифровой форме. Для 40GE предполагается использовать модуляцию DPSK (Differential Phase Shift Keying) и DQPSK (Differential Quadrature Phase Shift Keying), за один такт передается два бита для каждого типа поляризации света. Таким образом 10Гбод соответствуют скорости передачи 40 Гбит/c.

Ниже представлен прогноз (опубликован в августе 2012 года) на число 40GE-портов в мире (см. 40 GbE technology: Hurry up and wait, by David Strom).

На рис 4.1.1.2.12А показана выкладка каналов Ethernet IEEE 802.3 , следующих разным стандартам (Source: Cisco Systems Inc.)

Рис. 4.1.1.2.12А. Раскладка каналов Ethernet IEEE 802.3

То, что протокол Ethernet рано или поздно будет модифицирован, достаточно понятно. Похоже, что время пришло... В связи с тем, что Ethernet стал использоваться для построения информационных центров, использующих технологию SAN, возникла потребность разработки специальных интерфейсов NIC (Network Interface Card) с повышенной функциональностью (смотри (Ethernet: The High Bandwidth Low-Latency Data Center Switching Fabric). Такие интерфейсы берут на себя некоторые функции, которые сейчас реализуются программно ЦПУ машины. Эти устройства обеспечивают работу сокетов, очередей и некоторые функции стека протоколов TCP/IP, что особенно важно при работе со скоростными каналами связи. Функциональность сетевых интерфейсов модифицированного Ethernet продемонстрирована на рис. 4.1.1.2.13.

Рис. 4.1.1.2.13. Стек протоколов NIC продвинутого Ethernet
SDP - Sockets Direct Protocol
MPI - Message Passing Interface
uDAPL - User-level Direct Access transport API

Новые интерфейсы часто называются TOE (TCP Offload Engine), так как берут на себя практически все функции ТСР. Эти интерфейсы обеспечивают также удаленный прямой доступ к памяти RDMA. Это делается с помощью протокола iWARP (Internet wide area RDMA protocol). Взаимодействие различных компонентов интерфейса при реализации iWARP показано на рис. 4.1.1.2.14.

Рис. 4.1.1.2.14. Сокращение загрузки ЦПУ с помощью iWARP NIC

Процесс формирования стека протоколов продвинутого интерфейса Ethernet еще не завершился. Унифицированная схема взаимодействия различных интерфейсов показана на рис. 4.1.1.2.15.

Рис. 4.1.1.2.15. Унифицированная структура интерфейсов (NIC) для обновленного Ethernet

На уровне MAN и WAN часто приходится соединять фрагменты сетей 10GE WAN PHY и ОС-192с/STM-64. Оба эти интерфейса поддерживают передачу на скорости 9.6Гбит/c, могут работать с кадрами SONET и SDH. Интерфейсы SONET/SDH маршрутизаторов работают с пакетами поверх SDH (протокол POS - Packet over SDH), как это описано в RFC-1619, -1662 и -2615. Смотри 10 Gigabit Ethernet WAN PHY.

Интерфейсы POS удаляют заголовки Ethernet и добавляют свои заголовки канального уровня, например PPP или HDLC. При этом используется ITU X.86 и T1X1 для OC-1 ÷ OC-48 и 10GE WAN PHY для ОС-192

Так как здесь отпадает необходимость реинкапсулировать Ethernet в РРР, 10GB WAN PHY поддерживает IP, а также более эффективно и дешево осуществляет прямую передачу и коммутацию Ethernet-кадров (по сравнению с ОС-192 POS. Схемы заголовков для ОС-192 POS и 10GE WAN показаны на рисунках 4.1.1.2.16 и 4.1.1.2.17, соответственно.

Рис. 4.1.1.2.16. Структура заголовков в OC192 POS

Рис. 4.1.1.2.17. Структура заголовков для WAN 10GE

Существует заблуждение, что если вам нужна хорошая диагностика и гибкая система управления, то вам нужен интерфейс ОС-192. В действительности 10GE WAN PHY предоставляет сопоставимые, а иногда и лучшие возможности.

Одной из проблем 10GE WAN PHY является отсутствие поддержки автоматической защиты коммутации APS (Automatic Protection Swithing) для SONET. В мире POS поддержка APS является крайне привлекательной, так как этому не существует аналога в мире IP. Но следует иметь в виду, что APS для POS существенно отличается от APS, поддерживаемого в SONET. Существуют определенные отличия рассматриваемых систем и в области агрегации каналов LAG (Link Agregation). В отличие от APS, LAG работает на уровне L2. Причем основной и резервный каналы необязательно используют общую физическую среду L1. Один из каналов может использовать 10GE LAN PHY на темном волокне, а резервный - 10GE WAN PHY поверх SONET или DWDM. В этом заключается основное преимущество 10GE перед APS, работающей поверх SONET.

Другим преимуществом служит применение агрегации каналов (LAG) для защиты коммутации, где 10GE может обеспечить работу многоканальных систем. LAG может балансировать нагрузку каналов при их числе вплоть до 16.

Линейная APS имеет преимущество 50-миллисекундного времени переключения против 100 мсек для LAG (выявление отказавшего канала и переключение). Варианты реализации многоканальных систем показаны на рисунках 4.1.1.2.18 и 4.1.1.2.19.

Рис. 4.1.1.2.18. Интерфейс маршрутизатора для пересылки пакетов с поддержкой APS

Рис. 4.1.1.2.19. Агрегация каналов 10GE для трех типов среды

В связи с широким внедрением оборудования 10GE на очередь встал вопрос оптимизации работы сетевых интерфейсов серверов и обеспечения требуемого уровня QoS. Optimizing Quality of Service for VMware vSphere 4 Networking with Intel Ethernet 10 Gigabit Server Adapters. Сетевые интерфейсы 10GE могут иметь один или два порта (PCI Express) и использовать буферы с объемом 8192 - 655365 байт. Вариации пропускной способности таких интерфейсов для разных конфигураций, и различного числа процессоров на плате показаны на рис. 4.1.1.2.19а.

Рис. 4.1.1.2.19а. Сравнение пропускной способности одно- и двухпортовых 10GE-интерфейсов при работа с многоядерными серверами

Один процессор может воспринимать потоки 4-6 Гбит/сек. Современные интерфейсы Intel (X520-2) могут формировать несколько входных очередей и обеспечивать аппаратную классификацию потоков. Совокупность предлагаемых решений позволяет обслуживать потоки до 9,5 Гбит/сек. Из рис. выше видно, что двухпортовый вариант с точки зрения пропускной способности предпочтительнее однопортового. В случае двухпортового варианта результирующая полоса составляет 12 Гбит/сек. 8 физических соединений (PCI) на базовой карте могут обеспечить не более *4 увеличения полосы пропускания.

Испытания показали, что при использовании двухпортовой схемы адаптера можно достичь двунаправленной пропускной способности на уровне 25 Гбит/сек. Многоядерность позволяет получить для 10 Гбит/c нужный уровень QoS.

Фирма по розливу напитков Coca Cola (филиалы в 11 штатах США, 18 млн. клиентов), реализовав стандарт 10GE смогла перейти со схемы с 80 серверами на схему с 4 серверами. В проекте приеменены переключатели Cisco Nexus c FC поверх Ethernet. Серверы были подключены с помощью переключателей Cisco Catalyst 4900. Это позволило существенно сократить издержки (энергопотребление и оплата каналов).

Появление дешевых интерфейсов и доступных маршрутизаторов позволяет строить информационные центры на основе 10GE Ethernet. На рисунке ниже представлены два решения. Правая схема позволяет существенно сэкономить на кабелях и оборудовании.

Рис. 4.1.1.2.19б. Архитектура информационных центров на основе технологии 10GE

Сети 100GE

Сети 100GE также как и 40GE базируются на технологии 10GE. Создание скоростных каналов осуществляется мультиплексированием потоков 10GE. Это может осуществляться согласно схеме, показанной на рис. 4.1.1.2.20.

Рис. 4.1.1.2.20. Мультиплексирование потоков 10GE-40GE.

Рис. 4.1.1.2.20a. Длины сегментов в сетях 40-100GE (ipj18.1-2)
Обозначения. Медная пара: K = Backplane; C = Набор кабелей
Оптика: S = Малые расстояния (100 m); L - Дальние расстояния(10 км);
E = крайне большие расстояния (40 км)
Схема кодирования: R = 64B/66B блочное кодирование
Последняя цифра: Число линий (медных проводов или длин волн в волокне)

Аналогично можно мультиплексировать два и более потоков 40GE (см. рис. 4.1.1.2.21).

Рис. 4.1.1.2.21. Мультиплексирование потоков 2X40GE.

Массовое внедрение IPTV, пересылка цифровых фотографий высокого разрешения и video-on-demand, а также cloud computing потребуют в самом ближайшем будущем дальнейшего увеличения полосы пропускания сетей.

Пример схемы передачи больших потоков данных с опорной сетью 100GE показан на рис. 4.1.1.2.22.

Рис. 4.1.1.2.22. Опорная сеть на базе 100GE

Рис. 4.1.1.2.22a. Многоуровневая архитектура сетей 100GE

Архитектура 100GE базируется на технологии 10GE (IEEE P802.3ba). Эта техника на физическом уровне совместима с 40GE и 100GE. Физический субуровень кодирования использует схему 64B/66В, где каждое 66-битное слово переадресуется карусельным образом в индивидуальные потоки (lanes, см. рис. 4.1.1.2.23). Тактовая частота синхронизации для 40GE составляет 625 МГц, а для 100GE - 1,5625 ГГц.

Рис. 4.1.1.2.23. Потоки слов в сети 100GE (100GBASE-R)

Если стандарт 40Gbase-SR4 предполагает передачу по 4 волокнам, где как для TX так и для RX обеспечивается скорость 10 Гбит/сек, то 100GE реализует тот же принцип и использует 10 волокон, где производится передача в обоих направлениях нв 10 длинах волн со скоростью 10 Гбит/сек.

100GE Ethernet использует 20 PCS потоков (lanes на рис.), поддерживающих полосу интерфейсов с числом каналов (длин волн) 1, 2, 4, 5, 10 и 20. Паждый поток способен передавать 10Гбит/сек. Для сравнения 40GE имеет 4 PCS потока с числом каналов 1, 2 и 4. Архитектура 100 гигабитного Ethernet показана на рис. 4.1.1.2.24.

Рис. 4.1.1.2.24. Архитектура 100 гигабитного Ethernet (100GBASE-R)

Другие интерфейсы, например 100GBASE-CR10, имеют несколько иную архитектуру. PPI - параллельный физический интерфейс; PMD - Physical Medium Dependent Sublayer (подуровень, зависящий от физической среды); CAUI – 100 гигабитный модуль интефеса подключения (gigabit per second Attachment Unit Interface); CGMII – 100 гигабитный интерфейс, независящий от физической среды (gigabit per second Media Independent Interface)

В таблице 1 приведены данные о возможностях 40GE для разных сред, а в таблице 2 представлены аналогичные данные для 100GE. Из таблиц видно, что возможно применение как медных кабелей, так и оптических волокон. В стандартах 40GE и 100GE предусмотрен подуровень коррекции ошибок FEC. Для представления сигналов в волокне используется модуляция QPSK с двойной поляризацией. Применение поляризации позволяет существенно расширить полосу пропускания волокна, так как на одной длине волны можно осуществлять более одного информационного потока.

Рис. 4.1.1.2.24A. Модуляция QPSK с двойной поляризацией

Таблица 1. Физическая среда 40GE

Среда	Расстояние	Форм-фактор	Среда передачи
Шина (Backplane)
40Gbase-KR4	По крайней мере 1м	Полосковая линия на печатной плате с импедансом 100 Ом при длине <1м	4х Гб/сек
Медные провода
40Gbase-CR4	По крайней мере 7м	Пассивный набор кабелей QSFP	4х10Гбит/сек, 8 дифференциальных пар аксиальных кабелей
Волокно
40Gbase-SR4	По крайней мере 100м	Оптический модуль QSFP c LC-разъемами Оптический модуль CFP с LC или SC-разъемами Активная оптическая волоконная сборка QSFP	4х10Гбит/сек на 8 параллельных ленточных волокон ОМ3 (850 нм)
40Gbase-LR4	10км	Разъемы

Таблица 2. Физическая среда 100GE

Среда	Расстояние	Форм-фактор	Среда передачи
Медные провода
100Gbase-SR10	По крайней мере 7 метров кабеля	12SFP пассивная кабельная сборка CXP	10х10Гбит/сек, 20 дифференциальных пар аксиальных кабелей
Волокно
100GBase-SR10	По крайней мере 100м	12SFP Активный опто-волоконный ансамбль CXP Оптический модуль CXP с разъемами MTP или MPO Оптический модуль CFP с разъемами MTP или MPO	10x10 Гбит/сек на 20 параллельных ленточных волокон OM3, 850 нм
100Gbase-LR4	По крайней мере 10км	Оптический модуль CFP с разъемами LS или SC	4X25 Гбит/сек DWDM на SMF паре, 1295-1310 нм
ER4	40км	Разъемы	нм

Смотри http://standards.ieee.org/getieee802/ и http://www.xenpak.org/, а также Optimizing Quality of Service for VMware vSphere 4 Networking with Intel Ethernet 10 Gigabit Server Adapters, а также Solving the 100Gbps transmission challenge.

• 40 and 100 Gigabit Ethernet Overview
• 100GE and 40GE PCS and MLD Proposal
• 40GE Interface
• 40GE and 100GE Transport over OTN
• 40 Gigabit Ethernet Answers
• An overview of Next-Generation 100 and 40 Gigabit Ethernet Technologies
• 100 Gigabit Ethernet – undamentals, Trends and Measurement Requirements
• 100G Deployment Considerations

Рис. 4.1.1.2.25. Эволюция быстродействия Ethernet c 1980-2015гг (см. "What's So Special About 512?", Geoff Huston, APNIC, The Internet Protocol Journal, V17, N2, стр. 2).

Рис. 4.1.1.2.25a. Быстродействие Ethernet в 2015 году (центральная Европа)

Компания Arista подключается к гонке фирм Juniper и Cisco по созданию оборудования Ethernet с пропускной способностью 400Гб/c (см. "Arista joins Juniper, Cisco in 400G Ethernet race", Michael Cooney, Oct 25, 2018). При создании данного устройства использована технология Broadcom 12.8Tbps Tomahawk 3. Коммутаторы Arista серии 7060X4 имеют 32 портов на 400Гб/c. Каждый из 32 портов может быть разделен на 4 100 Гбит/c порта, превращая устройство в 128-канальное. Ожидается, что к 2021 году быстродействие 400Гбит/c станет нормой. Для пользователей имеется возможность использования для подключения техники OSFP (0ctal small-format pluggable) Коммутатор рассчитан на работу с оптоволоконными каналами. Устройства 7060PX4-32 будут доступны в 4-ом квартале, а 7060DX4-32 - в первом квартале 2019 года при цене 1800$ за порт 400G. Разработки этого класса оборудования планирует также компания Huawei. Компания Juniper также анонсирует переход на скорости 400Гб/c.

Разработана спецификация Ethernet с быстродействием 800 гбит/c (GbE) (см. "Speed race: Just as 400Gb Ethernet gear rolls out, an 800GbE spec is revealed", Michael Cooney, Network World, Apr 19, 2020). Эта разработка является развитием технологии 400Гб/сек.