И прочего, среды передачи данных и подключенных к ней серверов. Обычно используется достаточно крупными компаниями, имеющими развитую IT инфраструктуру, для надежного хранения данных и скоростного доступа к ним.
Упрощенно, СХД — это система, позволяющая раздавать серверам надежные быстрые диски изменяемой емкости с разных устройств хранения данных.
Немного теории.
Сервер к хранилищу данных можно подключить несколькими способами.
Первый и самый простой — DAS, Direct Attached Storage (прямое подключение), без затей ставим диски в сервер, или массив в адаптер сервера — и получаем много гигабайт дискового пространства со сравнительно быстрым доступом, и при использовании RAID-массива — достаточную надежность, хотя копья на тему надежности ломают уже давно.
Однако такое использование дискового пространства не оптимально — на одном сервере место кончается, на другом его еще много. Решение этой проблемы — NAS, Network Attached Storage (хранилище, подключенное по сети). Однако при всех преимуществах этого решения — гибкости и централизованного управления — есть один существенный недостаток — скорость доступа, еще не во всех организациях внедрена сеть 10 гигабит. И мы подходим к сети хранения данных.
Главное отличие SAN от NAS (помимо порядка букв в аббревиатурах) — это то, каким образом видятся подключаемые ресурсы на сервере. Если в NAS ресурсы подключаются протоколам NFS или SMB , в SAN мы получаем подключение к диску, с которым можем работать на уровне операций блочного ввода-вывода, что гораздо быстрее сетевого подключения (плюс контроллер массива с большим кэшем добавляет скорости на многих операциях).
Используя SAN, мы сочетаем преимущества DAS — скорость и простоту, и NAS — гибкость и управляемость. Плюс получаем возможность масштабирования систем хранения до тех пор, пока хватает денег, параллельно убивая одним выстрелом еще несколько зайцев, которых сразу не видно:
* снимаем ограничения на дальность подключения SCSI -устройств, которые обычно ограничены проводом в 12 метров,
* уменьшаем время резервного копирования,
* можем грузиться с SAN,
* в случае отказа от NAS разгружаем сеть,
* получаем большую скорость ввода-вывода за счет оптимизации на стороне системы хранения,
* получаем возможность подключать несколько серверов к одному ресурсу, это нам дает следующих двух зайцев:
- на полную используем возможности VMWare — например VMotion (миграцию виртуальной машины между физическими) и иже с ними,
- можем строить отказоустойчивые кластеры и организовывать территориально распределенные сети.
Что это дает?
Помимо освоения бюджета оптимизации системы хранения данных, мы получаем, вдобавок к тому что я написал выше:
* увеличение производительности, балансировку нагрузки и высокую доступность систем хранения за счет нескольких путей доступа к массивам;
* экономию на дисках за счет оптимизации расположения информации;
* ускоренное восстановление после сбоев — можно создать временные ресурсы, развернуть на них backup и подключить к ним сервера, а самим без спешки восстанавливать информацию, или перекинуть ресурсы на другие сервера и спокойно разбираться с умершим железом;
* уменьшение время резервного копирования — благодаря высокой скорости передачи можно бэкапиться на ленточную библиотеку быстрее, или вообще сделать snapshot (мгновенный снимок) с файловой системы и спокойно архивировать его;
* дисковое место по требованию — когда нам нужно — всегда можно добавить пару полок в систему хранения данных.
* уменьшаем стоимость хранения мегабайта информации — естественно, есть определенный порог, с которого эти системы рентабельны.
* надежное место для хранения mission critical и business critical данных (без которых организация не может существовать и нормально работать).
* отдельно хочу упомянуть VMWare — полностью все фишки вроде миграции виртуальных машин с сервера на сервер и прочих вкусностей доступны только на SAN.
Из чего это состоит?
Как я писал выше — СХД состоит из устройств хранения, среды передачи и подключенных серверов. Рассмотрим по порядку:
Системы хранения данных обычно состоят из жестких дисков и контроллеров, в уважающей себя системе как правило всего по 2 — по 2 контроллера, по 2 пути к каждому диску, по 2 интерфейса, по 2 блока питания, по 2 администратора. Из наиболее уважаемых производителей систем следует упомянуть HP, IBM, EMC и Hitachi. Тут процитирую одного представителя EMC на семинаре — «Компания HP делает отличные принтеры. Вот пусть она их и делает!» Подозреваю, что в HP тоже очень любят EMC. Конкуренция между производителями нешуточная, впрочем, как и везде. Последствия конкуренции — иногда вменяемые цены за мегабайт системы хранения и проблемы с совместимостью и поддержкой стандартов конкурентов, особенно у старого оборудования.
Среда передачи данных .
Обычно SAN строят на оптике, это дает на текущий момент скорость в 4, местами в 8 гигабит на канал. При построении раньше использовались специализированные хабы, сейчас больше свитчи, в основном от Qlogic, Brocade, McData и Cisco (последние два на площадках не видел ни разу). Кабели используются традиционные для оптических сетей — одномодовые и многомодовые , одномодовые более дальнобойные.
Внутри используется FCP — Fibre Channel Protocol , транспортный протокол. Как правило внутри него бегает классический SCSI, а FCP обеспечивает адресацию и доставку. Есть вариант с подключением по обычной сети и iSCSI , но он обычно использует (и сильно грузит) локальную, а не выделенную под передачу данных сеть, и требует адаптеров с поддержкой iSCSI, ну и скорость помедленнее, чем по оптике.
Есть еще умное слово топология, которое встречается во всех учебниках по SAN. Топологий несколько, простейший вариант — точка-точка (point to point), соединяем между собой 2 системы. Это не DAS, а сферический конь в вакууме простейший вариант SAN. Дальше идет управляемая петля (FC-AL), она работает по принципу «передай дальше» — передатчик каждого устройства соединен с приемником последующего, устройства замкнуты в кольцо. Длинные цепочки имеют свойство долго инициализироваться.
Ну и заключительный вариант — коммутируемая структура (Fabric), она создается с помощью свитчей. Структура подключений строится в зависимости от количества подключаемых портов, как и при построении локальной сети. Основной принцип построения — все пути и связи дублируются. Это значит, что до каждого устройства в сети есть минимум 2 разных пути. Здесь тоже употребимо слово топология , в смысле организации схемы подключений устройств и соединения свитчей. При этом как правило свитчи настраиваются так, что сервера не видят ничего, кроме предназначенных им ресурсов. Это достигается за счет создания виртуальных сетей и называется зонированием, ближайшая аналогия — VLAN . Каждому устройству в сети присваивается аналог MAC -адреса в сети Ethernet, он называется WWN — World Wide Name . Он присваивается каждому интерфейсу и каждому ресурсу (LUN) систем хранения данных. Массивы и свитчи умеют разграничивать доступ по WWN для серверов.
Сервера подключают к СХД через HBA - Host Bus Adapter -ы. По аналогии с сетевыми картами существуют одно-, двух-, четырехпортовые адаптеры. Лучшие "собаководы" рекомендуют ставить по 2 адаптера на сервер, это позволяет как осуществлять балансировку нагрузки, так и обеспечивает надежность.
А дальше на системах хранения нарезаются ресурсы, они же диски (LUN) для каждого сервера и оставляется место в запас, все включается, установщики системы прописывают топологию, ловят глюки в настройке свитчей и доступа, все запускается и все живут долго и счастливо*.
Я специально не касаюсь разных типов портов в оптической сети, кому надо — тот и так знает или прочитает, кому не надо — только голову забивать. Но как обычно, при неверно установленном типе порта ничего работать не будет.
Из опыта.
Обычно при создании SAN заказывают массивы с несколькими типами дисков: FC для скоростных приложений, и SATA или SAS для не очень быстрых. Таким образом получаются 2 дисковые группы с различной стоимостью мегабайта — дорогая и быстрая, и медленная и печальная дешевая. На быструю вешаются обычно все базы данных и прочие приложения с активным и быстрым вводом-выводом, на медленную — файловые ресурсы и все остальное.
Если SAN создается с нуля — имеет смысл строить ее на основе решений от одного производителя. Дело в том, что, несмотря на заявленное соответствие стандартам, существуют подводные грабли проблемы совместимости оборудования, и не факт, что часть оборудования будет работать друг с другом без плясок с бубном и консультаций с производителями. Обычно для утряски таких проблем проще позвать интегратора и дать ему денег, чем общаться с переводящими друг на друга стрелки производителями.
Если SAN создается на базе существующей инфраструктуры — все может быть сложно, особенно если есть старые SCSI массивы и зоопарк старой техники от разных производителей. В этом случае имеет смысл звать на помощь страшного зверя интегратора, который будет распутывать проблемы совместимости и наживать третью виллу на Канарах.
Часто при создании СХД фирмы не заказывают поддержку системы производителем. Обычно это оправдано, если у фирмы есть штат грамотных компетентных админов (которые уже 100 раз назвали меня чайником) и изрядный капитал, позволяющий закупить запасные комплектующие в потребных количествах. Однако компетентных админов обычно переманивают интеграторы (сам видел), а денег на закупку не выделяют, и после сбоев начинается цирк с криками «Всех уволю!» вместо звонка в саппорт и приезда инженера с запасной деталью.
Поддержка обычно сводится к замене умерших дисков и контроллеров, ну и к добавлению в систему полок с дисками и новых серверов. Много хлопот бывает после внезапной профилактики системы силами местных специалистов, особенно после полного останова и разборки-сборки системы (и такое бывает).
Про VMWare. Насколько я знаю (спецы по виртуализации поправьте меня), только у VMWare и Hyper-V есть функционал, позволяющий «на лету» перекидывать виртуальные машины между физическими серверами. И для его реализации требуется, чтобы все сервера, между которыми перемещается виртуальная машина, были подсоединены к одному диску.
Про кластеры. Аналогично случаю с VMWare, известные мне системы построения отказоустойчивых кластеров (Sun Cluster, Veritas Cluster Server) — требуют подключенного ко всем системам хранилища.
Пока писал статью — у меня спросили — в какие RAIDы обычно объединяют диски?
В моей практике обычно делали или по RAID 1+0 на каждую дисковую полку с FC дисками, оставляя 1 запасной диск (Hot Spare) и нарезали из этого куска LUN-ы под задачи, или делали RAID5 из медленных дисков, опять же оставляя 1 диск на замену. Но тут вопрос сложный, и обычно способ организации дисков в массиве выбирается под каждую ситуацию и обосновывается. Та же EMC например идет еще дальше, и у них есть дополнительная настройка массива под приложения, работающие с ним (например под OLTP, OLAP). С остальными вендорами я так глубоко не копал, но догадываюсь, что тонкая настройка есть у каждого.
* до первого серьезного сбоя, после него обычно покупается поддержка у производителя или поставщика системы.
Коммутаторы Ethernet разного класса - от предназначенных для домашних сетей и небольших рабочих групп до оборудования для распределенных сетей крупных компаний – используются в качестве основного «строительного блока» при создании корпоративных сетей передачи данных. Выбор тех или иных продуктов, их функциональности и вариантов построения сетевой инфраструктуры зависит от решаемой задачи и требований к пропускной способности, масштабу, надежности сети, мобильности пользователей, поддержке приложений.
Коммутатор (switch ) - устройство, предназначенное для соединения нескольких узлов компьютерной сети в пределах одного или нескольких ее сегментов.
Чтобы правильно выбрать коммутатор, нужно представлять топологию сети, знать примерное количество пользователей, скорость передачи данных для каждого участка сети, требования к безопасности и многое другое, а также разбираться в специфике работы этого сетевого оборудования.
Коммутаторы различаются числом и типом портов, архитектурой, конструктивным исполнением, функциональностью, надежностью, производительностью и ценой.
Коммутатор объединяет различные сетевые устройства, такие как ПК, серверы, подключенные к сети системы хранения данных, в единый сегмент сети, дает им возможность общаться между собой. Он определяет, какому именно получателю адресованы данные, и посылает их непосредственно адресату. Исключение составляет широковещательный трафик всем узлам сети и трафик устройств, для которых неизвестен исходящий порт коммутатора.
Это повышает производительность и безопасность сети, избавляя остальные сегменты сети от необходимости обрабатывать не предназначенные им данные.
Коммутатор передает информацию только адресату.
switch ) работает на канальном (втором, L 2) уровне модели OSI. В этом случае для соединения нескольких сетей на сетевом уровне (третий уровень OSI, L 3) служат маршрутизаторы (router ).
В памяти коммутатора хранится таблица коммутации, где фиксируются MAC-адреса подключенных к портам устройств, то есть указывается соответствие MAC-адреса узла сети порту коммутатора. При получении данных с одного из портов коммутатор анализирует их и определяет адрес назначения, по таблице выбирает порт, куда их следует передать.
При включении коммутатора таблица пуста, и он работает в режиме обучения: поступающие на любой порт данные передаются на все остальные порты. При этом коммутатор анализирует фреймы (кадры) и, определив MAC-адрес хоста-отправителя, заносит его в таблицу. Впоследствии, если на один из портов коммутатора поступит фрейм, предназначенный для хоста, MAC-адрес которого уже есть в таблице, то этот фрейм будет передан только через порт, указанный в таблице. Если MAC-адрес хоста-получателя не ассоциирован с каким-либо портом коммутатора, то фрейм отправляется на все порты, за исключением порта-источника.
Формирование таблицы коммутации. MAC-адреса сетевых устройств соотносятся с конкретными портами коммутатора.
Как происходит коммутация при формированной таблице? Например, абонент с адресом А отправляет фрейм получателю с адресом D. По таблице коммутатор определяет, что станция с адресом А подключена к порту 1, а станция с адресом D - к порту 4. На основании этих данных он устанавливает виртуальное соединение для передачи сообщения между портами 1 и 4. После передачи виртуальное соединение разрывается.
При всем многообразии конструкции коммутаторов базовая архитектура этих устройств определяется четырьмя компонентами: портами, буферами, внутренней шиной и механизмом продвижения пакетов.
Механизм продвижения пакетов/фреймов может быть следующим. При коммутации с промежуточной буферизацией коммутатор, получая пакет, не передает его дальше, пока не прочтет полностью всю необходимую ему информацию. Он не только определяет адрес получателя, но и проверяет контрольную сумму, т. е. может отсекать дефектные пакеты. Это позволяет изолировать порождающий ошибки сегмент. Таким образом, данный режим ориентирован на надежность, а не на скорость. При сквозной коммутации коммутатор считывает только адрес поступающего пакета. Пакет передается далее вне зависимости от ошибок. Такой метод характеризуется малой задержкой.
Некоторые коммутаторы используют гибридный метод, называемый пороговой или адаптивной коммутацией. В обычных условиях они осуществляют сквозную коммутацию, проверяют контрольные суммы. Если число ошибок достигает заданного порогового значения, то они переходят в режим коммутации с промежуточной буферизацией, а при снижении числа ошибок возвращаются в режим сквозной коммутации.
Один из важных параметров коммутатора - его производительность. Ее определяют три основных показателя: скорость передачи данных между портами, общая пропускная способность (наибольшая скорость, с которой данные передаются адресатам) и задержка (время между получением пакета от отправителя и до передачи его получателю). Другая ключевая характеристика – возможности управления.
Коммутаторы Ethernet принято делить на два основных вида – неуправляемые и управляемые. Неуправляемые коммутаторы не предусматривают изменения конфигурации или каких-либо других настроек. Это простые устройства, готовые к работе сразу после включения. Их достоинства – низкая цена и автономная работа, не требующая вмешательства. Минусы – отсутствие инструментов управления и малая производительность.
Простые неуправляемые коммутаторы получили наибольшее распространение в домашних сетях и на малых предприятиях.
Управляемые коммутаторы – это более продвинутые устройства, которые также работают в автоматическом режиме, но помимо этого имеют ручное управление. Оно позволяет настроить работу коммутатора, например, предоставляет возможность настройки сетевых политик, создания виртуальных сетей и полноценного управления ими. Цена зависит от функциональности коммутатора и его производительности.
Управлять коммутацией можно на канальном (втором) и сетевом (третьем) уровне модели OSI. Устройства именуют, соответственно, управляемыми коммутаторами L2 и L3. Управление может осуществляться через веб-интерфейс, интерфейс командной строки (CLl), Telnet, SSH, RMON, протокол управления сетью (SNMP) и т.п.
Управляемый коммутатор позволяет настраивать полосу пропускания, создавать виртуальные сети (V LAN ) и др.
Стоит обратить внимание на SSH-доступ и протокол SNMP. Веб-интерфейс облегчает первоначальную настройку коммутатора, но практически всегда имеет меньшее количество функций, чем командная строка, поэтому его наличие приветствуется, но не является обязательным. Многие модели поддерживают все популярные типы управления.
К управляемым относят и так называемые смарт-коммутаторы – устройства с ограниченным набором конфигурационных настроек
Неуправляемые, смарт-коммутаторы и полностью управляемые коммутаторы. Смарт-коммутаторы могут предусматривать возможность управления через веб-интерфейс и базовые настройки.
Сложные корпоративные коммутаторы имеют полный набор средств управления, в том числе CLI, SNMP, веб-интерфейс, иногда - дополнительные функции, например, резервное копирование и восстановление конфигураций.
Многие управляемые коммутаторы поддерживают дополнительные функции, например, QoS, агрегирование и/или зеркалирование портов, стекирование. Некоторые коммутаторы можно объединять в кластер, MLAG или создать виртуальный стек.
Стекирование – это возможность объединения нескольких коммутаторов с помощью специальных (или стандартных) кабелей, чтобы получившаяся конструкция работала как единый коммутатор. Обычно стек используется для подключения большого число узлов в локальной сети. Если коммутаторы соединены кольцом, то в случае выхода из строя какого-нибудь коммутатора стек продолжает работать.
Для чего создается такой стек? Во-первых, это защита инвестиций. Если необходимо увеличить число пользователей/устройств в сети, а портов не хватает, то можно добавить коммутатор в стек. Во-вторых, стеком удобнее управлять. С точки зрения систем мониторинга и управления это одно устройство. В-третьих, коммутаторы стека имеют единую адресную таблицу, один IP- и MAC-адрес.
Стекируемый (или стековый) коммутатор имеет специальные порты (интерфейсы) для соединения в стек, часто при этом происходит физическое объединение внутренних шин. Как правило, у стекового соединения скорость передачи данных в разы больше, чем скорость передачи по другим портам коммутатора. А в коммутаторах с неблокирующей архитектурой отсутствует блокировка трафика при обмене между коммутаторами стека.
Стекируемые управляемые коммутаторы можно объединять в одно логическое устройство - стек, увеличив тем самым число портов.
Обычно используются фирменные технологии стекирования. Иногда применяются кабели с оконечными разъемами SFP, GBIC и пр. Как правило, в стек можно объединять до 4, 8, 16 или 32 коммутаторов. Многие современные коммутаторы отказоустойчивы, наряду со стекированием поддерживают все функции L2 и L3, множество специализированных протоколов.
Существуют также технологии «виртуализации» коммутаторов, например, Cisco Virtual Switching System (VSS) и HPE Intelligent Resilient Framework (IRF). Их также можно отнести к технологиям стекирования, но, в отличие от «классического» стекирования (StackWise, FlexStack и пр.), для связи коммутаторов используются Ethernet-порты. Таким образом, коммутаторы могут находиться на относительно большом удалении друг от друга.
Современные архитектуры стека предусматривают резервирование по схеме N-1, поддерживают распределенную коммутацию L2/L3, агрегирование каналов по всему стеку, а также возможность переключения каналов в случае аварии и переключение активного устройства в стеке без отказа сервисов. Кроме традиционных протоколов STP, RSTP и MSTP коммутаторы могут поддерживать усовершенствованные технологии, например, Smart Link и RRPP, выполняют защитное переключение каналов на уровне миллисекунд, гарантируют надежную работу сети.
Некоторые модели поддерживают интеллектуальный протокол защиты SEP (Smart Ethernet Protection) – протокол кольцевой сети, обеспечивающий непрерывную доставку сервисов. Еще один протокол, ERPS (Ethernet Ring Protection Switching), использует функции Ethernet OAM и механизм автоматического защитного переключения кольца – также за миллисекунды.
Многие вендоры применяют собственные технологии кольцевого резервирования сети, обеспечивающие более быстрое восстановление, чем стандартные протоколы STP/RSTP. Один из примеров показан ниже.
Выбираются основной и резервный порты для передачи данных в кольце. Коммутатор блокирует резервный порт, и передача происходит по основному маршруту. Все коммутаторы в кольце обмениваются пакетами синхронизации. При обрыве соединения будет разблокирован резервный порт и задействован резервный маршрут.
Для повышения надежности может предусматриваться «горячая» замена и/или резервирование блоков питания и элементов охлаждения коммутатора. Благодаря имеющимся в некоторых моделях оптическим портам коммутатор можно подключить к коммутатору ядра на расстоянии до 80 км. Такое оборудование позволяет создать производительный отказоустойчивый коммутационный кластер или построить любую современную L2-топологию, разнесенную на несколько десятков километров, получить отказоустойчивый стек на сотни портов с единой точкой управления, что существенно облегчает администрирование.
Коммутаторы и маршрутизаторы играют критическую роль, особенно в среде предприятия. Коммутация – одна из самых распространенных сетевых технологий. Коммутаторы вытесняют маршрутизаторы на периферию локальных сетей, оставляя за ними роль организации связи через глобальную сеть.
За счет микросегментации они позволяют повысить производительность сети, дают возможность организовать подключенные устройства в логические сети и перегруппировывать их, когда это необходимо.
Традиционная архитектура корпоративной сети включает в себя три уровня: уровень доступа, агрегирования/распределения и ядра. На каждом из них коммутаторы выполняют специфические сетевые функции.
Коммутаторы могут играть роль основных коммутаторов в филиалах и организациях среднего размера, функционировать как локальные коммутаторы доступа в крупных организациях, применяться для объединения небольших групп в единую сеть второго уровня. Они широко используются в ЦОД и в ядре сети, в сетях провайдеров на уровне доступа и агрегирования, а с распространением технологии Ethernet - и в ряде вертикальных приложений, например, в промышленности, в системах автоматизации зданий. Несмотря на распространение беспроводных технологий, такое сетевое оборудование пользуется растущей популярностью также в сегментах SMB и SOHO.
Многие разработчики акцентируют внимание на совершенствовании механизмов защиты информации и управления трафиком, в частности, для передачи голоса или видео. Растущими объемами трафика диктуется внедрение 10-гигабитных и еще более высоких скоростей.
Современные коммутаторы могут поддерживать многочисленные протоколы безопасности, в том числе полный набор инструкций ARP для фильтрации пакетов данных на уровнях L2–L7, а также динамическую маршрутизацию, включающую все необходимые протоколы нахождения кратчайших путей. Высококонкурентный рынок дает широкие возможности выбора продуктов известных западных брендов, производителей из стран Азии и российских изделий.
Основной вклад в 3% рост мирового рынка коммутаторов и маршрутизаторов в 2015 году внес сегмент корпоративного оборудования: на его долю пришлось почти 60% продаж. Крупнейшие мировые производители коммутаторов Ethernet L2/L3 – Cisco (свыше 62%), HPE, Juniper, Arista, Huawei. Растет спрос на оборудование для ЦОД, коммутаторы 10 и 40 Gigabit Ethernet, коммутаторы для крупных провайдеров.
Объем продаж пяти ведущих поставщиков коммутаторов Ethernet в мире за последние кварталы (по данным IDC ).
В регионе EMEA сегмент Ethernet-коммутаторов в первой половине 2016 года показал 6,7% спад. В отчете IDC говорится, что Cisco остается крупнейшим производителем коммутаторов на рынке EMEA. На долю Cisco и HPE пришлось более 68% продаж коммутационного оборудования в регионе. В число лидеров также вошли Arista и Huawei.
По прогнозам Dell"Oro Group, наиболее быстрыми темпами будет расти сегмент коммутаторов для ЦОД. Переход на облачную модель должен также способствовать внедрению SDN и продажам коммутаторов для облачных дата-центров при снижении спроса на коммутаторы корпоративного уровня.
Коммутаторы уровня ядра, распределения, доступа позволяют создавать сетевые архитектуры разной топологии, уровня сложности и производительности. Разнообразие этих платформ варьируется от простых коммутаторов с восемью фиксированными портами до модульных устройств, состоящих из более десятка «лезвий» и насчитывающих сотни портов.
Коммутаторы для рабочих групп обычно имеют небольшое число портов и поддерживаемых MAC-адресов.
Магистральные коммутаторы отличаются большим числом высокоскоростных портов, наличием дополнительных функций управления, расширенной фильтрации пакетов и т. п. В общем случае такой коммутатор намного дороже, функциональнее и производительнее, чем коммутаторы для рабочих групп. Он обеспечивает эффективное сегментирование сети.
Основные параметры коммутаторов: количество портов (при выборе коммутатора лучше предусмотреть запас для расширения сети), скорость коммутации (у устройств начального уровня она гораздо ниже, чем у коммутатора корпоративного класса), пропускная способность, автоматическое определение MDI/MDI-X (стандартов, по которым обжата витая пара), наличие слотов расширения (например, для подключения интерфейсов SFP), размер таблицы MAC-адресов (выбирается с учетом расширения сети), форм-фактор (настольный/стоечный).
По конструктивному исполнению выделяют коммутаторы с фиксированным числом портов; модульные на основе шасси; стековые (стекируемые); модульно-стековые. Коммутаторы для поставщиков услуг подразделяются на коммутаторы агрегирования и коммутаторы уровня доступа. Первые агрегируют трафик на границе сети, вторые включают такие функции как контроль данных на прикладном уровне, встроенную безопасность и упрощенное управление.
В ЦОД должны применяться коммутаторы, которые обеспечивают масштабируемость инфраструктуры, непрерывное функционирование и гибкость транспорта данных. В сетях Wi-Fi коммутатор может играть роль контроллера, управляющего точками доступа.
В зависимости от сценария проектирования и развертывания сети Wi-Fi (WLAN) меняется и роль коммутаторов в ней. Например, это может быть централизованная/управляемая архитектура или конвергентная архитектура (объединение проводного и беспроводного доступа). Большинство сетей Wi-Fi среднего и большого масштаба строятся на принципах централизованной архитектуры с коммутатором в роли контроллера Wi-Fi. Все основные производители решений Wi-Fi высокого уровня (Cisco, Aruba (HPE), Ruckus (Brocade), HPE, Huawei и т.д.) имеют такие предложения.
Простая сеть WLAN не нуждается в контроллере, и коммутатор выполняет свои базовые функции.
Контроллер управляет загрузкой/изменением ПО, изменением конфигурации, RRM (динамическое управление радиоресурсами), связью с внешними серверами (ААА, DHCP, LDAP и т.п.), аутентификацией пользователей, профилями QoS, специальными функциями и т.п. Контроллеры могут объединяться в группы для бесшовного роуминга клиентов между точками доступа в зоне покрытия.
Контроллер осуществляет централизованное управление устройствами в беспроводной сети и предназначен для сетей кампусов, филиалов и предприятий SMB. Централизованная архитектура сети Wi - Fi позволяет строить крупные сети и управлять ими из одной точки.
В небольшой корпоративной сети Wi-Fi, покрывающей часть этажа, этаж, небольшое здание и т.п., могут применяться коммутаторы-контроллеры, рассчитанные на небольшое количество точек доступа (до 10-20). Большие корпоративные сети Wi-Fi, охватывающие кампусы, заводские территории, порты и т.п., требуют мощных и функциональных контроллеров (например, Cisco 5508, Aruba A6000, Ruckus ZoneDirector 3000). Иногда предлагают решение на модулях для коммутаторов или маршрутизаторов, например, модуль Cisco WiSM2 в коммутатор семейства Cisco Catalyst 6500/6800, модуль Huawei ACU2 в коммутаторы Huawei S12700, S9700, S7700, модуль HPE JD442A в коммутатор HPE 9500.
В новой редакции «магического квадранта» Gartner (август 2016 г.) по поставщикам оборудования для инфраструктуры проводных и беспроводных локальных сетей в число лидеров кроме Cisco попала только HPE, поглотившая компанию Aruba.
Функции автоматического обнаружения точек доступа и централизованного управления избавят от затрат на настройку конфигураций. Контроллеры могут также обеспечивать защиту от потенциальных атак, а функции самостоятельной оптимизации и восстановления гарантируют бесперебойную работу беспроводной сети. Поддержка PoE упростит развертывание WLAN.
Функции для работы с трафиком могут включать в себя управление потоком (Flow Control, IEEE 802.3x), которое предусматривает согласование приема-отправки при высоких нагрузках во избежание потерь пакетов. Поддержка Jumbo Frame (увеличенных пакетов), повышает общую производительность сети. Приоритезация трафика (IEEE 802.1p) позволяет определять более важные пакеты (например, VoIP) и отправлять их в первую очередь. Стоит обратить внимание на эту функцию, если планируется передача трафика аудио или видео.
Поддержка VLAN (IEEE 802.1q) – удобное средство для разграничения сети предприятия для различных отделов и т.п. Функция Traffic Segmentation для разграничения доменов на канальном уровне позволяет настраивать порты или группы портов коммутатора, используемые для подключения серверов или магистрали сети.
Зеркалирование (дублирование) трафика (Port Mirroring) может использоваться для обеспечения безопасности внутри сети, контроля или проверки производительности сетевого оборудования. Функция LoopBack Detection автоматически блокирует порт при образовании петли (особенно важна при выборе неуправляемых коммутаторов).
Агрегирование каналов (IEEE 802.3ad) повышает пропускную способность канала, объединяя несколько физических портов в один логический. IGMP Snooping пригодится при вещании IPTV. Storm Control дает порту возможность продолжать работать для пересылки всего остального трафика при широковещательном/однонаправленном «шторме».
Коммутаторы могут поддерживать протоколы динамической маршрутизации (например, RIP v2, OSPF) и управления группами интернета (например, IGMP v3). При поддержке протоколов BGP и OSPF устройство можно использовать как коммутирующий маршрутизатор для доменов и субдоменов локальной сети. Некоторые модели поддерживают создание наложенных сетей (TRILL), посредством чего снижается нагрузка на таблицы MAC-адресов и обеспечивается равномерная загрузка каналов для одинаковых маршрутов, что значительно повышает скорость доступа к сетевым ресурсам. Различается это сетевое оборудование и по способам работы.
Чем выше уровень, на котором коммутатор работает по сетевой модели OSI, тем сложнее и дороже устройство, более развита его функциональность.
Коммутаторы 1 уровня (хабы и повторители) функционируют на физическом уровне и обрабатывают не данные, а электрические сигналы. Такое оборудование сейчас практически не производится.
Коммутаторы 2 уровня работают на канальном уровне с кадрами (фреймами), могут выполнять их анализ, определять отправителя и получателя. Они оперируют только с MAC-адресами, а различать IP-адреса не умеют. К таким устройствам относятся все неуправляемые коммутаторы и некоторые модели управляемых
Общие функции коммутаторов L 2.
Коммутаторы L2 составляют коммутационные таблицы, поддерживают протокол IEEE 802.1p (приоритезацию трафика), протокол IEEE 802.1q (VLAN), IEEE 802.1d (Spanning Tree Protocol, STP), применяемый для повышения отказоустойчивости сети, IEEE 802.1w (Rapid Spanning Tree Protocol, RSTP) с более высокой устойчивостью и меньшим временем восстановления или более современный IEEE 802.1s (Multiple Spanning Tree Protocol, MSTP), IEEE 802.3ad (Link Aggregation) для объединения нескольких портов в один высокоскоростной порт.
Коммутаторы 3 уровня работают на сетевом уровне. К ним относится ряд моделей управляемых коммутаторов, маршрутизаторы. Они могут маршрутизировать сетевой трафик и перенаправлять его в другие сети, поддерживают работу с IP-адресами и установку сетевых соединений.
Таким образом, они фактически являются маршрутизаторами, которые реализуют механизмы логической адресации и выбора пути доставки данных (маршрута) с использованием протоколов маршрутизации (RIP v.1 и v.2, OSPF, BGP, проприетарные протоколы). Традиционно коммутаторы L3 используются в локальных и территориальных сетях для обеспечения передачи данных большого количества подключенных к ним устройств, в отличие от маршрутизаторов, осуществляющих доступ к распределенной сети (WAN).
Коммутаторы 4 уровня функционируют на транспортном уровне и поддерживают работу с приложениями, обладают некоторыми интеллектуальными функциями. Они могут определять порты TCP/UDP для идентификации приложений, биты SYN и FIN, обозначающие начало и конец сеансов, распознавать информацию в заголовках сообщений. Различается и конструкция коммутаторов.
Модульные коммутаторы обеспечивают масштабируемую производительность, гибкость конфигураций и возможности поэтапного расширения. Коммутаторы с фиксированной конфигурацией позволяют строить сетевую инфраструктуру для решения широкого спектра задач, включая построение сетей комплексов зданий, филиалов крупных предприятий, организации среднего размера, а также предприятий SMB
Коммутаторы фиксированной конфигурации обычно поддерживают до 48 портов. Иногда есть возможность установить дополнительные порты SFP/ SFP +.
С помощью аплинков SFP+ многие коммутаторы можно подключать к верхнему уровню – ядру сети, обеспечивая высокую производительность и балансировку нагрузки по всем каналам. Высокая плотность портов позволяет эффективнее использовать ограниченное пространство и питание.
Модульные коммутаторы обычно представляют собой высокопроизводительные платформы, поддерживающие широкий спектр протоколов L3, гибкий набор интерфейсов, виртуализацию сервисов и оптимизацию приложений, сетевые кластеры (SMLT, SLT, RSMLT). Они могут использоваться в ядре крупных и средних сетей, в сетях ЦОД (ядро сети и концентрация подключений серверов).
Типовые функции модульного коммутатора.
Модульные коммутаторы могут иметь очень высокую плотность портов за счет добавления модулей расширения. Например, некоторые поддерживают более 1000 портов. В больших корпоративных сетях, к которым подключаются тысячи устройств, лучше использовать именно модульные коммутаторы. В противном случае потребуется множество коммутаторов с фиксированной конфигурацией.
Cisco Catalyst 6800 - модульные коммутаторы для кампусных сетей с поддержкой 10/40/100G. Расширяемая платформа высотой 4,5 RU содержит от 16 до 80 портов 1/10GE с поддержкой BGP и MPLS.
Основными характеристиками коммутатора, измеряющими его производительность, являются скорость коммутации, пропускная способность и задержка передачи кадра. На эти показатели влияют размер буфера (буферов) кадров, производительность внутренней шины, производительность процессора, размер таблицы MAC-адресов.
Общие характеристики также включают возможность установки в стойку, емкость оперативной памяти, количество портов и аплинков/SFP-портов, скорость аплинков, поддержку работы в стеке, способы управления.
Некоторые вендоры предлагают на своих сайтах удобные конфигураторы для выбора коммутаторов по их характеристикам: числу и типу портов (1/10/40GbE, оптика/медь), виду коммутации/маршрутизации (L2/L3 – базовая или динамическая), скорости и типу аплинков, наличию PoE/PoE+, поддержке IPv6 и OpenFlow (SDN), FCoE, резервированию (питания/фабрики/вентиляторов), возможности стекирования. Энергоэффективный Ethernet (IEEE 802.3az, Energy Efficient Ethernet) уменьшает потребление энергии, автоматически регулируя ее в соответствии с фактическим сетевым трафиком коммутатора.
Менее дорогие и менее производительные коммутаторы могут использоваться на уровне доступа, а более дорогие высокопроизводительные лучше применять на уровнях распределения и ядра сети, где от скорости коммутации очень сильно зависит производительность всей системы.
Группа портов коммутатора для подключения конечных абонентов традиционно состоит из портов для кабеля «витая пара» с разъемами RJ-45. Дальность передачи сигнала при этом составляет до 100 метров общей длины линии, и для офисов этого, в большинстве случаев, достаточно.
Порты Etherhet 1/10 Гбит/ c для «медных» кабелей с разъемами RJ -45.
Более сложен выбор типа портов аплинка, предназначенные для связи с узлами сети более высокого уровня. Во многих случаях предпочтительнее оптические кабели связи, не имеющие таких ограничений по длине, как у «витой пары». В таких портах часто применяются сменные модули SFP (Small Form-factor Pluggable). Высота и ширина модуля SFP сравнима с высотой и шириной гнезда RJ-45.
Оптический модуль SFP .
Популярные интерфейсы SFP+ и XFP могут обеспечивать скорость передачи 10 Гбит/c и дальность до 20 км. Посадочное место для модулей SFP+ имеет те же габариты что и SFP, разница заключается в протоколах передачи информации между модулем и коммутатором. XFP имеет большие, чем SFP+ габариты. Коммутаторы с портами SFP и SFP+ часто используются в сети на уровне агрегирования. Между тем в ЦОД широко применяются не только коммутаторы Ethernet, но и другие виды коммутирующего оборудования.
В сети крупного предприятия или в крупном ЦОД, где портов тысячи, большее значение имеет плотность портов, то есть, сколько максимально портов на 1U (или на стойку) требуемой скорости передачи можно разместить с учетом слотов расширений и дополнительных модулей. Нужно помнить о росте потребности в передаче больших объемов данных и соответственно, учитывать плотность портов требуемой скорости в рассматриваемых коммутаторах.
Что касается офисных сетей, то полезным качеством коммутатора может стать поддержка PoE и EEE.
Технология Power over Ethernet (PoE) позволяет коммутатору подавать питание на устройство по кабелю Ethernet. Эта функция обычно используется некоторыми IP-телефонами, беспроводными точками доступа, камерами видеонаблюдения и пр.
Технология подачи электропитания через Ethernet – удобный альтернативный способ электропитания сетевых устройств.
РоЕ предоставляет гибкость при монтаже такого рода оборудования: его можно установить везде, где есть Ethernet-кабель. Но РоЕ должна быть действительно необходима, т.к. поддерживающие ее коммутаторы стоят значительно дороже.
Согласно стандарту IEEE 802.3af (PoE), обеспечивается постоянный ток до 400 мА с номинальным напряжением 48 В через две пары проводников в четырехпарном кабеле при максимальной мощности 15,4 Вт.
Стандарт IEEE 802.3at (PoE+) предусматривает увеличение мощности (до 30 Вт) и новый механизм взаимного определения (классификации) устройств. Он позволяет устройствам взаимно определять друг друга при подключении.
Для высокопроизводительной коммутации серверов и систем хранения сегодня используется большой спектр технологий и устройств – коммутаторы Ethernet, Fibre Channel, InfiniBand и др.
В виртуализированных и облачных ЦОД, где преобладает «горизонтальный» трафик между серверами и виртуальными машинами, на помощь приходит конфигурация «ствол и листья» (Spine-Leaf). Иногда такую конфигурацию называют «распределенным ядром». Часто также используют термин «Ethernet-фабрика».
Spine -коммутаторы можно рассматривать как распределенное ядро, только вместо одного-двух коммутаторов ядра оно сформировано из большого числа коммутаторов «ствола» с высокой плотностью портов.
Плюсы такой конфигурации следующие: горизонтальный трафик между «листьями» гарантированно идет с одним хопом, через «дерево», поэтому задержка предсказуема, при отказе оборудования меньше страдает производительность, да и масштабировать такую конфигурацию легче.
Растет потребность и в более высокой скорости передачи данных. За предыдущие годы создано шесть стандартов Ethernet: 10 Мбит/с, 100 Мбит/с, Гбит/с, 10 Гбит/с, 40 Гбит/с и 100 Гбит/с. В 2016 году Ethernet-сообщество усиленно работает над реализацией новых стандартов скоростей: 2,5 Гбит/с, 5 Гбит/с, 25 Гбит/с, 50 Гбит/с, 200 Гбит/с. Недавно принятые спецификации IEEE 802.3 (включая подгруппы) охватывают диапазон скоростей от 25 Гбит/с на порт до суммарной пропускной способности канала на уровне 400 Гбит/с. Завершить работу над стандартом 400GbE (802.3bs) планируется в марте 2017 года. В нем будут использоваться несколько линий по 50 или 100 Гбит/с.
На мировом рынке Ethernet -коммутаторов для ЦОД доминирует Cisco Systems (по данным IDC , 2015 г.).
Наряду с 40/100GbE все более широкое внедрение в ЦОД получает InfiniBand. Технология InfiniBand (IB) применяется в основном в высокопроизводительных вычислениях (HPC), многоузловых кластерах и вычислениях GRID. Ее используют во внутренних соединениях (backplane) и коммутаторах (crossbar switch) производители модульных серверов. В коммутаторах с поддержкой InfiniBand EDR (Enhanced Data Rate) 12x скорость порта достигает 300 Гбит/с.
Модульный сервер со встроенным коммутатором InfiniBand .
Сети хранения данных (SAN) традиционно строятся на базе протокола FC (Fibre Channel), который предоставляет быстрый и надежный транспорт для передачи данных между дисковыми массивами и серверами. FC обеспечивает гарантированно низкую задержку, высокую надежность и производительность работы дисковой подсистемы.
Коммутатор FC (резервируемая фабрика) – ключевой элемент SAN .
Трафик FC можно передавать и поверх Ethernet с сохранением предсказуемости и производительности Fibre Channel (FCoE). Для этого был разработан протокол Converged Enhanced Ethernet (CEE).
Считается, что совмещение трафика SAN и LAN в одном сегменте сети c помощью FCoE позволяет получить ряд преимуществ при построении дата-центров, включая снижение начальных затрат на оборудование и операционных издержек на поддержку, обслуживание, электропитание и кондиционирование оборудования. Однако такой подход так и получил широкого распространения.
Коммутатор FCoE обеспечивает конвергенцию SAN и LAN .
Выделенная сеть хранения SAN (на основе FC или iSCSI) остается оптимальным вариантом для высокоскоростного доступа к данным. Ее традиционный протокол Fibre Channel изначально рассчитан на быструю передачу больших блоков и низкие задержки. Важным фактором роста рынка SAN станет переход на оборудование нового поколения – коммутаторы и директоры Fibre Channel Gen 6 (32 Гбит/с). Он уже начался.
Изменение скорости передачи данных в развертываемых сетях FC , InfiniBand и Ethernet по данным Mellanox.
Важно выбирать подходящее для текущих требований сети оборудование, но с запасом производительности для дальнейшего роста.
Технология коммутирующей фабрики, созданная для Fibre Channel SAN, нашла применение и в сетях Ethernet. Наряду с платформами виртуальной маршрутизации и SDN-контроллерами, фабрики Ethernet открывают путь к внедрению SDN/NFV, предполагают использование открытых, автоматизированных, программно-конфигурируемых компонентов, что способствует гибкости и снижению затрат.
Ethernet-фабрики наряду с дополняющими их технологиями TRILL и Shortest Path Bridging (SPB – альтернатива сложным и неэффективным трехуровневым сетям и Spanning Tree.
Коммутирующие фабрики охватывают теперь сети хранения данных, кампусные сети и сети ЦОД. Они снижают операционные расходы, увеличивают эффективность использования сети, ускоряют развертывание приложений, поддерживает виртуализацию. Эволюция коммутирующих фабрик продолжается.
В последнее время получает распространение концепция Open Networking, цель которой «отделить» операционную систему коммутатора от аппаратной платформы и дать заказчикам возможность выбора комбинаций сетевых ОС и оборудования. В отличие от традиционных коммутаторов, которые поставляются с предустановленной ОС, можно приобрести коммутатор Bare-metal («голое железо») у одного производителя, а ПО – у другого.
Bare-metal означает, что в коммутаторе не установлено сетевой ОС, есть лишь загрузчик для ее установки.
Такое оборудование выпускается, например, тайваньскими и российскими производителями. Ряд вендоров предлагают также коммутаторы White-box – Bare-metal с предустановленной сетевой ОС. Такие коммутаторы предоставляют большую гибкость и определенную независимость заказчика от производителя оборудования. Цена их ниже по сравнению с продуктами крупных вендоров. По данным Dell’Oro Group, они на 30-40% дешевле традиционных брендовых моделей. Функции сетевой ОС обычно предусматривают поддержку всех стандартных протоколов L2/L3 и, в некоторых случаях - протокола OpenFlow.
Традиционные коммутаторы (слева) и коммутаторы White box (справа).
Основной целевой сегмент рынка коммутаторов White-box – ЦОД. Они позволяют доработать сетевую ОС для решения конкретных задач. Однако целесообразность их применения в кампусных или распределенных корпоративных сетях зависит от того, сколько коммутаторов в сети и как часто меняется конфигурация, есть ли в компании специалисты, способные поддерживать сетевую ОС с открытым исходным кодом. В небольших кампусных сетях выгода сомнительна.
По прогнозу Infonetics Research, в 2019 году на долю «голого железа» будет приходиться почти 25% всего количества портов в коммутаторах, поставленных в ЦОД во всем мире.
С увеличением вычислительной мощности процессоров х86 с ролью коммутатора вполне может справиться программный, виртуальный коммутатор. Его удобно использовать, например, для предоставления сетевого уровня доступа виртуальным машинам, запущенным на физическом сервере. На виртуальных машинах (или в контейнерах, например, Docker) создаются логические (виртуальные) порты Ethernet. ВМ подключаются к виртуальному коммутатору посредством этих портов.
Три наиболее популярных виртуальных коммутатора – VMware Virtual Switch, Cisco Nexus 1000v и Open vSwitch. Последний – это виртуальный коммутатор с открытым исходным кодом, распространяемый по лицензии Apache 2.0 и предназначенный для работы в гипервизорах на основе Linux, таких как, KVM и Xen.
Open vSwitch – программный многоуровневый коммутатор Open Source, предназначенный для работы в гипервизорах и на компьютерах с виртуальными машинами. Поддерживает протокол OpenFlow для управления логикой коммутации.
Open vSwitch (OVS) поддерживает широкий набор технологий, включая NetFlow, sFlow, Port Mirroring, VLAN, LACP. Он может работать как в виртуальных средах, так и использоваться в качестве Control Plane для аппаратных коммутаторов. Созданные на базе OVS сетевые ОС широко применяются на коммутаторах White-box и Bare-metal. Множество сфер применения у OVS – в SDN-сетях, при коммутации трафика между виртуальными сетевыми функциями (NFV).
С расширением функциональности оборудования сети станут более высокоскоростными и интеллектуальными. Производительность современных моделей коммутаторов ядра сети составляет до 1,5 Тбит/с и выше, и традиционный путь развития предполагает дальнейшее наращивание их мощности. Расширение функциональности сопровождается все большей специализацией устройств ядра сети и ее периферии. У корпоративных заказчиков появляются новые требования в таких областях, как информационная безопасность, гибкость, надежность и экономичность.
Сейчас широко обсуждается концепция SDN (Software Defined Networking). Основная суть SDN состоит в физическом разделении уровня управления сетью (Control Plane) и уровня передачи данных (Forwarding) за счет переноса функций управления коммутаторами в ПО, работающее на отдельном сервере (контроллере).
Цель SDN– гибкая, управляемая, адаптивная и экономичная архитектура, которая способна эффективно адаптироваться под передачу больших потоков разнородного трафика.
SDN-коммутаторы, как правило, используют протокол управления OpenFlow. Большинство коммутаторов SDN поддерживают одновременно и стандартные сетевые протоколы. В настоящее время область применения SDN – в основном серверные фермы ЦОД и нишевые решения, где SDN удачно дополняет другие технологии. На российском рынке технология SDN наиболее востребована операторами публичных облаков.
Network Functions Virtualization (NFV), виртуализация сетевых функций, нацелена на оптимизацию сетевых сервисов за счет отделения сетевых функций (например, DNS, кэширование и пр.) от реализации аппаратного обеспечения. Считается, что NFV позволяет универсализировать программное обеспечение, ускорить внедрение новых функций сети и служб, и при этом не требует отказа от уже развернутой сетевой инфраструктуры.
По данным опроса CNews Analytics (2015 год), российские заказчики в целом оптимистично оценивают перспективы технологий SDN и NFV, позволяющих сократить капитальные затраты и ускорить ввод новых сервисов.
Прогнозы SDN и NFV в России носят пока разноречивый характер. По оценкам J’son & Partners, объем российского сегмента SDN в 2017 году составит 25–30 млн. долл. Основными пользователями SDN и NFV станут владельцы крупных ЦОД и федеральные операторы связи.
Тем временем производители коммутаторов для корпоративного сегмента рынка предлагают высокоскоростное оборудование с более низкой стоимостью владения, возможностями гибкого построения сетей, функциями поддержки различных классов приложений и расширенными средствами безопасности.
В деле познания SAN столкнулся с определённым препятствием - труднодоступностью базовой информации. В вопросе изучения прочих инфраструктурных продуктов, с которыми доводилось сталкиваться, проще - есть пробные версии ПО, возможность установить их на вирутальной машине, есть куча учебников, референс гайдов и блогов по теме. Cisco и Microsoft клепают очень качественные учебники, MS вдобавок худо-бедно причесал свою адскую чердачную кладовку под названием technet, даже по VMware есть книга, пусть и одна (и даже на русском языке!), причём с КПД около 100%. Уже и по самим устройствам хранения данных можно получить информацию с семинаров, маркетинговых мероприятий и документов, форумов. По сети же хранения - тишина и мёртвые с косами стоять. Я нашёл два учебника, но купить не решился. Это "Storage Area Networks For Dummies " (есть и такое, оказывается. Очень любознательные англоговорящие «чайники» в целевой аудитории, видимо) за полторы тысячи рублей и "Distributed Storage Networks: Architecture, Protocols and Management " - выглядит более надёжно, но 8200р при скидке 40%. Вместе с этой книгой Ozon рекомендует также книгу «Искусство кирпичной кладки».
Что посоветовать человеку, который решит с нуля изучить хотя бы теорию организации сети хранения данных, я не знаю. Как показала практика, даже дорогостоящие курсы могут дать на выходе ноль. Люди, применительно к SAN делятся на три категории: те, кто вообще не знает что это, кто знает, что такое явление просто есть и те, кто на вопрос «зачем в сети хранения делать две и более фабрики» смотрят с таким недоумением, будто их спросили что-то вроде «зачем квадрату четыре угла?».
Попробую восполнить пробел, которого не хватало мне - описать базу и описать просто. Рассматривать буду SAN на базе её классического протокола - Fibre Channel.
Итак, SAN - Storage Area Network - предназначена для консолидации дискового пространства серверов на специально выделенных дисковых хранилищах. Суть в том, что так дисковые ресурсы экономнее используются, легче управляются и имеют большую производительность. А в вопросах виртуализации и кластеризации, когда нескольким серверам нужен доступ к одному дисковому пространству, подобные системы хранения данных вообще незаменимая штука.
Кстати, в терминологиях SAN, благодаря переводу на русский, возникает некоторая путаница. SAN в переводе означает «сеть хранения данных» - СХД. Однако классически в России под СХД понимается термин «система хранения данных», то есть именно дисковый массив (Storage Array ), который в свою очередь состоит из Управляющего блока (Storage Processor, Storage Controller ) и дисковых полок (Disk Enclosure ). Однако, в оригинале Storage Array является лишь частью SAN, хотя порой и самой значимой. В России получаем, что СХД (система хранения данных) является частью СХД (сети хранения данных). Поэтому устройства хранения обычно называют СХД, а сеть хранения - SAN (и путают с «Sun», но это уже мелочи).
Для SAN ключевыми параметрами являются не только производительность, но и надёжность. Ведь если у сервера БД пропадёт сеть на пару секунд (или даже минут) - ну неприятно будет, но пережить можно. А если на это же время отвалится жёсткий диск с базой или с ОС, эффект будет куда более серьёзным. Поэтому все компоненты SAN обычно дублируются - порты в устройствах хранения и серверах, коммутаторы, линки между коммутаторами и, ключевая особенность SAN, по сравнению с LAN - дублирование на уровне всей инфраструктуры сетевых устройств - фабрики.
Фабрика (fabric - что вообще-то в переводе с английского ткань, т.к. термин символизирует переплетённую схему подключения сетевых и конечных устройств, но термин уже устоялся) - совокупность коммутаторов, соединённых между собой межкоммутаторными линками (ISL - InterSwitch Link ).
Высоконадёжные SAN обязательно включают две (а иногда и более) фабрики, поскольку фабрика сама по себе - единая точка отказа. Те, кто хоть раз наблюдал последствия кольца в сети или ловкого движения клавиатуры, вводящего в кому коммутатор уровня ядра или распределения неудачной прошивкой или командой, понимают о чём речь.
Фабрики могут иметь идентичную (зеркальную) топологию или различаться. Например одна фабрика может состоять из четырёх коммутаторов, а другая - из одного, и к ней могут быть подключены только высококритичные узлы.
Каскад - коммутаторы соединяются последовательно. Если их больше двух, то ненадёжно и непроизводительно.
Кольцо - замкнутый каскад. Надёжнее просто каскада, хотя при большом количестве участников (больше 4) производительность будет страдать. А единичный сбой ISL или одного из коммутаторов превращает схему в каскад со всеми вытекающими.
Сетка (mesh ). Бывает Full Mesh - когда каждый коммутатор соединяется с каждым. Характерно высокой надёжностью, производительностью и ценой. Количество портов, требуемое под межкоммутаторные связи, с добавлением каждого нового коммутатора в схему растёт экспоненциально. При определённой конфигурации просто не останется портов под узлы - все будут заняты под ISL. Partial Mesh - любое хаотическое объединение коммутаторов.
Центр/периферия (Core/Edge) - близкая к классической топологии LAN, но без уровня распределения. Нередко хранилища подключаются к Core-коммутаторам, а серверы - к Edge. Хотя для хранилищ может быть выделен дополнительный слой (tier) Edge-коммутаторов. Также и хранилища и серверы могут быть подключены в один коммутатор для повышения производительности и снижения времени отклика (это называется локализацией). Такая топология характеризуется хорошей масштабируемостью и управляемостью.
Для первоначального поста по теме SAN, думаю, достаточно. Прошу прощения за разномастные картинки - самому нарисовать на работе пока нет возможности, а дома некогда. Была мысль нарисовать на бумаге и сфотографировать, но решил, что лучше так.
Напоследок, в качестве постскриптума, перечислю базовые рекомендации по проектированию фабрики SAN .
В деле познания SAN столкнулся с определённым препятствием - труднодоступностью базовой информации. В вопросе изучения прочих инфраструктурных продуктов, с которыми доводилось сталкиваться, проще - есть пробные версии ПО, возможность установить их на вирутальной машине, есть куча учебников, референс гайдов и блогов по теме. Cisco и Microsoft клепают очень качественные учебники, MS вдобавок худо-бедно причесал свою адскую чердачную кладовку под названием technet, даже по VMware есть книга, пусть и одна (и даже на русском языке!), причём с КПД около 100%. Уже и по самим устройствам хранения данных можно получить информацию с семинаров, маркетинговых мероприятий и документов, форумов. По сети же хранения - тишина и мёртвые с косами стоять. Я нашёл два учебника, но купить не решился. Это "Storage Area Networks For Dummies " (есть и такое, оказывается. Очень любознательные англоговорящие «чайники» в целевой аудитории, видимо) за полторы тысячи рублей и "Distributed Storage Networks: Architecture, Protocols and Management " - выглядит более надёжно, но 8200р при скидке 40%. Вместе с этой книгой Ozon рекомендует также книгу «Искусство кирпичной кладки».
Что посоветовать человеку, который решит с нуля изучить хотя бы теорию организации сети хранения данных, я не знаю. Как показала практика, даже дорогостоящие курсы могут дать на выходе ноль. Люди, применительно к SAN делятся на три категории: те, кто вообще не знает что это, кто знает, что такое явление просто есть и те, кто на вопрос «зачем в сети хранения делать две и более фабрики» смотрят с таким недоумением, будто их спросили что-то вроде «зачем квадрату четыре угла?».
Попробую восполнить пробел, которого не хватало мне - описать базу и описать просто. Рассматривать буду SAN на базе её классического протокола - Fibre Channel.
Итак, SAN - Storage Area Network - предназначена для консолидации дискового пространства серверов на специально выделенных дисковых хранилищах. Суть в том, что так дисковые ресурсы экономнее используются, легче управляются и имеют большую производительность. А в вопросах виртуализации и кластеризации, когда нескольким серверам нужен доступ к одному дисковому пространству, подобные системы хранения данных вообще незаменимая штука.
Кстати, в терминологиях SAN, благодаря переводу на русский, возникает некоторая путаница. SAN в переводе означает «сеть хранения данных» - СХД. Однако классически в России под СХД понимается термин «система хранения данных», то есть именно дисковый массив (Storage Array ), который в свою очередь состоит из Управляющего блока (Storage Processor, Storage Controller ) и дисковых полок (Disk Enclosure ). Однако, в оригинале Storage Array является лишь частью SAN, хотя порой и самой значимой. В России получаем, что СХД (система хранения данных) является частью СХД (сети хранения данных). Поэтому устройства хранения обычно называют СХД, а сеть хранения - SAN (и путают с «Sun», но это уже мелочи).
Для SAN ключевыми параметрами являются не только производительность, но и надёжность. Ведь если у сервера БД пропадёт сеть на пару секунд (или даже минут) - ну неприятно будет, но пережить можно. А если на это же время отвалится жёсткий диск с базой или с ОС, эффект будет куда более серьёзным. Поэтому все компоненты SAN обычно дублируются - порты в устройствах хранения и серверах, коммутаторы, линки между коммутаторами и, ключевая особенность SAN, по сравнению с LAN - дублирование на уровне всей инфраструктуры сетевых устройств - фабрики.
Фабрика (fabric - что вообще-то в переводе с английского ткань, т.к. термин символизирует переплетённую схему подключения сетевых и конечных устройств, но термин уже устоялся) - совокупность коммутаторов, соединённых между собой межкоммутаторными линками (ISL - InterSwitch Link ).
Высоконадёжные SAN обязательно включают две (а иногда и более) фабрики, поскольку фабрика сама по себе - единая точка отказа. Те, кто хоть раз наблюдал последствия кольца в сети или ловкого движения клавиатуры, вводящего в кому коммутатор уровня ядра или распределения неудачной прошивкой или командой, понимают о чём речь.
Фабрики могут иметь идентичную (зеркальную) топологию или различаться. Например одна фабрика может состоять из четырёх коммутаторов, а другая - из одного, и к ней могут быть подключены только высококритичные узлы.
Каскад - коммутаторы соединяются последовательно. Если их больше двух, то ненадёжно и непроизводительно.
Кольцо - замкнутый каскад. Надёжнее просто каскада, хотя при большом количестве участников (больше 4) производительность будет страдать. А единичный сбой ISL или одного из коммутаторов превращает схему в каскад со всеми вытекающими.
Сетка (mesh ). Бывает Full Mesh - когда каждый коммутатор соединяется с каждым. Характерно высокой надёжностью, производительностью и ценой. Количество портов, требуемое под межкоммутаторные связи, с добавлением каждого нового коммутатора в схему растёт экспоненциально. При определённой конфигурации просто не останется портов под узлы - все будут заняты под ISL. Partial Mesh - любое хаотическое объединение коммутаторов.
Центр/периферия (Core/Edge) - близкая к классической топологии LAN, но без уровня распределения. Нередко хранилища подключаются к Core-коммутаторам, а серверы - к Edge. Хотя для хранилищ может быть выделен дополнительный слой (tier) Edge-коммутаторов. Также и хранилища и серверы могут быть подключены в один коммутатор для повышения производительности и снижения времени отклика (это называется локализацией). Такая топология характеризуется хорошей масштабируемостью и управляемостью.
Для первоначального поста по теме SAN, думаю, достаточно. Прошу прощения за разномастные картинки - самому нарисовать на работе пока нет возможности, а дома некогда. Была мысль нарисовать на бумаге и сфотографировать, но решил, что лучше так.
Напоследок, в качестве постскриптума, перечислю базовые рекомендации по проектированию фабрики SAN .
