С повседневным усложнением сетевых компьютерных систем и глобальных корпоративных решений мир начал требовать технологий, которые бы дали толчок к возрождению корпоративных систем хранения информации (сторедж-систем). И вот, одна единая технология приносит в мировую сокровищницу достижений в области сторедж невиданное ранее быстродействие, колоссальные возможности масштабирования и исключительные преимущества общей стоимости владения. Обстоятельства, которые сформировались с появлением стандарта FC-AL (Fibre Channel - Arbitrated Loop) и SAN (Storage Area Network), которая развивается на его основе, обещают революцию в дата-ориентированных технологиях компьютинга.

«The most significant development in storage we"ve seen in 15 years»

Data Communications International, March 21, 1998

Формальное определение SAN в трактовке Storage Network Industry Association (SNIA):

«Сеть, главной задачей которой является передача данных между компьютерными системами и устройствами хранения данных, а также между самими сторедж-системами. SAN состоит из коммуникационной инфраструктуры, которая обеспечивает физическую связь, а также отвечает за уровень управления (management layer), который объединяет связи, сторедж и компьютерные системы, осуществляя передачу данных безопасно и надежно».

SNIA Technical Dictionary, copyright Storage Network Industry Association, 2000

Варианты организации доступа к сторедж-системам

Различают три основных варианта организации доступа к системам хранения:

• SAS (Server Attached Storage), сторедж, присоединенный к серверу;
• NAS (Network Attached Storage), сторедж, подсоединенный к сети;
• SAN (Storage Area Network), сеть хранения данных.

Рассмотрим топологии соответствующих сторедж-систем и их особенности.

SAS

Сторедж-система, присоединенная к серверу. Знакомый всем, традиционный способ подключения системы хранения данных к высокоскоростному интерфейсу в сервере, как правило, к параллельному SCSI интерфейсу.

Рисунок 1. Server Attached Storage

Использование отдельного корпуса для сторедж-системы в рамках топологии SAS не является обязательным.

Основное преимущество сторедж, подсоединенного к серверу, в сравнении с другими вариантами - низкая цена и высокое быстродействие из расчета один сторедж для одного сервера. Такая топология является самой оптимальной в случае использования одного сервера, через который организуется доступ к массиву данных. Но у нее остается ряд проблем, которые побудили проектировщиков искать другие варианты организации доступа к системам хранения данных.

К особенностям SAS можно отнести:

• Доступ к данных зависит от ОС и файловой системы (в общем случае);
• Сложность организации систем с высокой готовностью;
• Низкая стоимость;
• Высокое быстродействие в рамках одной ноды;
• Уменьшение скорости отклика при загрузке сервера, который обслуживает сторедж.

NAS

Сторедж-система, подсоединенная к сети. Этот вариант организации доступа появился сравнительно недавно. Основным его преимуществом является удобство интеграции дополнительной системы хранения данных в существующие сети, но сам по себе он не привносит сколь-нибудь радикальных улучшений в архитектуру сторедж. Фактически NAS есть чистый файл-сервер, и сегодня можно встретить немало новых реализаций сторедж типа NAS на основе технологии тонкого сервера (Thin Server).

Рисунок 2. Network Attached Storage.

Особенности NAS:

• Выделенный файл-сервер;
• Доступ к данным не зависит от ОС и платформы;
• Удобство администрирования;
• Максимальная простота установки;
• Низкая масштабируемость;
• Конфликт с трафиком LAN/WAN.

Сторедж, построенный по технологии NAS, является идеальным вариантом для дешевых серверов с минимальным набором функций.

SAN

Сети хранения данных начали интенсивно развиваться и внедряться лишь с 1999 года. Основой SAN является отдельная от LAN/WAN сеть, которая служит для организации доступа к данным серверов и рабочих станций, занимающихся их прямой обработкой. Такая сеть создается на основе стандарта Fibre Channel, что дает сторедж-системам преимущества технологий LAN/WAN и возможности по организации стандартных платформ для систем с высокой готовностью и высокой интенсивностью запросов. Почти единственным недостатком SAN на сегодня остается относительно высокая цена компонент, но при этом общая стоимость владения для корпоративных систем, построенных с использованием технологии сетей хранения данных, является довольно низкой.

Рисунок 3. Storage Area Network.

К основным преимуществам SAN можно отнести практически все ее особенности:

• Независимость топологии SAN от сторедж-систем и серверов;
• Удобное централизованное управление;
• Отсутствие конфликта с трафиком LAN/WAN;
• Удобное резервирование данных без загрузки локальной сети и серверов;
• Высокое быстродействие;
• Высокая масштабируемость;
• Высокая гибкость;
• Высокая готовность и отказоустойчивость.

Следует также заметить, что технология эта еще довольно молодая и в ближайшее время она должна пережить немало усовершенствований в области стандартизации управления и способов взаимодействия SAN подсетей. Но можно надеяться, что это угрожает пионерам лишь дополнительными перспективами первенства.

FC как основа построения SAN

Подобно LAN, SAN может создаваться с использованием различных топологий и носителей. При построении SAN может использоваться как параллельный SCSI интерфейс, так и Fibre Channel или, скажем, SCI (Scalable Coherent Interface), но своей все возрастающей популярностью SAN обязана именно Fibre Channel. В проектировании этого интерфейса принимали участие специалисты со значительным опытом в разработке как канальных, так и сетевых интерфейсов, и им удалось объединить все важные положительные черты обеих технологий для того, чтобы получить что-то в самом деле революционно новое. Что именно?

Основные ключевые особенности канальных:

• Низкие задержки
• Высокие скорости
• Высокая надежность
• Топология точка-точка
• Небольшие расстояния между нодами
• Зависимость от платформы

и сетевых интерфейсов:

• Многоточечные топологии
• Большие расстояния
• Высокая масштабируемость
• Низкие скорости
• Большие задержки

объединились в Fibre Channel:

• Высокие скорости
• Независимость от протокола (0-3 уровни)
• Большие расстояния
• Низкие задержки
• Высокая надежность
• Высокая масштабируемость
• Многоточечные топологии

Традиционно сторедж интерфейсы (то, что находится между хостом и устройствами хранения информации) были преградой на пути к росту быстродействия и увеличению объема систем хранения данных. В то же время прикладные задачи требуют значительного прироста аппаратных мощностей, которые, в свою очередь, тянут за собой потребность в увеличении пропускной способности интерфейсов для связи со сторедж-системами. Именно проблемы построения гибкого высокоскоростного доступа к данным помогает решить Fibre Channel.

Стандарт Fibre Channel был окончательно определен за последние несколько лет (с 1997-го по 1999-й), на протяжении которых была проведена колоссальная работа по согласованию взаимодействия производителей различных компонент, и было сделано все необходимое, чтобы Fibre Channel превратился из чисто концептуальной технологии в реальную, которая получила поддержку в виде инсталляций в лабораториях и вычислительных центрах. В году 1997 были спроектированы первые коммерческие образцы краеугольных компонент для построения SAN на базе FC, таких как адаптеры, хабы, свичи и мосты. Таким образом, уже начиная с 1998-го года FC используется в коммерческих целях в деловой сфере, на производстве и в масштабных проектах реализации систем, критичных к отказам.

Fibre Channel - это открытый промышленный стандарт высокоскоростного последовательного интерфейса. Он обеспечивает подключение серверов и сторедж-систем на расстоянии до 10 км (при использовании стандартного оснащения) на скорости 100 MB/s (на выставке Cebit"2000 были представлены образцы продукции, которые используют новый стандарт Fibre Channel со скоростями 200 MB/s на одно кольцо, а в лабораторных условиях уже эксплуатируются реализации нового стандарта со скоростями 400 MB/s, что составляет 800 MB/s при использовании двойного кольца). (На момент публикации статьи ряд производителей уже начал отгружать сетевые карточки и свичи на FC 200 MB/s.) Fibre Channel одновременно поддерживает целый ряд стандартных протоколов (среди которых TCP/IP и SCSI-3) при использовании одного физического носителя, который потенциально упрощает построение сетевой инфраструктуры, к тому же это предоставляет возможности для уменьшения стоимости монтажа и обслуживания. Тем не менее использование отдельных подсетей для LAN/WAN и SAN имеет ряд преимуществ и является рекомендованным по умолчанию.

Одним из важнейших преимуществ Fibre Channel наряду со скоростными параметрами (которые, кстати, не всегда являются главными для пользователей SAN и могут быть реализованы с помощью других технологий) является возможность работы на больших расстояниях и гибкость топологии, которая пришла в новый стандарт из сетевых технологий. Таким образом, концепция построения топологии сети хранения данных базируется на тех же принципах, что и традиционные сети, как правило, на основе концентраторов и коммутаторов, которые помогают предотвратить падение скорости при возрастании количества нод и создают возможности удобной организации систем без единой точки отказов.

Для лучшего понимания преимуществ и особенностей этого интерфейса приведем сравнительную характеристику FC и Parallel SCSI в виде таблицы.

Таблица 1. Сравнение технологий Fibre Channel и параллельного SCSI

В стандарте Fibre Channel предполагается использование разнообразных топологий, таких как точка-точка (Point-to-Point), кольцо или FC-AL концентратор (Loop или Hub FC-AL), магистральный коммутатор (Fabric/Switch).

Топология point-to-point используется для подсоединения одиночной сторедж-системы к серверу.

Loop или Hub FC-AL - для подсоединения множественных сторедж устройств к нескольким хостам. При организации двойного кольца увеличивается быстродействие и отказоустойчивость системы.

Коммутаторы используются для обеспечения максимального быстродействия и отказоустойчивости для сложных, больших и разветвленных систем.

Благодаря сетевой гибкости в SAN заложена чрезвычайно важная особенность - удобная возможность построения отказоустойчивых систем.

Предлагая альтернативные решения для систем хранения данных и возможности по объединению нескольких сторедж для резервирования аппаратных средств, SAN помогает обеспечивать защиту аппаратно-программных комплексов от аппаратных сбоев. Для демонстрации приведем пример создания двухнодовой системы без точек отказов.

Рисунок 4. No Single Point of Failure.

Построение трех- и более нодовых систем осуществляется простым добавлением в FC сеть дополнительных серверов и подключением их к обоим концентраторам/ коммутаторам).

При использовании FC построение устойчивых к сбоям (disaster tolerant) систем становится прозрачным. Сетевые каналы и для сторедж, и для локальной сети можно проложить на основе оптоволокна (до 10 км и больше с использованием усилителей сигнала) как физического носителя для FC, при этом используется стандартная аппаратура, которая дает возможность значительно уменьшить стоимость подобных систем.

Благодаря возможности доступа ко всем компонентам SAN из любой ее точки мы получаем чрезвычайно гибко управляемую сеть данных. При этом следует заметить, что в SAN обеспечивается прозрачность (возможность видеть) всех компонентов вплоть до дисков в сторедж-системах. Эта особенность подтолкнула производителей компонентов к использованию своего значительного опыта в построении систем управления для LAN/WAN с тем, чтобы заложить широкие возможности по мониторингу и управлению во все компоненты SAN. Эти возможности включают в себя мониторинг и управление отдельных нод, сторедж компонентов, корпусов, сетевых устройств и сетевых подструктур.

В системе управления и мониторинга SAN используются такие открытые стандарты, как:

• SCSI command set
• SCSI Enclosure Services (SES)
• SCSI Self Monitoring Analysis and Reporting Technology (S.M.A.R.T.)
• SAF-TE (SCSI Accessed Fault-Tolerant Enclosures)
• Simple Network Management Protocol (SNMP)
• Web-Based Enterprise Management (WBEM)

Системы, построенные с использованием технологий SAN, не только обеспечивают администратору возможность следить за развитием и состоянием сторедж ресурсов, но и открывают возможности по мониторингу и контролю трафика. Благодаря таким ресурсам программные средства управления SAN реализуют наиболее эффективные схемы планирования объема сторедж и балансирование нагрузки на компоненты системы.

Сети хранения данных прекрасно интегрируются в существующие информационные инфраструктуры. Их внедрение не требует каких-либо изменений в уже существующих сетях LAN и WAN, а лишь расширяет возможности существующих систем, избавляя их от задач, ориентированных на передачу больших объемов данных. Причем при интеграции и администрировании SAN очень важным является то, что ключевые элементы сети поддерживают горячую замену и установку, с возможностями динамического конфигурирования. Так что добавить тот или другой компонент или осуществить его замену администратор может, не выключая систему. И весь этот процесс интеграции может быть визуально отображен в графической системе управления SAN.

Рассмотрев вышеперечисленные преимущества, можно выделить ряд ключевых моментов, которые непосредственно влияют на одно из основных преимуществ Storage Area Network - общую стоимость владения (Total Cost Ownership).

Невероятные возможности масштабирования позволяют предприятию, которое использует SAN, вкладывать деньги в серверы и сторедж по мере необходимости. А также сохранить свои вложения в уже инсталлированную технику при смене технологических поколений. Каждый новый сервер будет иметь возможность высокоскоростного доступа к сторедж и каждый дополнительный гигабайт сторедж будет доступен всем серверам подсети по команде администратора.

Прекрасные возможности по построению отказоустойчивых систем могут приносить прямую коммерческую выгоду от минимизации простоев и спасать систему в случае возникновения стихийного бедствия или каких-нибудь других катаклизмов.

Управляемость компонентов и прозрачность системы предоставляют возможность осуществлять централизованное администрирование всех сторедж ресурсов, а это, в свою очередь, значительно уменьшает затраты на их поддержку, стоимость которой, как правило, составляет более 50% от стоимости оснащения.

Влияние SAN на прикладные задачи

Для того чтобы нашим читателям стало понятней, насколько практически полезны технологии, которые рассматриваются в этой статье, приведем несколько примеров прикладных задач, которые без использования сетей хранения данных решались бы неэффективно, требовали бы колоссальных финансовых вложений или же вообще не решались бы стандартными методами.

Резервирование и восстановление данных (Data Backup and Recovery)

Используя традиционный SCSI интерфейс, пользователь при построении систем резервирования и восстановления данных сталкивается с рядом сложных проблем, которые можно очень просто решить, используя технологии SAN и FC.

Таким образом, использование сетей хранения данных выводит решение задачи резервирования и восстановления на новый уровень и предоставляет возможность осуществлять бэкап в несколько раз быстрее, чем раньше, без загрузки локальной сети и серверов работой по резервированию данных.

Кластеризация серверов (Server Clustering)

Одной из типичных задач, для которых эффективно используется SAN, является кластеризация серверов. Поскольку один из ключевых моментов в организации высокоскоростных кластерных систем, которые работают с данными - это доступ к сторедж, то с появлением SAN построение многонодовых кластеров на аппаратном уровне решается простым добавлением сервера с подключением к SAN (это можно сделать, даже не выключая системы, поскольку свичи FC поддерживают hot-plug). При использовании параллельного SCSI интерфейса, возможности по подсоединению и масштабируемость которого значительно хуже, чем у FC, кластеры, ориентированные на обработку данных, было бы тяжело сделать с количеством нод больше двух. Коммутаторы параллельного SCSI - весьма сложные и дорогие устройства, а для FC это стандартный компонент. Для создания кластера, который не будет иметь ни единой точки отказов, достаточно интегрировать в систему зеркальную SAN (технология DUAL Path).

В рамках кластеризации одна из технологий RAIS (Redundant Array of Inexpensive Servers) кажется особенно привлекательной для построения мощных масштабируемых систем интернет-коммерции и других видов задач с повышенными требованиями к мощности. По словам Alistair A. Croll, сооснователя Networkshop Inc, использование RAIS оказывается достаточно эффективным:«Например, за $12000-15000 вы можете купить около шести недорогих одно-двухпроцессорных (Pentium III) Linux/Apache серверов. Мощность, масштабируемость и отказоустойчивость такой системы будет значительно выше, чем, например, у одного четырехпроцессорного сервера на базе процессоров Xeon, а стоимость одинаковая».

Одновременный доступ к видео и распределение данных (Concurrent video streaming, data sharing)

Вообразите себе задачу, когда вам нужно на нескольких (скажем, >5) станциях редактировать видео или просто работать над данными огромного объема. Передача файла размером 100GB по локальной сети займет у вас несколько минут, а общая работа над ним будет очень сложной задачей. При использовании SAN каждая рабочая станция и сервер сети получают доступ к файлу на скорости, эквивалентной локальному высокоскоростному диску. Если вам нужны еще одна станция/сервер для обработки данных, вы сможете ее прибавить к SAN, не выключая сети, простым подсоединением станции к SAN коммутатору и предоставлением ей прав доступа к сторедж. Если же вас перестанет удовлетворять быстродействие подсистемы данных, вы сможете просто прибавить еще один сторедж и с использованием технологии распределения данных (например, RAID 0) получить вдвое большее быстродействие.

Основные компоненты SAN

Среда

Для соединения компонентов в рамках стандарта Fibre Channel используют медные и оптические кабели. Оба типа кабелей могут использоваться одновременно при построении SAN. Конверсия интерфейсов осуществляется с помощью GBIC (Gigabit Interface Converter) и MIA (Media Interface Adapter). Оба типа кабеля сегодня обеспечивают одинаковую скорость передачи данных. Медный кабель используется для коротких расстояний (до 30 метров), оптический - как для коротких, так и для расстояний до 10 км и больше. Используют многомодовый и одномодовый оптические кабели. Многомодовый (Multimode) кабель используется для коротких расстояний (до 2 км). Внутренний диаметр оптоволокна мультимодового кабеля составляет 62,5 или 50 микрон. Для обеспечения скорости передачи 100 МБ/с (200 МБ/с в дуплексе) при использовании многомодового оптоволокна длина кабеля не должна превышать 200 метров. Одномодовый кабель используется для больших расстояний. Длина такого кабеля ограничена мощностью лазера, который используется в передатчике сигнала. Внутренний диаметр оптоволокна одномодового кабеля составляет 7 или 9 микрон, он обеспечивает прохождение одиночного луча.

Коннекторы, адаптеры

Для подсоединения медных кабелей используются коннекторы типа DB-9 или HSSD. HSSD считается более надежным, но DB-9 используется так же часто, потому что он более простой и дешевый. Стандартным (наиболее распространенным) коннектором для оптических кабелей является SC коннектор, он обеспечивает качественное, четкое соединение. Для обычного подключения используются многомодовые SC коннекторы, а для отдаленного - одномодовые. В многопортовых адаптерах используются микроконнекторы.

Наиболее распространены адаптеры для FC под шину PCI 64 bit. Также много FC адаптеров вырабатывается под шину S-BUS, для специализированного использования выпускаются адаптеры под MCA, EISA, GIO, HIO, PMC, Compact PCI. Самые популярные - однопортовые, встречаются двух- и четырехпортовые карточки. На PCI адаптерах, как правило, используют DB-9, HSSD, SC коннекторы. Также часто встречаются GBIC-based адаптеры, которые поставляются как с модулями GBIC, так и без них. Fibre Channel адаптеры отличаются классами, которые они поддерживают, и разнообразными особенностями. Для понимания отличий приведем сравнительную таблицу адаптеров производства фирмы QLogic.

Fibre Channel Host Bus Adapter Family Chart
SANblade	64 Bit	FCAL Publ. Pvt Loop	FL Port	Class 3	F Port	Class 2	Point to Point	IP/ SCSI	Full Duplex	FC Tape	PCI 1.0 Hot Plug Spec	Solaris Dynamic Reconfig	VIВ	2Gb
2100 Series	33 & 66MHz PCI	X	X	X
2200 Series	33 & 66MHz PCI	X	X	X	X	X	X	X	X	X
	33MHz PCI	X	X	X	X	X	X	X	X	X	X
	25 MHZ Sbus	X	X	X	X	X	X	X	X	X		X
2300 Series	66 MHZ PCI/ 133MHZ PCI-X	X	X	X	X	X	X	X	X	X			X	X

Концентраторы

Fibre Channel HUBs (концентраторы) используются для подключения нод к FC кольцу (FC Loop) и имеют структуру, похожую на Token Ring концентраторы. Поскольку разрыв кольца может привести к прекращению функционирования сети, в современных FC концентраторах используются порты обхода кольца (PBC-port bypass circuit), которые разрешают автоматически открывать/закрывать кольцо (подключать/отключать системы, присоединенные к концентратору). Обычно FC HUBs поддерживают до 10 подключений и могут стекироваться до 127 портов на кольцо. Все устройства, подключенные к HUB, получают общую полосу пропускания, которую они могут разделять между собой.

Коммутаторы

Fibre Channel Switches (коммутаторы) имеют те же функции, что и привычные читателю LAN коммутаторы. Они обеспечивают полноскоростное неблокированное подключение между нодами. Любая нода, подключенная к FC коммутатору, получает полную (с возможностями масштабирования) полосу пропускания. При увеличении количества портов коммутированной сети ее пропускная способность увеличивается. Коммутаторы могут использоваться вместе с концентраторами (которые используют для участков, не требующих выделенной полосы пропуска для каждой ноды) для достижения оптимального соотношения цена/производительность. Благодаря каскадированию свичи потенциально могут использоваться для создания FC сетей с количеством адресов 2 24 (свыше 16 миллионов).

Мосты

FC Bridges (мосты или мультиплексоры) используются для подключения устройств с параллельным SCSI к сети на базе FC. Они обеспечивают трансляцию SCSI пакетов между Fibre Channel и Parallel SCSI устройствами, примерами которых могут служить Solid State Disk (SSD) или библиотеки на магнитных лентах. Следует заметить, что в последнее время практически все устройства, которые могут быть утилизированы в рамках SAN, производители начинают выпускать с вмонтированным FC интерфейсом для прямого их подключения к сетям хранения данных.

Серверы и Сторедж

Несмотря на то что серверы и сторедж - далеко не последние по важности компоненты SAN, мы на их описании останавливаться не будем, поскольку уверены, что с ними хорошо знакомы все наши читатели.

В конце хочется добавить, что эта статья - лишь первый шаг к сетям хранения данных. Для полного понимания темы читателю следует уделить немало внимания особенностям реализации компонент производителями SAN и программным средствам управления, поскольку без них Storage Area Network - это всего лишь набор элементов для коммутации сторедж-систем, которые не принесут вам полноты преимуществ от реализации сети хранения данных.

Заключение

Сегодня Storage Area Network является довольно новой технологией, которая в скором времени может стать массовой в кругу корпоративных заказчиков. В Европе и США предприятия, которые имеют достаточно большой парк инсталлированных сторедж-систем, уже начинают переходить на сети хранения данных для организации сторедж с наилучшим показателем общей стоимости владения.

По прогнозам аналитиков, в 2005 году значительное количество серверов среднего и верхнего уровня будут поставляться с предварительно установленным интерфейсом Fibre Channel (такую тенденцию можно заметить уже сегодня), и лишь для внутреннего подключения дисков в серверах будет использоваться параллельный SCSI интерфейс. Уже сегодня при построении сторедж-систем и приобретении серверов среднего и верхнего уровня следует обратить внимание на эту перспективную технологию, тем более, что уже сегодня она дает возможность реализовать ряд задач куда дешевле, чем с помощью специализированных решений. Кроме того, вкладывая в технологию SAN сегодня, вы не потеряете свои вложения завтра, поскольку особенности Fibre Channel создают прекрасные возможности для использования в будущем вложенных сегодня инвестиций.

P.S.

Предыдущая версия статьи была написана в июне 2000 года, но в связи с отсутствием массового интереса к технологии сетей хранения данных публикация была отложена на будущее. Это будущее настало сегодня, и я надеюсь, что данная статья побудит читателя осознать необходимость перехода на технологию сетей хранения данных, как передовую технологию построения сторедж-систем и организации доступа к данным.

Система хранения данных (СХД) представляет собой комплекс программных и аппаратных средств, созданных для управления и хранения больших объёмов информации. Основными носителями информации в данное время являются жёсткие диски, объёмы которых совсем недавно достигли 1 терабайта. Основным хранилищем информации в малых компаниях являются файловые серверы и серверы СУБД, данные которых хранятся на локальных жёстких дисках. В крупных компаниях объёмы информации могут достигать сотен терабайт, причём к ним выдвигаются ещё большие требования по скорости и надёжности. Никакие локально подключенные к серверам диски не могут удовлетворить этим потребностям. Именно поэтому крупные компании внедряют системы хранения данных (СХД).

Основными компонентами СХД являются: носители информации, системы управления данными и сети передачи данных.

• Носители информации. Как уже было сказано выше, сейчас основными носителями информации являются жёсткие диски (возможно в ближайшем будущем будут заменены твердотельными электронными накопителями SSD). Жёсткие диски, подразделяются на 2 основных типа: надёжные и производительные SAS (Serial Attached SCSI) и более экономичные SATA. В системах резервного копирования также применяются ленточные накопители (стриммеры).
• Системы управления данными. СХД предоставляет мощные функции по управлению данными. СХД обеспечивает функции зеркалирования и репликации данных между системами, поддерживает отказоустойчивые, самовосстанавливающиеся массивы, предоставляет функции мониторинга, а также функции резервного копирования на аппаратном уровне.
• Сети передачи данных. Сети передачи данных предоставляют среду, по которой осуществляется связь между серверами и СХД или связь одной СХД с другой. Жёсткие диски разделяют по типу подключения: DAS (Direct Attached Storage) - непосредственно подключенные к серверу диски, NAS (Network Attached Storage) – диски, подключенные по сети (доступ к данным осуществляется на уровне файлов, обычно по FTP, NFS или SMB) и SAN (Storage Area Network) – сети хранения данных (предоставляют блочный доступ). В крупных системах хранения данных основным типом подключения является SAN. Существует 2 метода построения SAN на основе Fibre Channel и iSCSI. Fibre Channel (FC) в основном применяется для соединения внутри одного центра обработки данных. А iSCSI представляет собой протокол передачи SCSI команд поверх IP, которые могут маршрутизироваться обычными IP маршрутизаторами. iSCSI позволяет строить гео-распределённые кластеры.

Решение СХД на базе массивов HP и коммутаторов CISCO, объём данных свыше 1 ПБ (1 петабайт).

Основными производителями устройств, применяемых для построения СХД, являются HP, IBM, EMC, Dell, Sun Microsystems и NetApp. Cisco Systems предлагает широкий выбор Fibre Channel коммутаторов, обеспечивающих связь между устройствами СХД.

Компания ЛанКей имеет большой опыт построения систем хранения данных на базе оборудования перечисленных выше производителей. При построении СХД мы сотрудничаем с производителями и строим высокопроизводительные и высоконадёжные системы хранения информации. Наши инженеры спроектируют и внедрят СХД, соответствующую специфике вашего бизнеса, а также разработают систему управления вашими данными.

– это аппаратно-программное решение для надежного хранения данных и предоставление быстрого и надежного доступа к ним.

Реализация аппаратного обеспечения в системах хранения данных (СХД) схоже с реализацией архитектуры персонального компьютера. Зачем же тогда вообще применять СХД в архитектуре локальной сети организации, почему нельзя обеспечить, внедрить СХД на базе обычного ПК?

СХД как дополнительный узел локальной сети на базе персоналки или даже мощного сервера существуют уже давно.

Простейшее предоставление доступа к данным по протоколам FTP (протокол передачи фалов) и SMB (протокол удаленного доступа к сетевым ресурсам) поддержка которых есть во всех современных операционных системах.

Почему же тогда вообще появились СХД ?

Все просто , появление СХД связано с отставанием в развитии и скорости работы постоянно запоминающих устройств (жестких магнитных дисков) от центрального процессора и оперативной памяти. Самым узким местом в архитектуре ПК до сих пор считается жесткий диск, даже не смотря на мощное развитие SATA (последовательного интерфейса) до скорости обмена в 600 Мбайт/с (SATA3 ), физическое устройство накопителя представляет собой пластину, доступ к данным на которой нужно получить с помощью считывающих головок, что очень медленно. Последние недостатки на текущий момент решены накопителями SSD (не механическое запоминающее устройство), построенных на основе микросхем памяти. Кроме высокой цены на SSD у них есть, на мой взгляд, на текущий момент времени, недостаток в надежности. Инженеры СХД предложили вытеснить устройства хранения в отдельный элемент, а оперативную память таких устройств использовать для хранения часто меняющихся данных по специальным алгоритмам, для чего понадобилась программная составляющая продукта. В итоге системы хранения данных работают быстрее, чем накопители на жестких дисках в серверах, а вынос устройства хранения (дисковой подсистемы в отдельный элемент) повлияло на надежность и централизацию системы в целом.

Надежность обеспечил факт реализации в отдельном устройстве дисковой системы, которая работая с программной составляющей, выполняет одну функцию – это операции ввода/вывода и хранения данных.

Кроме простого принципа – одно устройство, одна функция обеспечивающее надежность. Все основные узлы: блоки питания, контроллеры системы хранения данных дублируют, что конечно еще больше увеличивает надежность системы, но сказывается на цене конечного продукта.

Вынос дисковой системы в отдельный узел позволяет централизовать устройства хранения . Как правило, без отдельного сетевого хранилища, домашние папки пользователей, почта, базы данных хранятся на отдельных узлах, как правило, серверах в сети, что очень неудобно, не надежно. Приходится делать резервные копии, дублировать данные на резервный сервер в сети, что кроме расходов на поддержку и аппаратуру, программное обеспечение, занимает часть пропускной способности сети.

Вот как это выглядит:

С отдельным СХД:

В зависимости от способа, технологии подключения СХД в информационную сеть. СХД подразделяют на: DAS, NAS, SAN

DAS (Direct Attached Storage) – способ подключения, который ничем не отличается от стандартного подключения жесткого диска, массивов дисков (RAID) к серверу или ПК. Как правило, для подключения используется SAS .

SAS – фактически, протокол рассчитанный на замену SCSI, использует последовательный интерфейс в отличии от SCSI, но команды используются те же самые, что и в SCSI. SAS имеет большую пропускную способность благодаря канальным соединениям в одном интерфейсе.

NAS (Network Attached Storage) – дисковая система подключается к общей LAN сети, используется транспортный протокол TCP, поверх модели работают протоколы SMB, NFS (удаленный доступ к файлам и принтерам).

SAN (Storage Area Network) – это выделенная сеть объединяющая устройства хранения с серверами. Работает с использованием протокола Fibre Channel либо iSCSI .

С Fibre Channel все понятно – оптика. А вот iSCSI – инкапсуляция пакетов в протокол IP, позволяет создавать сети хранения данных на основе Ethernet инфраструктуры, скорость передачи 1Gb и 10GB. Скорости работы iSCSI по мнению разработчиков должно хватать почти для всех бизнес приложений. Для подключения сервера к СХД по iSCSI требуются адаптеры с поддержкой iSCSI . До каждого устройства при использовании iSCSI прокладывают как минимум два маршрута, применяя VLAN , каждому устройству и LUN (определяет виртуальный раздел в массиве, используется при адресации) присваивается адрес (World Wide Name ).

Отличие NAS от SAN в том, что в сети SAN при операциях ввода/вывода данные считываются и записываются блоками. СХД не имеет никакого представления об устройстве файловых систем.

Из наиболее брендовых вендоров на рынке устройств хранения можно выделить: NetApp, IBM, HP, DELL, HITACHI, EMC.

Для нашего проекта требуется система хранения данных со следующими характеристиками:

• Объем 1Тб для файлов, 1Тб для операционных систем серверов и баз данных, 300 – 500 Гб, для резервных серверов + запас. Итого минимум 3Тб дискового пространства
• Поддержка протоколов SMB и NFS, для раздачи общих файлов для пользователей без участия серверов
• Если хотим загрузку гипервизора с СХД , нужен как минимум протокол iSCSI
• По идее еще нужно учитывать такой важный параметр как скорость ввода вывода (IO) который сможет обеспечить СХД. Прикинуть это параметр можно измерением IO на действующем железе, например программой IOMeter.

Нужно учитывать, что кластеризация от Microsoft работает только через Fibre Channel.

Вот список фирм и железок для выбора:

Asustor

Asustor AS 606T , AS 608T , 609 RD (кроме возможности установки до 8-ми дисков емкостью 4Tb заявлена поддержка VMware, Citrix и Hyper-V.

Аппаратная составляющая

CPU Intel Atom 2.13

RAM 1GB (3GB) DDR3

Hard 2.5, 3.5, SATA 3 or SSD

Lan Gigabit Ethernet – 2

ЖК-Экран, HDMI

Сеть

Сетевые протоколы

Файловая система

Для встроенных жестких дисков: EXT4, Для внешних жестких дисков: FAT32, NTFS, EXT3, EXT4, HFS+

Хранение

Поддержка нескольких томов с резервными дисками

Тип тома: Single disk, JBOD, RAID 0, RAID 1, RAID 5, RAID 6, RAID 10

Поддержка онлайн-миграции уровней RAID-массива

Максимальное число целей: 256

Максимальное число LUN: 256

Маскирование целей

Отображение LUN

Монтирование ISO-образов

Поддержка MPIO и MCS

Постоянное резервирование (SCSI-3)

Управление дисками

Поиск поврежденных блоков по графику

Сканирование S.M.A.R.T по графику

Поддерживаемые ОС

Windows XP, Vista, 7, 8, Server 2003, Server 2008, Server 2012

Mac OS X 10.6 Onwards

UNIX, Linux, and BSD

Резервное копирование

Поддержка режима Rsync (удаленной синхронизации)

Резервное копирование в «облако»

Резервное копирование по FTP

Резирвирование на внешние носители

Резервное копирование одним касанием

Системное администрирование

Тип журнала регистрации: системный журнал, журнал подключений, журнал доступа к файлам

Регистратор действий пользователя в реальном времени

Системный монитор реального времени

Сетевая корзина

Дисковая квота пользователей

Виртуальный диск (монтирование образов ISO, макс. 16)

Поддержка ИБП

Управление доступом

Максимальное число пользователей: 4096

Максимальное число групп: 512

Максимальное число папок общего доступа: 512

Максимальное число одновременных подключений: 512

Поддержка Windows Active Directory

Безопасность

Брандмауэр: предотвращение несанкционированного доступа

Сетевой фильтр: предотвращение сетевых атак

Уведомления об угрозах: E-mail, SMS

Защищенные подключения: HTTPS, FTP через SSL/TLS, SSH, SFTP, Rsync через SSH

Операционная система ADM с возможностью подключения дополнительных модулей через app central

Модели AS 604RD , AS 609RD в отличие от AS 606T , AS 608T , не имеют в своем составе ЖК-дисплея, предназначены для установки в стойку и имеют резервный блок питания, заявлена поддержка платформ виртуализации

Netgear

Ready Nas 2100 , Ready Nas 3100 , Ready Nas Pro 6

Аппаратная составляющая

CPU Intel SOC 1ГГц

Hard 2.5, 3.5, SATA 2 or SSD

Lan Gigabit Ethernet – 2

Сеть

Сетевые протоколы

CIFS/SMB, AFP, NFS, FTP, WebDAV, Rsync, SSH, SFTP, iSCSI, HTTP, HTTPS

Файловая система

Для встроенных жестких дисков: BTRFS, Для внешних жестких дисков: FAT32, NTFS, EXT3, EXT4, HFS+

Хранение

Поддержка онлайн-расширения емкости RAID-массива

Максимальное число целей: 256

Максимальное число LUN: 256

Маскирование целей

Отображение LUN

Управление дисками

Ёмкость диска, производительность, мониторинг загрузки

Сканирование для поиска плохих блоков на дисках

Поддержка HDD S.M.A.R.T.

Он-лайн коррекция данных на дисках

Поддержка режима Disk Scrubbing

Поддержка дефрагментации

Сообщения (от сервиса SMTP через e-mail, SNMP, syslog, локальный журнал)

Автоматическое выключение (HDD, вентиляторов, ИБП)

Восстановление работоспособности при возобновлении питания

Поддерживаемые ОС

Microsoft Windows Vista (32/64-bit), 7 (32/64-bit), 8 (32/64-bit), Microsoft Windows Server 2008 R2/2012, Apple OS X, Linux/Unix, Solaris, Apple iOS, Google Android)

Резервное копирование

Неограниченное число snapshot для непрерывной защиты.

Восстановление снимков в любой момент времени. Через графический интерфейс пользователя (консоль администратора), ReadyCLOUD, или проводник Windows

Возможность создания snapshot вручную или через планировщик

Синхронизация файлов через R-sync

Облачное управление Remote Replication(ReadyNAS to ReadyNAS). Не требует лицензий для устройств работающих под oперационной системой Radiator OS v6.

Резервирование в “горячем” режиме

Поддержка eSATA

Поддержка резервного копирования на внешние диски to e (USB/eSATA)

Поддержка технологии Remote Apple Time Machine backup and restore (через ReadyNAS Remote)

Поддержка сервиса ReadyNAS Vault Cloud (опционально)

Поддержка синхронизации через ReadyDROP (синхронизация файлов Mac/Windows на ReadyNAS)

Поддержка сервиса DropBox для файловой синхронизации (требуется учётная запись на сервисе DropBox)

Системное администрирование

ReadyCLOUD для обнаружения и управления устройствами

RAIDar –агент для обнаружения устройств в сетиt (Windows/Mac)

Сохранение и восстановление файла конфигураций

Журнал событий

Поддержка сообщений для сервера syslog

Поддержка сообщений для SMB

Графический интерфейс пользователя на русском и английском языках

Genie+ marketplace. Встроенный магазин приложений для повышения функциональности устройства

Поддержка Unicode- символов

Дисковый менеджер

Поддержка Thin provision Shares and LUNs

Мгновенное выделение ресурсов

Управление доступом

Максимальное число пользователей: 8192

Максимальное число групп: 8192

Максимальное количество папок предоставляемых для сетевого доступа: 1024

Максимальное количество подключение: 1024

Доступ к папкам и файлам на основе ACL

Расширенные разрешения для папок и подпапок на основе ACL для CIFS / SMB, AFP, FTP, Microsoft Active Directory (AD) Domain Controller Authentication

Собственные списки доступа

Списки доступа ReadyCLOUD на основе ACL

Операционная система

ReadyNAS OS 6 базируется на Linux 3.x

Ready Nas 3100 отличает Ready Nas 2100 объемом памяти 2Гб ECC

Ready Nas Pro 6 – хранилище с шестью слотами, процессор Intel Atom D510, память DDR2 1Гбайт

Qnap

TS-869U-RP , TS-869 PRO

Аппаратная составляющая

CPU Intel Atom 2.13ГГц

Hard 2.5, 3.5, SATA 3 or SSD

Lan Gigabit Ethernet – 2

Сеть

IPv4, IPv6, Supports 802.3ad and Six Other Modes for Load Balancing and/or Network Failover, Vlan

Сетевые протоколы

CIFS/SMB, AFP, NFS, FTP, WebDAV, Rsync, SSH, SFTP, iSCSI, HTTP, HTTPS

Файловая система

Для встроенных жестких дисков: EXT3, EXT4, Для внешних жестких дисков: FAT32, NTFS, EXT3, EXT4, HFS+

Хранение

Тип тома: RAID 0, RAID 1, RAID 5, RAID 6, RAID 10

Поддержка онлайн-расширения емкости RAID-массива

Максимальное число целей: 256

Максимальное число LUN: 256

Маскирование целей

Отображение LUN

Инициатор iSCSI (Виртуальный диск)

Stack Chaining Master

До 8 виртуальных дисков

Управление дисками

Увеличение емкости дискового пространства RAID-массива без потери данных

Сканирование на сбойные блоки

Функция восстановления RAID-массива

Поддержка Bitmap

Поддерживаемые ОС

Резервное копирование

Репликация в реальном времени (RTRR)

Работает как в качестве RTRR сервера, так и клиента

Поддерживает резервное копирование в реальном времени и по расписанию

Возможны фильтрация файлов, сжатие и шифрование

Кнопка копирования данных с/на внешнее устройство

Поддержка Apple Time Machine с управлением резервирования

Репликация ресурсов на уровне блоков (Rsync)

Работает как в качестве сервера, так и клиента

Защищенная репликация между серверами QNAP

Резервное копирование на внешние носители

Резервное копирование на облачные системы хранения данных

Приложение NetBak Replicator для Windows

Поддержка Apple Time Machine

Системное администрирование

Веб-интерфейс на технологии AJAX

Подключение по HTTP/ HTTPS

Мгновенные уведомления по E-mail и SMS

Управление системой охлаждения

DynDNS и специализированный сервис MyCloudNAS

Поддержка ИБП с SNMP-управлением (USB)

Поддержка сетевых ИБП

Монитор ресурсов

Сетевая корзина для CIFS/ SMB и AFP

Подробные журналы событий и подключений

Список активных пользователей

Клиент Syslog

Обновление микропрограммы

Сохранение и восстановление системных настроек

Восстановление заводских настроек

Управление доступом

До 4096 учетных записей пользователей

До 512 групп пользователей

До 512 сетевых ресурсов

Пакетное добавление пользователей

Импорт/экспорт пользователей

Задание параметров квотирования

Управление правами доступа на вложенные папки

Операционная система

TS – 869 Pro – модель без резервного блока питания, объем памяти 1Гб

Synology

RS 2212 , DS1813

Аппаратная составляющая

CPU Intel Core 2.13ГГц

Hard 2.5, 3.5, SATA 2 or SSD

Lan Gigabit Ethernet – 2

Сеть

IPv4, IPv6, Supports 802.3ad and Six Other Modes for Load Balancing and/or Network Failover

Сетевые протоколы

CIFS/SMB, AFP, NFS, FTP, WebDAV, SSH

Файловая система

Для встроенных жестких дисков: EXT3, EXT4, Для внешних жестких дисков: NTFS, EXT3, EXT4

Хранение

Тип тома: RAID 0, RAID 1, RAID 5, RAID 6, RAID 10

Максимальное число целей: 512

Максимальное число LUN: 256

Управление дисками

Изменение уровня RAID без остановки работы системы

Поддерживаемые ОС

Windows 2000 и последующие версии, Mac OS X 10.3 и последующие версии, Ubuntu 9.04 и последующие версии

Резервное копирование

Сетевое резервирование

Локальное резервирование

Синхронизация папок общего доступа

Резервирование рабочего стола

Системное администрирование

Уведомление о событиях системы по SMS, E-mail

Пользовательская квота

Мониторинг ресурсов

Управление доступом

До 2048 учетных записей пользователей

До 256 групп пользователей

До 256 сетевых ресурсов

Операционная система

DS1813 – 2 Гб оперативной памяти, 4 Gigabit, поддержка HASP 1C, поддержка дисков 4Тб

Thecus

N8800PRO v2 , N7700PRO v2 , N8900

Аппаратная составляющая

CPU Intel Core 2 1.66ГГц

Lan Gigabit Ethernet – 2

Возможность LAN 10Гб

Сеть

IPv4, IPv6, Supports 802.3ad and Six Other Modes for Load Balancing and/or Network Failover

Сетевые протоколы

CIFS/SMB, NFS, FTP

Файловая система

Для встроенных жестких дисков: EXT3, EXT4, Для внешних жестких дисков: EXT3, EXT4, XFS

Хранение

Тип тома: RAID 0, RAID 1, RAID 5, RAID 6, RAID 10, RAID 50, RAID 60

Поддержка онлайн-расширения емкости RAID-массива

Маскирование целей

Отображение LUN

Управление дисками

Контроль состояния дисков (S.M.A.R.T)

Сканирование на сбойные блоки

Возможность монтирования ISO-образов

Поддерживаемые ОС

Microsoft Windows 2000, XP, Vista (32/ 64 bit), Windows 7 (32/ 64 bit), Server 2003/ 2008

Резервное копирование

Acronis True Image

Утилита резервного копирования от Thecus

Чтение с оптического диска на Nas

Системное администрирование

Серверный веб-интерфейс администрирования

Управление доступом

Поддержка ADS

Операционная система

N7700PRO v2 – модель без резервного блока питания

N8900 – новая модель с поддержкой SATA 3 и SAS

Исходя из данных выше, в необходимости не менее 3-x Tb на текущий момент, а при обновлении ОС и программ эту цифру можно умножить на два, то нужно дисковое хранилище с емкостью не менее 6Tb , и с возможностью роста. Поэтому с закладкой на будущее и организации массива RAID 5 итоговой цифрой является необходимость в 12 Tb . При поддержке дисковой системы жестких дисков емкостью 4Tb, нужна система с не менее шестью отсеками для дисков.

Выбор был существенно уменьшен следующими моделями: AS 609RD , Ready NAS 3200 , TS-869U-RP , RS-1212RP+ , N8900 . Все модели имеют в своем составе дополнительный блок питания . И заявленную производителем поддержку известных платформ виртуализации . Наиболее интересной показалась модель от NetGear - Ready NAS 3200 , так как только эта модель кроме SMART поддерживала хоть какие та дополнительные технологии для работы с дисками кроме SMART и память с ECC, но цена вылетала за 100 000 руб, к тому же были сомнения по поводу возможности работы в ней дисков 4Tb и SATA3. Цена за RS-1212RP+ , тоже вылетала выше 100 тысяч. AS 609RD – игрок на рынке систем хранения очень новый, поэтому не известно как поведет себя эта СХД .

Из чего оставалось только две системы на выбор : TS-869 U- RP , N8900 .

TS-869U-RP – на текущий момент стоит порядка 88 000 руб.

N8900 – цена 95 400 руб, имеет массу преимуществ в сравнении с TS-869U-RP – это поддержка как дисков SATA так и SAS , возможность дополнительной установки адаптера 10 Gb , более мощный двуядерный процессор, поддержка дисков SATA3 4Tb. Кроме того существует резервирование прошивки на резервную микросхему, что дает более выгодную надежность по сравнению с другими системами.

• Назад

Shkera

Начинаем новую рубрику под названием «Ликбез». Здесь будут описываться, казалось бы, всем хорошо известные вещи, но, как часто оказывается — не всем, и не настолько хорошо. Надеемся, что рубрика будет полезной.

Итак, выпуск №1 – «Системы хранения данных».

Системы хранения данных.

По-английски они называются одним словом – storage, что очень удобно. Но на русский это слово переводится довольно коряво – «хранилище». Часто на слэнге «ИТ-шников» используют слово «сторадж» в русской транскрипции, или слово «хранилка», но это уже совсем моветон. Поэтому будем использовать термин «системы хранения данных», сокращенно СХД, или просто «системы хранения».

К устройствам хранения данных можно отнести любые устройства для записи данных: т.н. «флешки», компакт-диски (CD, DVD, ZIP), ленточные накопители (Tape), жесткие диски (Hard disk, их еще называют по старинке «винчестеры», поскольку первые их модели напоминали обойму с патронами одноименной винтовки 19 века) и пр. Жесткие диски используются не только внутри компьютеров, но и как внешние USB-устройства записи информации, и даже, например, одна из первых моделей iPod’а – это небольшой жесткий диск диаметром 1,8 дюйма, с выходом на наушники и встроенным экраном.

В последнее время все большую популярность набирают т.н. «твердотельные» системы хранения SSD (Solid State Disk, или Solid State Drive), которые по принципу действия схожи с «флешкой» для фотоаппарата или смартфона, только имеют контроллер и больший объем хранимых данных. В отличие от жесткого диска, SSD-диск не имеет механически движущихся частей. Пока цены на такие системы хранения достаточно высоки, но быстро снижаются.

Все это – потребительские устройства, а среди промышленных систем следует выделить, прежде всего, аппаратные системы хранения: массивы жестких дисков, т.н. RAID-контроллеры для них, ленточные системы хранения для долговременного хранения данных. Кроме того, отдельный класс: контроллеры для систем хранения, для управления резервированием данных, создания «мгновенных снимков» (Snapshot) в системе хранения для последующего их восстановления, репликации данных и т.д.). В системы хранения данных также входят сетевые устройства (HBА, коммутаторы Fiber Channel Switch, кабели FC/SAS и пр.). И, наконец, разработаны масштабные решения по хранению данных, архивации, восстановления данных и устойчивости к катастрофам (disater recovery).

Откуда берутся данные, которые необходимо хранить? От нас, любимых, пользователей, от прикладных программ, электронной почты, а также от различного оборудования – файловых серверов, и серверов баз данных. Кроме того, поставщик большого количества данных – т.н. устройства М2М (Machine-to-Machine communication) – разного рода датчики, сенсоры, камеры и пр.

По частоте использования хранимых данных, СХД можно подразделить на системы краткосрочного хранения (online storage), хранения средней продолжительности (near-line storage) и системы долговременного хранения (offline storage).

К первым можно отнести жесткий диск (или SSD) любого персонального компьютера. Ко вторым и третьим – внешние системы хранения DAS (Direct Attached Storage), которые могут представлять собой массив внешних, по отношению к компьютеру, дисков (Disk Array). Их, в свою очередь также можно подразделить на «просто массив дисков» JBOD (Just a Bunch Of Disks) и массив с управляющим контроллером iDAS (intelligent disk array storage).

Внешние системы хранения бывают трех типов DAS (Direct Attached Storage), SAN (Storage Area Network) и NAS (Network attached Storage). К сожалению, даже многие опытные ИТ-шники не могут объяснить разницу между SAN и NAS, говоря, что когда-то эта разница была, а теперь – ее, якобы, уже и нет. На самом деле, разница есть, и существенная (см. рис. 1).

Рисунок 1. Различие между SAN и NAS.

В SAN с системой хранения связаны фактически сами серверы через сеть области хранения данных SAN. В случае NAS – сетевые серверы связаны через локальную сеть LAN с общей файловой системой в RAID.

Основные протоколы подключения СХД

Протокол SCSI (Small Computer System Interface), произносится как «скáзи», протокол, разработанный в середине 80-х годов для подключения внешних устройств к мини-компьютерам. Его версия SCSI-3 является основой для всех протоколов связи систем хранения данных и использует общую систему команд SCSI. Его основные преимущества: независимость от используемого сервера, возможность параллельной работы нескольких устройств, высокая скорость передачи данных. Недостатки: ограниченность числа подключенных устройств, дальность соединения сильно ограничена.

Протокол FC (Fiber Channel), внутренний протокол между сервером и совместно используемой СХД, контроллером, дисками. Это широко используемый протокол последовательной связи, работающий на скоростях 4 или 8 Гигабит в секунду (Gbps). Он, как явствует из его названия, работает через оптоволокно (fiber), но и по меди тоже может работать. Fiber Channel – основной протокол для систем хранения FC SAN.

Протокол iSCSI (Internet Small Computer System Interface), стандартный протокол для передачи блоков данных поверх широко известного протокола TCP/IP т.е. «SCSI over IP». iSCSI может рассматриваться как высокоскоростное недорогое решение для систем хранения, подключаемых удаленно, через Интернет. iSCSI инкапсулирует команды SCSI в пакеты TCP/IP для передачи их по IP-сети.

Протокол SAS (Serial Attached SCSI). SAS использует последовательную передачу данных и совместим с жесткими дисками SATA. В настоящий момент SAS может передавать данные со скоростью 3 Гбит/с или 6 Гбит/с, и поддерживает режим полного дуплекса, т.е. может передавать данные в обе стороны с одинаковой скоростью.

Типы систем хранения.

Можно различить три основных типа систем хранения:

• DAS (Direct Attached Storage)
• NAS (Network attached Storage)
• SAN (Storage Area Network)

СХД c непосредственном подключением дисков DAS были разработаны еще в конце 70-х годов, вследствие взрывного увеличения пользовательских данных, которые уже просто физически не помещались во внутренней долговременной памяти компьютеров (для молодых сделаем примечание, что здесь речь идет не о персоналках, их тогда еще не было, а больших компьютерах, т.н. мейнфреймах). Скорость передачи данных в DAS была не очень высокой, от 20 до 80 Мбит/с, но для тогдашних нужд её вполне хватало.

Рисунок 2. DAS

СХД с сетевым подключением NAS появились в начале 90-х годов. Причиной стало быстрое развитие сетей и критические требования к совместному использованию больших массивов данных в пределах предприятия или сети оператора. В NAS использовалась специальная сетевая файловая система CIFS (Windows) или NFS (Linux), поэтому разные серверы разных пользователей могли считывать один и тот же файл из NAS одновременно. Скорость передачи данных была уже повыше: 1 – 10 Гбит/с.

Рисунок 3. NAS

В середине 90-х появились сети для подключения устройств хранения FC SAN. Их разработка была вызвана необходимостью организации разбросанных по сети данных. Одно устройство хранения в SAN может быть разбито на несколько небольших узлов, называемых LUN (Logical Unit Number), каждый из которых принадлежит одному серверу. Скорость передачи данных возросла до 2-8 Гбит/с. Такие СХД могли обеспечивать технологии защиты данных от потерь (snapshot, backup).

Рисунок 4. FC SAN

Другая разновидность SAN – IP SAN (IP Storage Area Network), разработанная в начале 2000-х годов. FC SAN были дороги, сложны в управлении, а сети протокола IP находились на пике развития, поэтому и появился этот стандарт. СХД подключались к серверам при помощи iSCSI-контроллера через IP-коммутаторы и обеспечивали скорость передачи данных 1 – 10 Гбит/с.

Рис.5. IP SAN.

В таблице ниже показаны некоторые сравнительные характеристики всех рассмотренных систем хранения:

Тип	NAS	SAN
Параметр		FC SAN	IP SAN	DAS
Тип передачи	SCSI, FC, SAS	FC	IP	IP
Тип данных	Блок данных	Файл	Блок данных	Блок данных
Типичное приложение	Любое	Файл-сервер	Базы данных	Видео-наблюдение
Преимущество	Превосходная совместимость	Легкость установки, низкая стоимость	Хорошая масштаби-руемость	Хорошая масштаби-руемость
Недостатки	Трудность управления. Неэффективное использование ресурсов. Плохая масштабиру-емость	Низкая производительность. Ограничения в применимости	Высокая стоимость. Сложность конфигурации масштабирования	Низкая производи-тельность

Кратко, SAN предназначены для передачи массивных блоков данных в СХД, в то время как NAS обеспечивают доступ к данным на уровне файлов. Комбинацией SAN + NAS можно получить высокую степень интеграции данных, высокопроизводительный и совместный доступ к файлам. Такие системы получили название unified storage – «унифицированные системы хранения».

Унифицированные системы хранения: архитектура сетевых СХД, которая поддерживает как файлово-ориентированную систему NAS, так и блоко-ориентированную систему SAN. Такие системы были разработаны в начале 2000-х годов с целью разрешить проблемы администрирования и высокой суммарной стоимости владения раздельными системами на одном предприятии. Эта СХД поддерживает практически все протоколы: FC, iSCSI, FCoE, NFS, CIFS.

Жесткие диски

Все жесткие диски можно подразделить на два основных типа: HDD (Нard Disk Drive, что, собственно, и переводится как «жесткий диск») и SSD (Solid State Drive, – т.н. «твердотельный диск»). То есть, и тот и другой диск – жесткие. Что же тогда «мягкий диск», такие вообще бывают? Да, в прошлом были, назывались «флоппи-диски» (так их прозвали из-за характерного “хлопающего” звука в дисководе при работе). Приводы для них ещё можно увидеть в системных блоках старых компьютеров, которые сохранились в некоторых госучреждениях. Однако, при всем желании, такие магнитные диски их вряд ли можно отнести к СИСТЕМАМ хранения. Это были некие аналоги теперешних «флешек», хотя и очень небольшой ёмкости.

Различие HDD и SSD в том, что HDD имеет внутри несколько соосных магнитных дисков и сложную механику, перемещающую магнитные головки считывания-записи, а SSD совсем не имеет механически движущихся частей, и представляет собой, по сути, микросхему, запрессованную в пластик. Поэтому называть «жесткими дисками» только HDD, строго говоря, некорректно.

Жесткие диски можно классифицировать по следующим параметрам:

• Конструктивное исполнение: HDD, SSD;
• Диаметру HDD в дюймах: 3.5 , 2.5, 1.8 дюйма;
• Интерфейсу: ATA/IDE, SATA/NL SAS, SCSI, SAS, FC
• Классу использования: индивидуальные (desktop class), корпоративные (enterprsie class).

Параметр	SATA	SAS	NL-SAS	SSD
Скорость вращения (RPM)	7200	15000/10000	7200	NA
Типичная ёмкость (TБ)	1T/2T/3T	0.3T/0.6T/0.9T	2T/3T/4T	0.1T/0.2T/0.4T
MTBF (час)	1 200 000	1 600 000	1 200 000	2 000 000
Примечания	Развитие жестких дисков ATA с последовательной передачей данных. SATA 2.0 поддерживает скорости передачи 300MБ/с, SATA3.0 поддерживает до 600MБ/с. Среднегодовой % отказов AFR (Annualized Failure Rate) для дисков SATA – около 2%.	Жесткие диски SATA с интерфейсом SAS подходят для иерархических (tiering). Среднегодовой % отказов AFR (Annualized Failure Rate) для дисков NL-SAS около 2%.		Твердотельные диски выполненные из электронных микросхем памяти, включая устройство управления и чип (FLASH/DRAM). Спецификация интерфейса, функции и метод использования такие же, как у HDD, размер и форма – тоже.

Характеристики жестких дисков.

• Ёмкость

В современных жестких дисках емкость измеряется в гигабайтах или терабайтах. Для HDD эта величина кратна ёмкости одного магнитного диска внутри коробки, умноженной на число магнитных, которых обычно бывает несколько.

• Скорость вращения (только для HDD)

Скорость вращения магнитных дисков внутри привода, измеряется в оборотах в минуту RPМ (Rotation Per Minute), обычно составляет 5400 RPM или 7200 RPM. HDD с интерфейсами SCSI/SAS имеют скорость вращения 10000－15000 RPM.

• Среднее время доступа = Среднее время поиска (Mean seek time) + Среднее время ожидания (Mean wait time), т.е. время извлечения информации с диска.
• Скорость передачи данных

Это скорости считывания и записи данных на жестком диске, измеряемая в мегабайтах в секунду (MB/S).

• IOPS (Input/Output Per Second)

Число операций ввода-вывода (или чтения-записи) в секунду (Input/Output Operations Per Second), один из основных индикаторов измерения производительности диска. Для приложений с частыми операциями чтения и записи, таких как OLTP (Online Transaction Processing) – онлайн-обработка транзакций, IOPS – самый важный показатель, т.к. именно от него зависит быстродействие бизнес-приложения. Другой важный показатель – data throughput, что примерно можно перевести как «пропускная способность передачи данных», что показывает, какой объем данных можно передать за единицу времени.

RAID

Как бы ни были надёжны жесткие диски, а все же данные в них иногда теряются, по разным причинам. Поэтому была предложена технология RAID (Redundant Array of Independent Disks) – массив независимых дисков с избыточностью хранения данных. Избыточность означает то, что все байты данных при записи на один диск дублируются на другом диске, и могут быть использованы в том случае, если первый диск откажет. Кроме того, эта технология помогает увеличить IOPS.

Основные понятия RAID – stripping (т.н. «располосование» или разделение) и mirroring (т.н. «зеркалирование», или дублирование) данных. Их сочетания определяют различные виды RAID-массивов жестких дисков.

Различают следующие уровни RAID-массивов:

Комбинации этих видов порождают еще несколько новых видов RAID:

Рисунок поясняет принцип выполнения RAID 0 (разделение):

Рис. 6. RAID 0.

А так выполняется RAID 1 (дублирование):

Рис. 7. RAID 1.

А вот так работает RAID 3. XOR – логическая функция “исключающее ИЛИ” (eXclusive OR). При помощи неё вычисляется значение паритета для блоков данных A, B, C, D… , который записывается на отдельный диск.

Рис. 8. RAID 3.

Вышеприведенные схемы хорошо иллюстрируют принцип действия RAID и в комментариях не нуждаются. Мы не будем приводить схемы работы остальных уровней RAID, желающие могут их найти в Интернете.

Основные характеристики видов RAID приведены в таблице.

Программное обеспечение систем хранения

Программное обеспечение для систем хранения можно подразделить на следующие категории:

1. Управление и администрирование (Management): управление и задание параметров инфраструктуры: вентиляции, охлаждения, режимы работы дисков и пр., управление по времени суток и пр.
2. Защита данных: Snapshot («моментальный снимок» состояния диска), копирование содержимого LUN, множественное дублирование (split mirror), удаленное дублирование данных (Remote Replication), непрерывная защита данных CDP (Continuous Data Protection) и др.
3. Повышение надежности: различное ПО для множественного копирования и резервирования маршрутов передачи данных внутри ЦОД и между ними.
4. Повышение эффективности: Технология тонкого резервирования (Thin Provisioning), автоматическое разделение системы хранения на уровни (tiered storage), устранение повторений данных (deduplication), управление качеством сервиса, предварительное извлечение из кэш-памяти (cache prefetch), разделение данных (partitioning), автоматическая миграция данных, снижение скорости вращения диска (disk spin down)

Очень интересна технология «thin provisioning ». Как это часто бывает в ИТ, термины часто трудно поддаются адекватному переводу на русский язык, например, трудно точно перевести слово «provisioning» («обеспечение», «поддержка», «предоставление» – ни один из этих терминов не передает смысл полностью). А уж когда оно – «тонкое» (thin)…

Для иллюстрации принципа «thin provisioning», можно привести банковский кредит. Когда банк выпускает десять тысяч кредитных карт с лимитом в 500 тысяч, ему не нужно иметь на счету 5 миллиардов, чтобы этот объем кредитов обслуживать. Пользователи кредитных карт обычно не тратят весь кредит сразу, и используют лишь его малую часть. Тем не менее, каждый пользователь в отдельности может воспользоваться всей или почти всей суммой кредита, если общий объем средств банка не исчерпан.

Рис. 9. Thin provisioning .

Таким образом, использование thin provisioning позволяет решить проблему неэффективного распределения пространства в SAN, сэкономить место, облегчить административные процедуры распределения пространства приложениям на хранилище, и использовать так называемый oversubscribing, то есть выделить приложениям места больше, чем мы располагаем физически, в расчете на то, что приложения не затребуют одновременно все пространство. По мере же возникновения в нем потребности позже возможно увеличить физическую емкость хранилища.

Разделение системы хранения на уровни (tiered storage) предполагает, что различные данные хранятся в устройствах хранения, быстродействие которых соответствует частоте обращения к этим данным. Например, часто используемые данные можно размещать в «online storage» на дисках SSD с высокой скоростью доступа, высокой производительностью. Однако, цена таких дисков пока высока, поэтому их целесообразно использовать только для online storage (пока).

Скорость дисков FC/SAS также достаточно высока, а цена умерена. Поэтому такие диски хорошо походят для «near-line storage», где хранятся данные, обращения к которым происходят не так часто, но в то же время и не так редко.

Наконец, диски SATA/NL-SAS имеют относительно невысокую скорость доступа, но зато отличаются большой емкостью и относительно дешевы. Поэтому на них обычно делают offline storage, для данных редкого использования.

Как только система управления замечает, что обращения к данным в offline storage участились, она переводит их в near-line storage, а при дальнейшей активизации их использования – и в online storage на дисках SSD.

Дедупликация (устранение повторений) данных (deduplication, DEDUP). Как следует из названия, дедупликация устраняет повторы данных на пространстве диска, обычно используемого в части резервирования данных. Хотя система неспособна определить, какая информация избыточна, она может определить наличие повторов данных. За счет этого становится возможным значительно сократить требования к емкости системы резервирования.

Снижение скорости вращения диска (Disk spin-down ) – то, что обычно называют «гибернацией» (засыпанием) диска. Если данные на каком-то диске не используются долгое время, то Disk spin-down переводит его в режим гибернации, чтобы снизить потребление энергии на бесполезное вращение диска на обычной скорости. При этом также повышается срок службы диска и увеличивается надежность системы в целом. При поступлении нового запроса к данным на этом диске, он «просыпается» и скорость его вращения увеличивается до обычной. Платой за экономию энергии и повышение надежности является некоторая задержка при первом обращении к данным на диске, но эта плата вполне оправдана.

«Моментальный снимок» состояния диска (Snapshot ). Snapshot – это полностью пригодная к использованию копия определенного набора данных на диске на момент съёма этой копии (поэтому она и называется «моментальным снимком»). Такая копия используется для частичного восстановления состояния системы на момент копирования. При этом непрерывность работы системы совершенно не затрагивается, и быстродействие не ухудшается.

Удаленная репликация данных (Remote Replication) : работает с использованием технологии зеркалирования (Mirroring). Может поддерживать несколько копий данных на двух или более сайтах для предотвращения потери данных в случае стихийных бедствий. Существует два типа репликации: синхронная и асинхронная, различие между ними пояснено на рисунке.

Рис. 10. Удаленная репликация данных (Remote Replication).

Непрерывная защита данных CDP (Continuous data protection) , также известная как continuous backup или real-time backup, представляет собой создание резервной копии автоматически при каждом изменении данных. При этом становится возможным восстановление данных при любых авариях в любой момент времени, причем при этом доступны актуальная копия данных, а не тех, что были несколько минут или часов назад.

Программы управления и администрирования (Management Software): сюда входит разнообразное программное обеспечение по управлению и администрированию различных устройств: простые программы конфигурации (cofiguration wizards), программы централизованного мониторинга: отображение топологии, мониторинг в реальном времени механизмы формирования отчетов о сбоях. Также сюда входят программы «гарантии непрерывности бизнеса» (Business Guarantee): многоразмерная статистика производительности, отчеты и запросы производительности и пр.

Восстановление при стихийных бедствиях (DR, Disaster Recovery) . Это довольно важная составляющая серьезных промышленных СХД, хотя и достаточно затратная. Но эти затраты необходимо нести, чтобы не потерять в одночасье «то, что нажито непосильным трудом». Рассмотренные выше системы защиты данных (Snapshot, Remote Replication, CDP) хороши до тех пор, пока в населённом пункте, где расположена система хранения не произошло какое-либо стихийное бедствие: цунами, наводнение, землетрясение или (тьфу-тьфу-тьфу) – ядерная война. Да и любая война тоже способна сильно подпортить жизнь людям, которые занимаются полезными делами, например, хранением данных, а не беганием с автоматом с целью оттяпать себе чужие территории или наказать каких-нибудь «неверных». Удаленная репликация подразумевает, что реплицирующая СХД находится в том же самом городе, или как минимум поблизости. Что, например, при цунами не спасает.

Технология Disaster Recovery предполагает, что центр резервирования, используемый для восстановления данных при стихийных бедствиях, располагается на значительном удалении от места основного ЦОД, и взаимодействует с ним по сети передачи данных, наложенной на транспортную сеть, чаще всего оптическую. Использовать при таком расположении основного и резервного ЦОД, например, технологию CDP будет просто невозможно технически.

В технологии DR используются три основополагающих понятия:

• BW (Backup Window) – «окно резервирования», время, необходимое для системы резервирования для того, чтобы скопировать принятый объем данных рабочей системы.
• RPO (Recovery Point Objective) – «Допустимая точка восстановления», максимальный период времени и соответствующий объем данных, который допустимо потерять для пользователя СХД.
• RTO (Recovery Time Objective) – «допустимое время недоступности», максимальное время, в течение которого СХД может быть недоступной, без критического воздействия на основной бизнес.

Рис. 11. Три основополагающих понятия технологии DR.

* * *

Данное эссе не претендует на полноту изложения и лишь поясняет основные принципы работы СХД, хотя и далеко не в полном объеме. В различных источниках в Интернете содержится много документов, более подробно описывающих все изложенные (и не изложенные) здесь моменты.

Продолжение темы СХД об объектных системах хранения – .