Nest Org Ru Team Site

Кратенько. Летим неделю. Полет – нормальный. Из приятных бонусов отмечена работа VSS (Volume Shadow Copy). SMB Server исправно живет и вроде как не “доставляет” клиенту. Из неприятных не-бонусов – проблема с подключением системы хранения к ESX (пулы теряются после перезагрузки). Пока не разобрался – это “грабли” самого ESX (надо все-таки генерировать новую сигнатуру для каждой vmfs3?), или же это проблемы COMSTAR? Storage Unit’ы остаются на прежнем месте, LUN’ы местами не меняются – короче, странно. Ожидаю озарения. И надо наконец дорисовать шпаргалку по COMSTAR – вяло выгляжу, когда непрерывно ползаю по манам, в попытке сообразить, где же я ЭТО (то или иное) видел?

Вообще ESX я как-то мастерски обходил стороной – есть вот повод плотно почитать, что он из себя представляет с точки зрения систем хранения.

Пока до реализации планов испробовать Oracle 11 на Oracle Solaris 11 (забавные получаются каламбурчики) не добрался – но уже на подходе. Про тесты Sun Ray Software писать нечего – все по старому – с инсталляцией проблемы, киоски работают криво. В целом – пригодно для работы. Но пока Oracle не выкатит официальный документ Installation Guide for Solaris (11) и в Release Notes не появится заветная надпись – только голый энтузиазм.

Все давно хотел пустить в работу Solaris 11 + COMSTAR + CIFS w/ AD, да еще и под рабочей нагрузкой, да еще и с данными – особо никому не надо было…

Праздник-таки настал. Наконец-то удалось провести практическое внедрение Solaris 11 – фаза один – переезд – выполнен. Конфигурация – Sun Fire X4500, 48x750GB SATA, собранных в большой RAIDZ2, 16 Gb RAM. Подключен (был) через аггрегацию (4-х портов). Стояла свежая Solaris 10 9/10. Было настроено 4 LUN (zvol), подключенные к ESX 4.1 через комплектный iSCSI Target – медленный, постоянно отваливающийся – короче, почти не рабочая связка. Также – была установлена samba (из комплекта ОС) – порядка 2 Тб данных розданны по smb/cifs с авторизацией в домене – масса маленьких файлов.

В результате – переставили Solaris (теперь Oracle Solaris 11 2010.09 beta, кое-какие обновления), избавились от горячо нелюбимой мной аггрегации на линках iSCSI (оставив ее там, где она нужна – на сети с CIFS сервером), переехали на Oracle SMB Server (что доставило, потому как с правами будут еще долго возиться). ESX теперь “смотрит” на Solaris через COMSTAR. Сегодня на меня почти снизошло озарение, как он должен правильно быть настроен – через неделю озарение опять потеряется – и прийдется “курить” man’ы. В ближайшее время – тестируемся под пользовательской нагрузкой (десяток-другой виртуальных машин, десяток-другой пользователей на “шаре” smb). Фаза два, вроде как.

Что сильно напрягло – ну конечно ESX… Не понимаю я жизнерадостного увлечения им, и не занимался я им никогда. Не стало неожиданностью, что хоть LUN’ы с его vmfs3 и изменили свое назначение на изменившимся же iqn таргета – я все-таки ожидал, что удасться обойтись без проблем – ситуация описанная в мануале – но кто же знал, что vCenter настолько кривой.

Фаза три – зеркалим рутовый пул, обновляем версию продуктивного пула – радуемся.

Фаза четыре – “чешется” попробовать COMSTAR с FC в продуктиве. Ждем, это в ближайших планах.

Что? Вторая часть? Собственно – вторая часть посвящена слову УНИВЕРСАЛЬНЫЙ Здесь мы будем настраивать iSCSI Target / COMSTAR, чтобы пригнать диски на ESX/Mac/Win… В час я явно не влез – но это по не зависящим от меня причинам

Нам потребуется подключение к интернету. Также нужно ознакомиться с man-ами на команды: itadm, sbdadm, stmfadm.

- даем команду pkg install storage-server – и, в зависимости от ширины канала – либо быстро пьем кофе, либо долго смотрим в консоль;
- Запускаем сервис svcadm enable -r svc:/network/iscsi/target:default;
- создаем iSCSI Target: itadm create-target (ну и проверим себя – itadm list-target -v);
- создаем zvol (либо испольуем существующее блочное устройство – только вот зачем оно нам?), который будем раздавать по iSCSI (что-то вроде zfs create -V 100G storage1/machfsvol);
- создаем Логическое Устройство (LU, Logical Unit) командой sbdadm create-lu /dev/zvol/rdsk/storage1/machfsvol – больше к именованию устройства мы не возвращаемся
- создаем маппировки (бывают двух видов – простые и селективные – разница для нас – все для всех либо нечто для кого-то, это я так пытаюсь пояснить термин LUN Security), пойдем по простому пути:

stmfadm list-lu # проверяем, что видно
stmfadm list-target # аналогично
stmfadm list-view -l <имя, вынутое из команды list-lu>

… видно – один LU (созданный sbdadm), один таргет (созданный itadm), ни одного вида (мы еще ничего не делали);
- создаем вид командой stmfadm add-view <имя, вынутое из команды list-lu>;
- проверяем себя командой stmfadm list-view -l <имя, вынутое из команды list-lu;

Собственно, все – 5 минут на все работы (кроме установки с интернетов). Далее – дело техники – порталы слушают по умолчанию все доступные интерфейсы, на клиенте прописываем адрес нашего сервера (посмотреть ifconfig -a), IQN (это наша идентификация ресурса, вынимаем из stmfadm list-target). Собственно, это займет еще ну пускай 5 минут:

PS: под Windows XP/Windows 2008R2 – все заработало с пол-пинка – а вот с Маком – проблема – globalSAN iSCSI 4.1 BETA 247 – ни в какую работать не захотело. Кстати, ничто не мешает использовать опции dedup+compression на томах, розданных по iSCSI.

Нигде в документации не нашел указателя, какое имя инициатора использует VirtualBox (в операции VBoxManage addiscsidisk) – нужно же было корректно “нарезать” Host Group на Osol. Я не там смотрел? Короче, имя такое: iqn.2008-04.com.sun.virtualbox.initiator . И оно, как я понял (неправильно?) – не изменяется…

PS: ага, нашел способ поменять имя инициатора – закрываем VirtualBox, редактируем файл VirtualBox.xml (находим там строчку (или строчки – каждая команда addiscsidisk порождает свою запись <HardDisk>…</HardDisk>) iqn.2008-04.com.sun.virtualbox.initiator) – меняем ее на удобную (нужную?) нам. На Маке успешно заработало.

Соответственно, не забываем изменить (добавить) в Host Group новый Host (node) initiator name (моя группа называется home-hg):

stmfadm add-hg-member -g home-hg iqn.2008-04.com.sun.virtualbox.initiator.vol1

Мой набор скриптов для VBox помаленьку расширяется все более сложными вещами

Вообще COMSTAR показался мне таким сложным (с первого захода), а уже в процессе пришел к мысли, что все достаточно прозрачно сделано, поделено на правильные уровни абстракций – короче, не сложно. Осталось еще обкатать Fiber Channel Target как следует (а не посмотреть пол-дня в пол-глаза) – и я полностью в шоколаде и доволен К сожалению, моя домашняя машинка на Intel Atom не позволяет мне проводить такие эксперименты…

This project is to enable Solaris to boot off iSCSI luns via regular network adapters. Different approaches, iBFT/OBP, are adopted to implement this feature on x86/sparc platforms.

Отлично ! Взял здесь – http://www.c0t0d0s0.org/archives/4760-iSCSI-boot-for-Solaris-approved.html , PSARC 2008/427 .

Что важно – можно и нужно будет использовать обычные сетевые адаптеры , а не специализированные iSCSI HBA , можно будет использовать что-то похожее на Intel® 82575EB с поддержкой iSCSI Boot BIOS . Также ожидается поддержка и SPARC-платформы , поддержка мультипаса .

Тихо и незаметно (для меня) вышел iSCSI массив от Sun . И цена – демократия сплошная (надо думать , от $10K в России) , и ёмкость ничего себе так – до 12 Тб на один трей . Хорошо ? Да просто отлично !

Железка “по мордочке” , т.е. по внешнему виду – брат-близнец 2530/2540 . Один в один . Что там внутри “рулит” iSCSI – посмотрю несколько позже , пока радует сам факт наличия в линейке данного вида подключений (вроде ничего не упускал ? 6140/6540 iSCSI не умеют , а HDS 9985V/9990V рассматривать просто неприлично в блоге) . Как там говориться – УРА , ТОВАРИЩИ ! Догоним и перегоним

PS: вспомнил , что упустил – конечно же , Sun уже более года предлагает iSCSI хранилище ! Я забыл про SunFire Thumper X4500 – 46 дисков , 46 Тб емкости ! С установленной ОС Solaris 10 8/07 (ну или OpenSolaris , или NexentaOS , или Solaris DE , или Solaris DP , или – да как же много всего стало , с использованием ZFS , вы получаете огромное по емкости хранилище данных , доступное , кстати , не только по iSCSI – а еще по CIFS , SMB протоколам . Также активно развивается проект COMSTAR .

Много говорим про Solaris 10 , с действительно шикарной поддержкой iSCSI target/initiator/etc – но ни слова про девятку – а ведь , по сути – она ( операционка , конечно ) – вполне себе еще живая !

Потому набрел на вот такую вот – http://www.cisco.com/univercd/cc/td/doc/product/sn5000/sn5400/iscsidrv/ . Может , кому поможет – мне вряд ли – ибо судя по всему – поделие еще то ( даже попробовать толком негде – хотя идеи есть . Кто пробовал ?