Мониторинг производительности дисковой подсистемы – что можно посчитать полезного?

Задача – глянуть “внутрь” хранилища (в моем случаем – это некая СХД, подключенная к хосту с Solaris 10), не заморачиваясь со сложными скриптами, графиками и прочими премудростями. Элементарно 🙂 Модные штучки аля dtrace это не отменяет 😉

Ниже один из “велосипедов”, который я иногда использую в работе в режиме quick and dirty look для обобщения.

Собираем статистику вот таким образом:

iostat -xdn 1 600 > iostat_-xdn_1_600-`hostname`-`date +%Y%m%d-%H%M%S`.txt

Я предпочитаю не запаковывать файлы, когда занят системой непосредственно, если же информация собирается удаленно – стоит использовать bzip2:

iostat -xdn 1 600 | bzip2 -z -c > iostat_-xdn_1_600-`hostname`-`date +%Y%m%d-%H%M%S`.txt.bz2

Дальше еще сколько-то букв

Есть несколько отличных утилит (SWAT, например), которые данный файл могут отлично разбирать, строить шикарные (ок, не очень шикарные) графики, искать медианы и пики. Все круто – но это нам не нужно – нам нужно быть проще 🙂 Интервал – секундный – это нужный нам вариант, 600 выборок – это создаст файл умеренного размера, который не прийдется долго и мучительно нарезать, задумываясь о привязке во времени. Правильно будет запустить коллектор в “обертке” тип while true ; do … done – это даст целый набор “срезов” производительности, все – с отличной привязкой по времени.

Пишем скрипт:

bash-3.2$ sh /tmp/vol_aggregate_stats.sh
for VOL in \
fas3240-1-1-10g:/vol/data1 \
fas3240-1-1-10g:/vol/logs \
fas3240-1-1-10g:/vol/fra \
; do
echo "$VOL ( $1 )"
bzcat $1 | grep $VOL | awk '{RE += $3 ; WR += $4 ; REIO +=$1 ; WRIO +=$2 ; WSVC+=$7 ; ASVC+=$8 } END { print " avg read IOPS " REIO / 600 " avg write IOPS " WRIO / 600 "\n avg read MB/s " RE / 600 /1024" avg write MB/s " WR / 600 / 1024 "\n avg asvc "ASVC / 600 "\n avg wsvc "WSVC / 600 "\n avg READ block size KB " (RE / 600) / ( REIO / 600 ) " avg write block size KB " (WR / 600) / (WRIO / 600)}'
echo
done

Имеем вот такой вывод:

bash-3.2$ sh /tmp/vol_aggregate_stats.sh iostat_-xdn_1_600-sigma-20120808-031000.txt.bz2
fas3240-1-1-10g:/vol/data1 ( iostat_-xdn_1_600-sigma-20120808-031000.txt.bz2 )
 avg read IOPS 0.275333 avg write IOPS 2.06433
 avg read MB/s 0.00389909 avg write MB/s 0.0164022
 avg asvc 1.04517
 avg wsvc 2.49567
 avg READ block size KB 14.5012 avg write block size KB 8.1362

fas3240-1-1-10g:/vol/logs ( iostat_-xdn_1_600-sigma-20120808-031000.txt.bz2 )
 avg read IOPS 315.115 avg write IOPS 3571.22
 avg read MB/s 9.12315 avg write MB/s 27.9002
 avg asvc 1.012
 avg wsvc 0.304333
 avg READ block size KB 29.6467 avg write block size KB 8

fas3240-1-1-10g:/vol/fra ( iostat_-xdn_1_600-sigma-20120808-031000.txt.bz2 )
 avg read IOPS 0.165167 avg write IOPS 353.958
 avg read MB/s 0.0050568 avg write MB/s 11.0609
 avg asvc 0.404167
 avg wsvc 0.1785
 avg READ block size KB 31.3512 avg write block size KB 31.9993

bash-3.2$

Что нам это дает? Я последовательный сторонник цифр, больших и вообще – разных, постоянно борюсь с графиками 😉 Например, иногда нужно быстро выяснить в неком временном отрезке, какой из томов в ASM-группе очевидно подлежит перебалансировке. Такая аггрегированная статистика пригодна для изготовления графиков с помощью (xplot/jplot) в длинной перспективе – например, возможна облегченная оценка суточной/недельной нагрузки, с дальнейшим заглублением в потенциально проблемные места.

Leave a Reply