Монтирование ZFS на запись в однопользовательском режиме.
mount -u /
FreeBSD on ZFS. Монтирование root ZFS на запись в однопользовательском режиме.
Добавить комментарий
Архив рубрики: ZFS
FreeBSD on ZFS. Installing updates…chflags: ///var/empty: Read-only file system
При обновлении FreeBSD получаем ошибку:
Installing updates...chflags: ///var/empty: Read-only file system
Смотрим:
# zfs get readonly zroot/var/empty NAME PROPERTY VALUE SOURCE zroot/var/empty readonly on local
Решение:
# zfs set readonly=off zroot/var/empty
После обновления не забываем вернуть обратно:
# zfs set readonly=on zroot/var/empty
Решение подсмотрено здесь.
Оптимизация FreeBSD для XenServer, ZFS в качестве корневой файловой системы.
Имеем FreeBSD 9.2 RELEASE установленную в XenServer 6.2 — корневая файловая система ZFS. Задача установить xen-tools для полной оптимизации системы.
Исправляем файл:
/usr/src/sys/kern/subr_autoconf.c
Комментируем строку 136 и 145.
/* while (!TAILQ_EMPTY(&intr_config_hook_list)) { */
if (msleep(&intr_config_hook_list, &intr_config_hook_lock,
0, "conifhk", WARNING_INTERVAL_SECS * hz) ==
EWOULDBLOCK) {
mtx_unlock(&intr_config_hook_lock);
warned++;
run_interrupt_driven_config_hooks_warning(warned);
mtx_lock(&intr_config_hook_lock);
}
/* } */
Перевод ZFS mirror-0 с 512 байт сектора на 4K (ashift: 9 — ashift: 12).
Имеем FreeBSD 9.1 RELEASE amd64 установка которой производилась следующим скриптом:
#!/bin/sh
umount -f /dev/md1
mdmfs -s 512M md1 /tmp
sysctl kern.geom.debugflags=0x10
/bin/dd if=/dev/zero of=/dev/ada0 bs=1024k count=10
/bin/dd if=/dev/zero of=/dev/ada1 bs=1024k count=10
sleep 10
zpool create -f zroot mirror ada0 ada1
zpool set bootfs=zroot zroot
zfs set checksum=fletcher4 zroot
zfs set mountpoint=/mnt zroot
zpool export zroot
zpool import -o cachefile=/tmp/zpool.cache zroot
zfs create zroot/usr
zfs create zroot/usr/home
zfs create zroot/var
zfs create zroot/wwwroot
zfs create zroot/nfsroot
zfs create zroot/tmp
zfs create zroot/usr/ports
zfs create zroot/usr/ports/distfiles
zfs create zroot/usr/ports/packages
zfs create zroot/usr/src
zfs create zroot/var/crash
zfs create zroot/var/db
zfs create zroot/var/db/mysql
zfs create zroot/var/db/pkg
zfs create zroot/var/empty
zfs create zroot/var/log
zfs create zroot/var/mail
zfs create zroot/var/run
zfs create zroot/var/tmp
zfs create -V 4G -o org.freebsd:swap=on -o volblocksize=4K -o checksum=off zroot/swap
chmod 1777 /mnt/tmp
chmod 1777 /mnt/var/tmp
cd /mnt ; ln -s usr/home home
echo "install ..."
sleep 10
cd /usr/freebsd-dist
export DESTDIR=/mnt
for file in base.txz lib32.txz kernel.txz doc.txz src.txz; do (cat $file | tar --unlink -xvpJf - -C ${DESTDIR:-/}); done
echo "install ok"
sleep 1
cp /tmp/zpool.cache /mnt/boot/zfs/zpool.cache
echo 'zfs_enable="YES"' >> /mnt/etc/rc.conf
echo 'zfs_load="YES"' >> /mnt/boot/loader.conf
echo 'vfs.root.mountfrom="zfs:zroot"' >> /mnt/boot/loader.conf
echo '#vm.kmem_size="512M"' >> /mnt/boot/loader.conf
touch /mnt/etc/fstab
zfs set readonly=on zroot/var/empty
zfs umount -a
zfs set mountpoint=legacy zroot
zfs set mountpoint=/tmp zroot/tmp
zfs set mountpoint=/usr zroot/usr
zfs set mountpoint=/var zroot/var
zfs set mountpoint=/wwwroot zroot/wwwroot
zfs set mountpoint=/nfsroot zroot/nfsroot
/bin/dd if=/boot/zfsboot of=/dev/ada0 count=1
/bin/dd if=/boot/zfsboot of=/dev/ada1 count=1
/bin/dd if=/boot/zfsboot of=/dev/ada0 skip=1 seek=1024
/bin/dd if=/boot/zfsboot of=/dev/ada1 skip=1 seek=1024
Поскольку ZFS устанавливался на сырые диски — все установилось с размером сектора 512 байт (ashift: 9).
ada0: <WDC WD1003FBYX-01Y7B1 01.01V02> ATA-8 SATA 2.x device ada0: 300.000MB/s transfers (SATA 2.x, UDMA5, PIO 8192bytes) ada0: 953869MB (1953525168 512 byte sectors: 16H 63S/T 16383C) ada1: <Hitachi HDS721010CLA332 JP4OA3MA> ATA-8 SATA 2.x device ada1: 300.000MB/s transfers (SATA 2.x, UDMA5, PIO 8192bytes) ada1: 953869MB (1953525168 512 byte sectors: 16H 63S/T 16383C)
# zdb | grep ashift
ashift: 9
Поставил себе задачу перевести пул на использование 4К секторов (ashift: 12) и GPT меток с сохранением данных и минимальным временем простоя.
Читать далее
FreeBSD — использование ZFS в качестве корневой файловой системы.
Грузимся с загрузочного диска FreeBSD 9.0 RELEASE — выбираем shell.
Создаем разделы, записываем загрузчик.
gpart create -s gpt da0 gpart add -b 34 -s 94 -t freebsd-boot da0 gpart add -t freebsd-zfs -l disk0 da0 gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 da0
Создаем ZFS пул игнорируя предупреждения.
zpool create zroot /dev/gpt/disk0
Устанавливаем дополнительные параметры, указываем временную точку монтирования.
zpool set bootfs=zroot zroot zfs set checksum=fletcher4 zroot zfs set mountpoint=/mnt zroot
Экспортируем и импортируем пул.
zpool export zroot zpool import -o cachefile=/var/tmp/zpool.cache zroot
Создаем файловые системы на свой вкус и цвет.
zfs create zroot/usr zfs create zroot/usr/home zfs create zroot/var zfs create -o compression=on -o exec=on -o setuid=off zroot/tmp zfs create -o compression=lzjb -o setuid=off zroot/usr/ports zfs create -o compression=off -o exec=off -o setuid=off zroot/usr/ports/distfiles zfs create -o compression=off -o exec=off -o setuid=off zroot/usr/ports/packages zfs create -o compression=lzjb -o exec=off -o setuid=off zroot/usr/src zfs create -o compression=lzjb -o exec=off -o setuid=off zroot/var/crash zfs create -o exec=off -o setuid=off zroot/var/db zfs create -o compression=lzjb -o exec=on -o setuid=off zroot/var/db/pkg zfs create -o exec=off -o setuid=off zroot/var/empty zfs create -o compression=lzjb -o exec=off -o setuid=off zroot/var/log zfs create -o compression=gzip -o exec=off -o setuid=off zroot/var/mail zfs create -o exec=off -o setuid=off zroot/var/run zfs create -o compression=lzjb -o exec=on -o setuid=off zroot/var/tmp
Добавляем swap раздел.
zfs create -V 4G zroot/swap zfs set org.freebsd:swap=on zroot/swap zfs set checksum=off zroot/swap
Создаем линк, исправляем разрешения.
chmod 1777 /mnt/tmp cd /mnt ; ln -s usr/home home chmod 1777 /mnt/var/tmp
Установка FreeBSD.
sh
cd /usr/freebsd-dist
export DESTDIR=/mnt
for file in base.txz lib32.txz kernel.txz doc.txz ports.txz src.txz;
do (cat $file | tar --unlink -xpJf - -C ${DESTDIR:-/}); done
Копирование zpool.cache.
cp /var/tmp/zpool.cache /mnt/boot/zfs/zpool.cache
Создание rc.conf, loader.conf и пустого fstab.
echo "zfs_enable=YES >> /mnt/etc/rc.conf echo "zfs_load=YES; >> /mnt/boot/loader.conf echo "vfs.root.mountfrom=zfs:zroot >> /mnt/boot/loader.conf touch /mnt/etc/fstab
Установка точек монтирования.
zfs set readonly=on zroot/var/empty zfs umount -af zfs set mountpoint=legacy zroot zfs set mountpoint=/tmp zroot/tmp zfs set mountpoint=/usr zroot/usr zfs set mountpoint=/var zroot/var
Перезагружаемся.
reboot
Дабы не ошибиться в наборе команд, можно сделать следующее — создать скрипт. Разместить его на любой машине куда имеется доступ оп ssh.
Настраиваем сетевой интерфейс.
ifconfig em0 inet 192.168.0.2 netmask 255.255.255.0 up
Выполняем скрипт:
ssh user@192.168.0.1 'cat zfs.sh' | sh
FreeBSD — увеличение размера ZFS корневого раздела. Способ второй.
Имеем FreeBSD 9.0 RELEASE установленную в в качестве гостевой операционной системы с VMWare vSphere 5.0. Файловая система ZFS. Основной диск 100 Гб — маловат — задача перехать на диск большего объема — 200 Гб.
Мы уже рассматривали такой вариант — там мы просто средствами платформы виртуализации увеличивали объем диска. А если реальное железо? Пробуем тоже самое — но с заменой дисков.
Имеем:
# dmesg | grep da0
da0 at mpt0 bus 0 scbus2 target 0 lun 0
da0: <VMware Virtual disk 1.0> Fixed Direct Access SCSI-2 device
da0: 320.000MB/s transfers (160.000MHz, offset 127, 16bit)
da0: Command Queueing enabled
da0: 102400MB (209715200 512 byte sectors: 255H 63S/T 13054C)
# gpart show
=> 34 209715133 da0 GPT (100G)
34 94 1 freebsd-boot (47k)
128 209715039 2 freebsd-zfs (100G)
# zpool status -v
pool: zroot
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
zroot ONLINE 0 0 0
da0p2 ONLINE 0 0 0
errors: No known data errors
Идем VMWare vShere Client выбираем Inventory — Virtual Machine — Edit Settings. Закладка Hardware — кнопка Add. Добавляем еще один жесткий диск объемом 200 Гб. Тут же получаем:
# tail /var/log/messages | grep da1 kernel: da1 at mpt0 bus 0 scbus2 target 1 lun 0 kernel: da1: <VMware Virtual disk 1.0> Fixed Direct Access SCSI-2 device kernel: da1: 320.000MB/s transfers (160.000MHz, offset 127, 16bit) kernel: da1: Command Queueing enabled kernel: da1: 204800MB (419430400 512 byte sectors: 255H 63S/T 26108C)
Размечаем новый диск с помощью gpart.
# gpart create -s gpt da1 da1 created # gpart add -b 34 -s 94 -t freebsd-boot da1 da1p1 added # gpart add -t freebsd-zfs -l disk0 da1 da1p2 added # gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 da1 bootcode written to da1
Смотрим что получилось.
# gpart show
=> 34 209715133 da0 GPT (100G)
34 94 1 freebsd-boot (47k)
128 209715039 2 freebsd-zfs (100G)
=> 34 419430333 da1 GPT (200G)
34 94 1 freebsd-boot (47k)
128 419430239 2 freebsd-zfs (200G)
Смотрим состояние переменной autoexpand нашего пула zroot.
# zpool get autoexpand zroot NAME PROPERTY VALUE SOURCE zroot autoexpand off default
Разрешаем автоувеличение пула.
# zpool set autoexpand=on zroot # zpool get autoexpand zroot NAME PROPERTY VALUE SOURCE zroot autoexpand on local
Присоединяем новый диск в массив.
# zpool attach zroot da0p2 da1p2 Make sure to wait until resilver is done before rebooting. If you boot from pool 'zroot', you may need to update boot code on newly attached disk 'da1p2'. Assuming you use GPT partitioning and 'da0' is your new boot disk you may use the following command: gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 da0
Смотрим что получилось.
# zpool status -v pool: zroot state: ONLINE status: One or more devices is currently being resilvered. The pool will continue to function, possibly in a degraded state. action: Wait for the resilver to complete. scan: resilver in progress since Mon Dec 3 10:08:52 2012 1.40G scanned out of 3.14G at 23.4M/s, 0h1m to go 1.40G resilvered, 44.48% done config: NAME STATE READ WRITE CKSUM zroot ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 da0p2 ONLINE 0 0 0 da1p2 ONLINE 0 0 0 (resilvering) errors: No known data errors
Идет перенос данных (ресилвер). Хоть мы и записывали загрузчик на новый диск в самом начале — но раз просит — обновим его везде, эту операцию можно производить прямо во время переноса данных.
# gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 da0 bootcode written to da0 # gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 da1 bootcode written to da1
Перенос данных проходит быстро. На моем оборудовании 3 Гб данных было перенесено за 1 минуту.
# zpool status -v pool: zroot state: ONLINE scan: resilvered 3.14G in 0h1m with 0 errors on Mon Dec 3 10:10:47 2012 config: NAME STATE READ WRITE CKSUM zroot ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 da0p2 ONLINE 0 0 0 da1p2 ONLINE 0 0 0 errors: No known data errors
Удаляем старый диск из пула.
# zpool detach zroot da0p2
Смотрим что получилось.
# zpool status -v pool: zroot state: ONLINE scan: resilvered 3.14G in 0h1m with 0 errors on Mon Dec 3 10:10:47 2012 config: NAME STATE READ WRITE CKSUM zroot ONLINE 0 0 0 da1p2 ONLINE 0 0 0 errors: No known data errors # df -h zroot Filesystem Size Used Avail Capacity Mounted on zroot 189G 350M 189G 0% /
Возвращаем значения по умолчанию.
# zpool set autoexpand=off zroot # zpool get autoexpand zroot NAME PROPERTY VALUE SOURCE zroot autoexpand off default
Удаляем старый диск.
# tail /var/log/messages kernel: mpt0: Rescan Port: 0 kernel: (da0:mpt0:0:0:0): lost device - 0 outstanding kernel: (da0:mpt0:0:0:0): removing device entry # gpart show => 34 419430333 da1 GPT (200G) 34 94 1 freebsd-boot (47k) 128 419430239 2 freebsd-zfs (200G) # zpool status -v pool: zroot state: ONLINE scan: resilvered 3.14G in 0h1m with 0 errors on Mon Dec 3 10:10:47 2012 config: NAME STATE READ WRITE CKSUM zroot ONLINE 0 0 0 da1p2 ONLINE 0 0 0 errors: No known data errors
Ну и для очистки совести контрольная перезагрузка.
# gpart show
=> 34 419430333 da0 GPT (200G)
34 94 1 freebsd-boot (47k)
128 419430239 2 freebsd-zfs (200G)
# zpool status -v
pool: zroot
state: ONLINE
scan: resilvered 3.14G in 0h1m with 0 errors on Mon Dec 3 10:10:47 2012
config:
NAME STATE READ WRITE CKSUM
zroot ONLINE 0 0 0
da0p2 ONLINE 0 0 0
errors: No known data errors
# df -h zroot
Filesystem Size Used Avail Capacity Mounted on
zroot 189G 350M 189G 0% /
Данный способ подходит для любого типа реального железа — более того, если у вас оборудование позволяет менять жесткие диски на горячую — мы можем произвести данную операцию без остановки обслуживания.
FreeBSD — увеличение размера ZFS корневого раздела. Способ первый.
Имеем FreeBSD 9.0 RELEASE установленную в качестве гостевой ОС в VMWare vSphere 5.0. Корневой раздел в ZFS (swap тоже на ZFS). Ситуация — пожалели место — места стало нехватать.
# gpart show
=> 34 209715133 da0 GPT (100G)
34 94 1 freebsd-boot (47k)
128 209715039 2 freebsd-zfs (100G)
Увеличиваем размер корневого радела. Для этого в свойствах виртуальной машины просто вводим новый размер диска. Не мелочимся — добавим еще 100 Гб. Смотрим.
# camcontrol readcap da0 -h
Device Size: 200 G, Block Length: 512 bytes
# gpart show
=> 34 209715133 da0 GPT (100G)
34 94 1 freebsd-boot (47k)
128 209715039 2 freebsd-zfs (100G)
Не нашел способа заставить на горячую gpart увидеть измененный размер диска.
Перезагружаемся. Смотрим.
# gpart show
=> 34 209715133 da0 GPT (200G) [CORRUPT]
34 94 1 freebsd-boot (47k)
128 209715039 2 freebsd-zfs (100G)
Наш диск по мнению gpart поврежден. Исправляем. Смотрим что получилось.
# gpart recover da0
da0 recovered
# gpart show
=> 34 419430333 da0 GPT (200G)
34 94 1 freebsd-boot (47k)
128 209715039 2 freebsd-zfs (100G)
209715167 209715200 - free - (100G)
Все отлично — система добавленные 100 Гб видит. Смотрим статус ZFS.
freebsd# zpool status -v
pool: zroot
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
zroot ONLINE 0 0 0
da0p2 ONLINE 0 0 0
errors: No known data errors
# zfs list zroot
NAME USED AVAIL REFER MOUNTPOINT
zroot 7.26G 90.7G 350M /
Делаем resize раздела с помощью gpart.
# gpart show
=> 34 419430333 da0 GPT (200G)
34 94 1 freebsd-boot (47k)
128 209715039 2 freebsd-zfs (100G)
209715167 209715200 - free - (100G)
# gpart resize -i 2 da0
gpart: Device busy
freebsd# sysctl kern.geom.debugflags=16
kern.geom.debugflags: 0 -> 16
freebsd# gpart resize -i 2 da0
da0p2 resized
# gpart show
=> 34 419430333 da0 GPT (200G)
34 94 1 freebsd-boot (47k)
128 419430239 2 freebsd-zfs (200G)
# sysctl kern.geom.debugflags=0
kern.geom.debugflags: 16 -> 0
Разрешаем авторасширение ZFS, по умолчанию выключено.
# zpool set autoexpand=on zroot
Смотрим состояние ZFS.
# zfs list zroot
NAME USED AVAIL REFER MOUNTPOINT
zroot 7.26G 93G 350M /
# zpool status -v
pool: zroot
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
zroot ONLINE 0 0 0
da0p2 ONLINE 0 0 0
errors: No known data errors
Отдаем команду ZFS использовать все доступное пространство — ключик -e.
# zpool online -e zroot da0p2
Смотрим что получилось.
# zfs list zroot
NAME USED AVAIL REFER MOUNTPOINT
zroot 7.26G 189G 350M /
# zpool status -v
pool: zroot
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
zroot ONLINE 0 0 0
da0p2 ONLINE 0 0 0
errors: No known data errors
FreeBSD — использование ZFS в качестве корневой файловой системы с оптимизацией по размеру сектора в 4К.
Задача установить FreeBSD 9.0 RELEASE используя в качестве корневой файловой системы ZFS.
Грузимся с загрузочного CD или DVD — в программе установки выбираем выход в shell.
Создаем необходимые разделы, записываем загрузчик.
gpart create -s gpt da0 gpart add -b 34 -s 94 -t freebsd-boot da0 gpart add -t freebsd-zfs -l disk0 da0 gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 da0
Создаем пул с оптимизацией под размер сектора 4К.
gnop create -S 4096 /dev/gpt/disk0 zpool create -o altroot=/mnt -o cachefile=/var/tmp/zpool.cache zroot /dev/gpt/disk0.nop zpool export zroot gnop destroy /dev/gpt/disk0.nop zpool import -o altroot=/mnt -o cachefile=/var/tmp/zpool.cache zroot
Установка дополнительных параметров.
zpool set bootfs=zroot zroot zfs set checksum=fletcher4 zroot
Создаем файловые системы на свой вкус и цвет.
zfs create zroot/usr zfs create zroot/usr/home zfs create zroot/var zfs create -o compression=on -o exec=on -o setuid=off zroot/tmp zfs create -o compression=lzjb -o setuid=off zroot/usr/ports zfs create -o compression=off -o exec=off -o setuid=off zroot/usr/ports/distfiles zfs create -o compression=off -o exec=off -o setuid=off zroot/usr/ports/packages zfs create -o compression=lzjb -o exec=off -o setuid=off zroot/usr/src zfs create -o compression=lzjb -o exec=off -o setuid=off zroot/var/crash zfs create -o exec=off -o setuid=off zroot/var/db zfs create -o compression=lzjb -o exec=on -o setuid=off zroot/var/db/pkg zfs create -o exec=off -o setuid=off zroot/var/empty zfs create -o compression=lzjb -o exec=off -o setuid=off zroot/var/log zfs create -o compression=gzip -o exec=off -o setuid=off zroot/var/mail zfs create -o exec=off -o setuid=off zroot/var/run zfs create -o compression=lzjb -o exec=on -o setuid=off zroot/var/tmp
Создаем swap раздел в 4 Гб.
zfs create -V 4G zroot/swap zfs set org.freebsd:swap=on zroot/swap zfs set checksum=off zroot/swap
Создаем линк на /home, исправляем разрешения.
chmod 1777 /mnt/tmp cd /mnt ; ln -s usr/home home chmod 1777 /mnt/var/tmp
Собственно установка FreeBSD.
sh
cd /usr/freebsd-dist
export DESTDIR=/mnt
for file in base.txz lib32.txz kernel.txz doc.txz ports.txz src.txz;
do (cat $file | tar --unlink -xpJf - -C ${DESTDIR:-/}); done
Копируем zpool.cache. Ключевой момент.
cp /var/tmp/zpool.cache /mnt/boot/zfs/zpool.cache
Устанавливаем дополнительные параметры в файл loader.conf и создаем пустой файл fstab.
echo 'zfs_enable="YES"' >> /mnt/etc/rc.conf echo 'zfs_load="YES"' >> /mnt/boot/loader.conf echo 'vfs.root.mountfrom="zfs:zroot"' >> /mnt/boot/loader.conf echo '#vm.kmem_size="512M"' >> /mnt/boot/loader.conf touch /mnt/etc/fstab
Перезагружаемся.
reboot
Дабы не ошибиться в наборе команд, можно сделать следующее — создать скрипт. Разместить его на любой машине куда имеется доступ оп ssh.
Настраиваем сетевой интерфейс.
ifconfig em0 inet 192.168.0.2 netmask 255.255.255.0 up
Выполняем скрипт:
ssh user@192.168.0.1 'cat zfs.sh' | sh