basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN
    ОбзорHomelabProxmox

    Хранилища Proxmox: local, local-lvm, ZFS — что где лежит и что умеет

    Хранилище в Proxmox — место, куда кладутся диски гостей, ISO, шаблоны и бэкапы. После установки на ext4 их два: local — каталог /var/lib/vz для файлов и local-lvm — тонкий пул LVM под диски гостей. Что хранилище умеет — снимки, тонкие диски, общий доступ из кластера, — решает его тип, а не диск под ним.

    Что лежит в хранилище

    У каждого хранилища есть список Content — что в нём можно держать. Proxmox раскладывает файлы по подкаталогам сам, и в интерфейсе каждый тип — своя вкладка у хранилища.

    Content Что это Где лежит в каталоге local
    Disk image (images) диски виртуальных машин /var/lib/vz/images/<id>/
    Container (rootdir) корневые диски контейнеров /var/lib/vz/images/<id>/
    ISO image (iso) установочные образы /var/lib/vz/template/iso/
    Container template (vztmpl) шаблоны контейнеров и образы OCI /var/lib/vz/template/cache/
    VZDump backup file (backup) бэкапы vzdump /var/lib/vz/dump/
    Snippets (snippets) свои файлы cloud-init и скрипты-хуки /var/lib/vz/snippets/
    Import (import) образы для импорта: облачные образы, OVA, диски с ESXi /var/lib/vz/import/

    Тип import установщик включает у local с 9.1: облачный образ Ubuntu кладём туда и делаем из него диск машины («Шаблон VM с cloud-init»).

    Что даёт установщик

    Раскладку выбираем в установщике, кнопка Options у диска («Установка Proxmox»). Два основных варианта:

    ext4 (или xfs) на одном диске             ZFS (RAID0, зеркало RAID1, RAIDZ…)
    LVM, группа томов pve                     пул rpool
      ├─ root  ext4, «/» хоста                  ├─ rpool/ROOT/pve-1  «/» хоста
      │    └─ /var/lib/vz  → хранилище local    ├─ /var/lib/vz       → хранилище local
      ├─ swap                                   └─ rpool/data        → хранилище local-zfs
      └─ data  тонкий пул → хранилище local-lvm

    local есть всегда: это каталог на корне хоста, под файлы. Диски гостей идут во второе хранилище: local-lvm на ext4 или local-zfs на ZFS. Каждый диск гостя там — отдельный том: vm-101-disk-0.

    Типы хранилищ

    Тип Что это Снимки Тонкие диски Общее для кластера Дома — под что
    LVM-thin тонкий пул LVM на диске да да нет диски гостей на одном SSD
    ZFS (локальный) пул ZFS: тома и наборы данных да да нет, но реплицируется на другой узел диски гостей на зеркале из двух SSD
    Каталог (Directory) папка на любой файловой системе только у qcow2 qcow2 и raw нет ISO, шаблоны, бэкапы на втором диске
    NFS, SMB/CIFS общая папка NAS только у qcow2 qcow2 да бэкапы и ISO на NAS
    LVM (обычный) толстые тома LVM с 9.0 — превью нет да, на общем SAN дома почти не нужен
    Ceph RBD распределённое хранилище на узлах кластера да да да от трёх узлов и быстрой сети
    Proxmox Backup Server отдельный сервер бэкапов — — да только бэкапы, с дедупликацией

    Тонкий диск занимает место по мере записи: машине выдано 100 ГБ, записала она 12 — с пула ушло 12. Поэтому гостям можно выдать больше, чем есть места. Это работает, пока гости не начнут писать все разом: заполненный пул останавливает всех гостей на нём (в «Если не работает»). Место, которое гость освободил у себя, вернётся в пул только с discard («Discard у диска»).

    qcow2 или raw. На каталоге и NFS диск машины — файл. Формат qcow2 умеет снимки и тонкость сам, raw быстрее на несколько процентов, но снимков на каталоге у raw нет. На LVM-thin и ZFS формат всегда raw: снимки и тонкость даёт само хранилище.

    ext4 с LVM-thin или ZFS

    ext4 и LVM-thin

    один диск
    • раскладка по умолчанию, ничего не нужно знать заранее
    • память на кэш забирает только обычный страничный кэш ядра
    • снимки и тонкие диски есть
    • контрольных сумм нет: испорченный блок заметит только гость
    • зеркала в установщике нет: умер диск — восстанавливаемся из бэкапа

    ZFS

    лучше от двух дисков
    • зеркало или RAIDZ прямо в установщике
    • контрольная сумма у каждого блока; в зеркале испорченный блок чинится с соседнего диска
    • сжатие включено (compression=on, это lz4): системы и тексты сжимаются заметно, видео и архивы — нет
    • снимки, репликация на другой узел, zfs send для копий
    • просит память под ARC и пишет на SSD больше, чем ext4

    Ориентир простой. Один SSD, 8–16 ГБ памяти — ext4 и LVM-thin. Два одинаковых SSD и от 16 ГБ памяти — ZFS-зеркало: смерть одного диска перестаёт быть событием. Под ZFS — SSD с запасом записи (TBW) и без аппаратного RAID («Железо под Proxmox»).

    Память ZFS забирает под кэш ARC. Установщик с 8.1 пишет предел в /etc/modprobe.d/zfs.conf: 10 % памяти, но не больше 16 ГиБ. На хосте с 16 ГБ это 1,6 ГБ — гостям остаётся почти всё.

    Снимки

    Снимок замораживает состояние диска гостя: дальше пишутся только изменения, и откат возвращает диск к моменту снимка. Для машины в снимок можно включить и память (Include RAM) — после отката машина продолжит работу с того же места, а не загрузится заново.

    Как устроены снимки, зависит от хранилища:

    • LVM-thin — снимок становится отдельным тонким томом с общими блоками. Откатиться можно к любому снимку.
    • ZFS — встроенные снимки ZFS: создаются мгновенно и почти ничего не стоят. Откат — только к последнему.
    • qcow2 — снимки внутри файла диска. Их длинная цепочка замедляет диск.

    Снимок лежит на том же хранилище, что и диск. Умер диск — снимков нет, поэтому бэкапом снимок не считается («Снимок — не бэкап»).

    Второй диск под бэкапы и ISO

    Пустой диск подключаем из интерфейса: узел › Disks › Directory › Create Directory. Proxmox сам создаёт файловую систему, юнит монтирования systemd и хранилище-каталог. В Content выбираем backup, iso, vztmpl.

    То же для диска под ZFS: узел › Disks › ZFS › Create: ZFS, и пул сразу становится хранилищем для гостей.

    Общая папка NAS — Datacenter › Storage › Add › NFS или SMB/CIFS. Proxmox монтирует её сам в /mnt/pve/<имя> и перемонтирует после перезагрузки. В консоли то же делает pvesm:

    pvesm add nfs nas-backup --server 10.0.0.20 --export /volume1/proxmox --content backup,iso
    pvesm status        # список хранилищ, тип, занято и свободно

    Если не работает

    Машины разом встали или пишут ошибки ввода-вывода, в lvs у data — Data% 100.00

    Причина
    Тонкий пул local-lvm заполнен: дисков гостей выдано больше, чем места в пуле, и гости его израсходовали. Ещё одна причина — снимки: они держат старые блоки.
    Делаем
    Освобождаем место: удаляем старые снимки, включаем discard и запускаем fstrim -av в гостях («Discard у диска»). Следим за lvs pve/data — Data% и Meta% не выше 80–90 %.

    Откат снимка на ZFS: can't rollback, 'before-upgrade' is not most recent snapshot

    Причина
    ZFS откатывает только к последнему снимку: более новые пришлось бы удалить, и Proxmox сам этого не делает.
    Делаем
    Удаляем снимки новее нужного (Snapshots › Remove) и откатываемся. На LVM-thin и qcow2 такого ограничения нет.

    ISO не загрузить в local-lvm — нет вкладки ISO Images

    Причина
    Хранилище принимает только те типы содержимого, что включены в его Content. Тонкий пул LVM хранит только диски, файлов в нём не бывает.
    Делаем
    ISO, шаблоны и бэкапы — в хранилище-каталог: local или своё на втором диске. Что принимает хранилище — Datacenter › Storage, колонка Content.

    Интерфейс выдаёт ошибки, df -h / — 100 %

    Причина
    Хранилище local — каталог на корневой файловой системе хоста. ISO, шаблоны и бэкапы в нём заняли весь корень, и служба pve-cluster не может писать базу /etc/pve.
    Делаем
    Удаляем лишнее из /var/lib/vz/dump и /var/lib/vz/template/iso. Бэкапы дальше — на отдельный диск или NAS («Бэкапы в Proxmox»).

    Хост на ZFS, памяти занято почти всё, хотя гостям выдано меньше половины

    Причина
    ZFS держит кэш ARC в памяти. Установщик с 8.1 ограничивает его 10 % памяти, но не больше 16 ГиБ; на хостах, поставленных раньше, предела в /etc/modprobe.d/zfs.conf нет.
    Делаем
    Размер кэша — arc_summary -s arc. Предел, например 4 ГиБ: options zfs zfs_arc_max=4294967296 в /etc/modprobe.d/zfs.conf, затем update-initramfs -u -k all и перезагрузка.