Что лежит в хранилище
У каждого хранилища есть список Content — что в нём можно держать. Proxmox раскладывает файлы по подкаталогам сам, и в интерфейсе каждый тип — своя вкладка у хранилища.
| Content | Что это | Где лежит в каталоге local |
|---|---|---|
Disk image (images) |
диски виртуальных машин | /var/lib/vz/images/<id>/ |
Container (rootdir) |
корневые диски контейнеров | /var/lib/vz/images/<id>/ |
ISO image (iso) |
установочные образы | /var/lib/vz/template/iso/ |
Container template (vztmpl) |
шаблоны контейнеров и образы OCI | /var/lib/vz/template/cache/ |
VZDump backup file (backup) |
бэкапы vzdump | /var/lib/vz/dump/ |
Snippets (snippets) |
свои файлы cloud-init и скрипты-хуки | /var/lib/vz/snippets/ |
Import (import) |
образы для импорта: облачные образы, OVA, диски с ESXi | /var/lib/vz/import/ |
Тип import установщик включает у local с 9.1: облачный образ Ubuntu кладём туда и делаем из него диск машины
(«Шаблон VM с cloud-init»).
Что даёт установщик
Раскладку выбираем в установщике, кнопка Options у диска («Установка Proxmox»). Два основных варианта:
ext4 (или xfs) на одном диске ZFS (RAID0, зеркало RAID1, RAIDZ…)
LVM, группа томов pve пул rpool
├─ root ext4, «/» хоста ├─ rpool/ROOT/pve-1 «/» хоста
│ └─ /var/lib/vz → хранилище local ├─ /var/lib/vz → хранилище local
├─ swap └─ rpool/data → хранилище local-zfs
└─ data тонкий пул → хранилище local-lvm
local есть всегда: это каталог на корне хоста, под файлы. Диски гостей идут во второе хранилище:
local-lvm на ext4 или local-zfs на ZFS. Каждый диск гостя там — отдельный том: vm-101-disk-0.
Типы хранилищ
| Тип | Что это | Снимки | Тонкие диски | Общее для кластера | Дома — под что |
|---|---|---|---|---|---|
| LVM-thin | тонкий пул LVM на диске | да | да | нет | диски гостей на одном SSD |
| ZFS (локальный) | пул ZFS: тома и наборы данных | да | да | нет, но реплицируется на другой узел | диски гостей на зеркале из двух SSD |
| Каталог (Directory) | папка на любой файловой системе | только у qcow2 | qcow2 и raw | нет | ISO, шаблоны, бэкапы на втором диске |
| NFS, SMB/CIFS | общая папка NAS | только у qcow2 | qcow2 | да | бэкапы и ISO на NAS |
| LVM (обычный) | толстые тома LVM | с 9.0 — превью | нет | да, на общем SAN | дома почти не нужен |
| Ceph RBD | распределённое хранилище на узлах кластера | да | да | да | от трёх узлов и быстрой сети |
| Proxmox Backup Server | отдельный сервер бэкапов | — | — | да | только бэкапы, с дедупликацией |
Тонкий диск занимает место по мере записи: машине выдано 100 ГБ, записала она 12 — с пула ушло 12. Поэтому гостям можно выдать больше, чем есть места. Это работает, пока гости не начнут писать все разом: заполненный пул останавливает всех гостей на нём (в «Если не работает»). Место, которое гость освободил у себя, вернётся в пул только с discard («Discard у диска»).
qcow2 или raw. На каталоге и NFS диск машины — файл. Формат qcow2 умеет снимки и тонкость сам, raw быстрее на несколько процентов, но снимков на каталоге у raw нет. На LVM-thin и ZFS формат всегда raw: снимки и тонкость даёт само хранилище.
ext4 с LVM-thin или ZFS
ext4 и LVM-thin
один диск- раскладка по умолчанию, ничего не нужно знать заранее
- память на кэш забирает только обычный страничный кэш ядра
- снимки и тонкие диски есть
- контрольных сумм нет: испорченный блок заметит только гость
- зеркала в установщике нет: умер диск — восстанавливаемся из бэкапа
ZFS
лучше от двух дисков- зеркало или RAIDZ прямо в установщике
- контрольная сумма у каждого блока; в зеркале испорченный блок чинится с соседнего диска
- сжатие включено (
compression=on, это lz4): системы и тексты сжимаются заметно, видео и архивы — нет - снимки, репликация на другой узел,
zfs sendдля копий - просит память под ARC и пишет на SSD больше, чем ext4
Ориентир простой. Один SSD, 8–16 ГБ памяти — ext4 и LVM-thin. Два одинаковых SSD и от 16 ГБ памяти — ZFS-зеркало: смерть одного диска перестаёт быть событием. Под ZFS — SSD с запасом записи (TBW) и без аппаратного RAID («Железо под Proxmox»).
Память ZFS забирает под кэш ARC. Установщик с 8.1 пишет предел в /etc/modprobe.d/zfs.conf: 10 % памяти, но не
больше 16 ГиБ. На хосте с 16 ГБ это 1,6 ГБ — гостям остаётся почти всё.
Снимки
Снимок замораживает состояние диска гостя: дальше пишутся только изменения, и откат возвращает диск к моменту снимка. Для машины в снимок можно включить и память (Include RAM) — после отката машина продолжит работу с того же места, а не загрузится заново.
Как устроены снимки, зависит от хранилища:
- LVM-thin — снимок становится отдельным тонким томом с общими блоками. Откатиться можно к любому снимку.
- ZFS — встроенные снимки ZFS: создаются мгновенно и почти ничего не стоят. Откат — только к последнему.
- qcow2 — снимки внутри файла диска. Их длинная цепочка замедляет диск.
Снимок лежит на том же хранилище, что и диск. Умер диск — снимков нет, поэтому бэкапом снимок не считается («Снимок — не бэкап»).
Второй диск под бэкапы и ISO
Пустой диск подключаем из интерфейса: узел › Disks › Directory › Create Directory. Proxmox сам создаёт файловую
систему, юнит монтирования systemd и хранилище-каталог. В Content выбираем backup, iso, vztmpl.
То же для диска под ZFS: узел › Disks › ZFS › Create: ZFS, и пул сразу становится хранилищем для гостей.
Общая папка NAS — Datacenter › Storage › Add › NFS или SMB/CIFS. Proxmox монтирует её сам в /mnt/pve/<имя> и
перемонтирует после перезагрузки. В консоли то же делает pvesm:
pvesm add nfs nas-backup --server 10.0.0.20 --export /volume1/proxmox --content backup,iso
pvesm status # список хранилищ, тип, занято и свободно
Если не работает
Машины разом встали или пишут ошибки ввода-вывода, в lvs у data — Data% 100.00
- Причина
- Тонкий пул
local-lvmзаполнен: дисков гостей выдано больше, чем места в пуле, и гости его израсходовали. Ещё одна причина — снимки: они держат старые блоки. - Делаем
- Освобождаем место: удаляем старые снимки, включаем discard и запускаем
fstrim -avв гостях («Discard у диска»). Следим заlvs pve/data—Data%иMeta%не выше 80–90 %.
Откат снимка на ZFS: can't rollback, 'before-upgrade' is not most recent snapshot
- Причина
- ZFS откатывает только к последнему снимку: более новые пришлось бы удалить, и Proxmox сам этого не делает.
- Делаем
- Удаляем снимки новее нужного (Snapshots › Remove) и откатываемся. На LVM-thin и qcow2 такого ограничения нет.
ISO не загрузить в local-lvm — нет вкладки ISO Images
- Причина
- Хранилище принимает только те типы содержимого, что включены в его Content. Тонкий пул LVM хранит только диски, файлов в нём не бывает.
- Делаем
- ISO, шаблоны и бэкапы — в хранилище-каталог:
localили своё на втором диске. Что принимает хранилище — Datacenter › Storage, колонка Content.
Интерфейс выдаёт ошибки, df -h / — 100 %
- Причина
- Хранилище
local— каталог на корневой файловой системе хоста. ISO, шаблоны и бэкапы в нём заняли весь корень, и службаpve-clusterне может писать базу/etc/pve. - Делаем
- Удаляем лишнее из
/var/lib/vz/dumpи/var/lib/vz/template/iso. Бэкапы дальше — на отдельный диск или NAS («Бэкапы в Proxmox»).
Хост на ZFS, памяти занято почти всё, хотя гостям выдано меньше половины
- Причина
- ZFS держит кэш ARC в памяти. Установщик с 8.1 ограничивает его 10 % памяти, но не больше 16 ГиБ; на хостах, поставленных раньше, предела в
/etc/modprobe.d/zfs.confнет. - Делаем
- Размер кэша —
arc_summary -s arc. Предел, например 4 ГиБ:options zfs zfs_arc_max=4294967296в/etc/modprobe.d/zfs.conf, затемupdate-initramfs -u -k allи перезагрузка.