Мост vmbr0: как гость попадает в сеть
Установщик делает один мост — vmbr0 — и включает в него первую сетевую карту. Адрес хоста висит на мосте, а не
на карте. Каждый гость подключается к мосту своим виртуальным портом: у машины это tap<id>i<n>, у контейнера —
veth<id>i<n>.
роутер 10.0.0.1 ── кабель ── nic0 ─┐
├─ vmbr0 10.0.0.2 ← хост, веб-интерфейс :8006
машина 101 ── tap101i0 ─┤ ← гость: свой MAC, адрес от роутера
контейнер 201 ── veth201i0 ─┘
Для роутера гости — такие же устройства, как телефоны: каждый со своим MAC, адрес раздаёт DHCP роутера или прописываем свой. Трафик между гостями на одном хосте до роутера не доходит, мост передаёт его сам.
Файл сети после установки:
auto lo
iface lo inet loopback
iface nic0 inet manual
auto vmbr0
iface vmbr0 inet static
address 10.0.0.2/24
gateway 10.0.0.1
bridge-ports nic0
bridge-stp off
bridge-fd 0
iface nic0 inet manual— у карты нет своего адреса, она только порт моста.bridge-ports nic0— какие карты входят в мост. Мост без карт (bridge-ports none) — сеть только между гостями и хостом.bridge-stp off,bridge-fd 0— без протокола STP и без задержки перед пересылкой: в мосте одна карта, петель не бывает.
Сеть применяет ifupdown2: ifreload -a перечитывает файл и меняет только то, что изменилось, гостей
не останавливая. В интерфейсе правка идёт через /etc/network/interfaces.new и кнопку Apply Configuration.
Правка руками в /etc/network/interfaces и ifreload -a — то же самое.
Имена сетевых карт
Ядро даёт карте имя по месту на шине: eno1, enp3s0, у USB-адаптеров — по MAC, enx74d4…. После обновления
ядра место может читаться иначе: Proxmox пишет в заметках к 9.1, что новые возможности PCIe в свежем ядре меняют имена.
Мост ссылается на старое имя, и хост остаётся без сети.
Защита — закреплённые имена:
- В установщике с 9.1 — опция закрепить имена. Карты называются
nic0,nic1, и это имя не зависит от ядра. - На готовом хосте —
pve-network-interface-pinning generate. Утилита пишет файлы.linkв/usr/local/lib/systemd/network/, правит конфиги Proxmox под новые имена; применяются они после перезагрузки.
Старое имя ядро сохраняет как дополнительное: ip link покажет altname enx74d43519a642 у nic0.
VLAN
VLAN делит одну физическую сеть на несколько: гостевая, умный дом, лаборатория. Если роутер и свитч умеют VLAN («Провода на MikroTik»), мост Proxmox раздаёт их гостям по тегам. Включаем у моста две строки:
auto vmbr0
iface vmbr0 inet static
address 10.0.0.2/24
gateway 10.0.0.1
bridge-ports nic0
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4094
Дальше у сетевой карты гостя ставим VLAN Tag, например 20, — в конфиге гостя это net0: virtio=…,bridge=vmbr0,tag=20.
Гость о VLAN не знает: он видит обычную сеть, а тег ставит и снимает мост. Порт свитча, куда воткнут хост,
должен пропускать эти VLAN с тегом (trunk).
Своя сеть за NAT
Бывает, что гостям нужна отдельная сеть: на арендованном сервере один публичный адрес, хост сидит на Wi-Fi или тестовые машины не должны видеть домашнюю сеть. Тогда делаем второй мост без карт и выпускаем его наружу через NAT хоста — как домашний роутер выпускает квартиру:
auto vmbr1
iface vmbr1 inet static
address 10.10.10.1/24
bridge-ports none
bridge-stp off
bridge-fd 0
post-up echo 1 > /proc/sys/net/ipv4/ip_forward
post-up iptables -t nat -A POSTROUTING -s '10.10.10.0/24' -o vmbr0 -j MASQUERADE
post-down iptables -t nat -D POSTROUTING -s '10.10.10.0/24' -o vmbr0 -j MASQUERADE
- Гости в
vmbr1получают адреса10.10.10.x, шлюз —10.10.10.1. DHCP здесь нет: адрес задаём сами — в шаблоне cloud-init это одна опция--ipconfig0(«Шаблон VM с cloud-init»). -o vmbr0— интерфейс, через который хост ходит наружу. Если адрес хоста висит прямо на карте, а не на мосте, здесь имя карты.- Порт гостя наружу — правилом DNAT:
iptables -t nat -A PREROUTING -i vmbr0 -p tcp --dport 2222 -j DNAT --to-destination 10.10.10.11:22. Его тоже ставим строкойpost-upи снимаем вpost-down. - Если на хосте включён фаервол Proxmox, документация советует ещё одну строку — зоны conntrack для исходящих
соединений:
post-up iptables -t raw -I PREROUTING -i fwbr+ -j CT --zone 1.
Правил больше трёх — выносим их в свой скрипт, который вызывают post-up и pre-down: так правила
снимаются одной командой и не дублируются при повторном подъёме моста.
Тот же NAT с DHCP можно собрать мышью: Datacenter › SDN, зона Simple с галками SNAT и DHCP. Proxmox сам
поднимет dnsmasq и раздаст гостям адреса. DHCP в SDN — технологическое превью с 8.1.
Две карты: bond
Две карты в одном bond дают запас на случай обрыва кабеля или порта. Режим 802.3ad (LACP) складывает их скорость
для разных соединений, но требует поддержки на свитче. active-backup работает с любым свитчем: одна карта
работает, вторая ждёт. Мост тогда строится поверх bond: bridge-ports bond0.
Фаервол Proxmox
Фаервол Proxmox встроен и выключен по умолчанию. Правила живут на трёх уровнях:
| Уровень | Где в интерфейсе | Что закрывает |
|---|---|---|
| Datacenter | Datacenter › Firewall | общий выключатель и правила для всех узлов; группы правил, наборы адресов |
| Узел | узел › Firewall | входящее на сам хост: 8006, 22, 3128 (прокси SPICE) |
| Гость | машина или контейнер › Firewall | трафик к гостю на уровне моста, гость о нём не знает |
Порядок включения важен. Включаем фаервол на Datacenter — и входящее на хосты запрещено, кроме 8006 и 22 из
локальной сети. Для гостя фаервол действует, только если включён и у гостя (его Firewall › Options › Firewall),
и у его сетевой карты (firewall=1, в интерфейсе новые карты создаются с этой галкой).
Реализаций две. Основная — pve-firewall на iptables. С 8.2 есть proxmox-firewall на nftables — технологическое
превью, включается у узла: Firewall › Options › nftables. Правила в интерфейсе те же, меняется только то,
что их исполняет.
Для дома частый вариант проще: фаервол Proxmox выключен, наружу ничего не проброшено, а 8006 и SSH хоста доступны только из домашней сети («8006 — только изнутри»). Гостей, которые смотрят в интернет, закрывают их же фаерволом — ufw в Ubuntu («Фаервол ufw»).
Если не работает
Поменяли сеть в интерфейсе — ничего не изменилось
- Причина
- Интерфейс пишет правки в
/etc/network/interfaces.new, а в рабочий файл они попадают только по кнопке Apply Configuration. - Делаем
- Узел › System › Network › Apply Configuration. Что именно поменяется, видно внизу той же страницы, в Pending changes.
После обновления ядра хост пропал из сети
- Причина
- Новое ядро назвало карту иначе (
enp3s0вместоenp2s0), а уvmbr0вbridge-portsстарое имя. - Делаем
- С монитора:
ip -br link— новое имя, правимbridge-portsв/etc/network/interfacesиifreload -a. Потом закрепляем имена:pve-network-interface-pinning generateи перезагрузка.
Хост на ноутбуке по Wi-Fi работает, а гости в мосте без сети
- Причина
- Клиент Wi-Fi передаёт кадры только со своим MAC: точка доступа не примет кадры от MAC гостей, и мост поверх Wi-Fi не работает.
- Делаем
- Гостей — в свою сеть за NAT (
vmbr1с MASQUERADE, ниже) или подключаем хост кабелем.
Арендованный сервер: добавили гостя в мост с публичным адресом — провайдер отключил порт или прислал жалобу
- Причина
- Провайдер видит на порту несколько MAC и считает это нарушением: документация Proxmox прямо предупреждает, что так делают многие хостинги.
- Делаем
- Гостей — в сеть за NAT на
vmbr1, наружу — порты через DNAT или прокси на хосте. Если провайдер выдаёт виртуальные MAC под доп. адреса — ставим их на сетевые карты гостей.
Машина с тегом VLAN не получает адрес
- Причина
- Мост не VLAN-aware, и тег некуда отправить, или порт свитча и роутера не пропускает этот VLAN с тегом.
- Делаем
- У
vmbr0—bridge-vlan-aware yesиbridge-vids 2-4094; на свитче порт к хосту — trunk с нужным VLAN. Проверка с хоста:bridge vlan show— тег есть у портаtap<id>i0.
Включили фаервол на Datacenter — пропал доступ к интерфейсу
- Причина
- С включённым фаерволом входящее на хост запрещено, кроме портов 8006 и 22 из локальной сети. Заходим из другой подсети — попадаем под запрет.
- Делаем
- С консоли хоста:
pve-firewall stop, затем правило на свой адрес в Datacenter › Firewall иpve-firewall start. Илиenable: 0в/etc/pve/firewall/cluster.fw.