basforge

Ищем по названиям, тексту и разборам «Если не работает».

    EN
    ОбзорHomelabProxmox

    Сеть в Proxmox: мост vmbr0, VLAN, своя сеть за NAT и фаервол

    Хост Proxmox работает как свитч внутри компьютера: мост vmbr0 соединяет сетевую карту с гостями, и каждый гость — отдельное устройство в домашней сети со своим MAC и адресом от роутера. Конфиг — /etc/network/interfaces, применяется ifreload -a без перезагрузки. VLAN, своя сеть за NAT и фаервол строятся вокруг этого моста, поэтому ошибка в нём отрезает и хост, и всех гостей.

    Мост vmbr0: как гость попадает в сеть

    Установщик делает один мост — vmbr0 — и включает в него первую сетевую карту. Адрес хоста висит на мосте, а не на карте. Каждый гость подключается к мосту своим виртуальным портом: у машины это tap<id>i<n>, у контейнера — veth<id>i<n>.

    роутер 10.0.0.1 ── кабель ── nic0 ─┐
                                       ├─ vmbr0  10.0.0.2   ← хост, веб-интерфейс :8006
               машина 101 ── tap101i0 ─┤                    ← гость: свой MAC, адрес от роутера
           контейнер 201 ── veth201i0 ─┘

    Для роутера гости — такие же устройства, как телефоны: каждый со своим MAC, адрес раздаёт DHCP роутера или прописываем свой. Трафик между гостями на одном хосте до роутера не доходит, мост передаёт его сам.

    Файл сети после установки:

    auto lo
    iface lo inet loopback
    
    iface nic0 inet manual
    
    auto vmbr0
    iface vmbr0 inet static
            address 10.0.0.2/24
            gateway 10.0.0.1
            bridge-ports nic0
            bridge-stp off
            bridge-fd 0
    • iface nic0 inet manual — у карты нет своего адреса, она только порт моста.
    • bridge-ports nic0 — какие карты входят в мост. Мост без карт (bridge-ports none) — сеть только между гостями и хостом.
    • bridge-stp off, bridge-fd 0 — без протокола STP и без задержки перед пересылкой: в мосте одна карта, петель не бывает.

    Сеть применяет ifupdown2: ifreload -a перечитывает файл и меняет только то, что изменилось, гостей не останавливая. В интерфейсе правка идёт через /etc/network/interfaces.new и кнопку Apply Configuration. Правка руками в /etc/network/interfaces и ifreload -a — то же самое.

    Имена сетевых карт

    Ядро даёт карте имя по месту на шине: eno1, enp3s0, у USB-адаптеров — по MAC, enx74d4…. После обновления ядра место может читаться иначе: Proxmox пишет в заметках к 9.1, что новые возможности PCIe в свежем ядре меняют имена. Мост ссылается на старое имя, и хост остаётся без сети.

    Защита — закреплённые имена:

    • В установщике с 9.1 — опция закрепить имена. Карты называются nic0, nic1, и это имя не зависит от ядра.
    • На готовом хосте — pve-network-interface-pinning generate. Утилита пишет файлы .link в /usr/local/lib/systemd/network/, правит конфиги Proxmox под новые имена; применяются они после перезагрузки.

    Старое имя ядро сохраняет как дополнительное: ip link покажет altname enx74d43519a642 у nic0.

    VLAN

    VLAN делит одну физическую сеть на несколько: гостевая, умный дом, лаборатория. Если роутер и свитч умеют VLAN («Провода на MikroTik»), мост Proxmox раздаёт их гостям по тегам. Включаем у моста две строки:

    auto vmbr0
    iface vmbr0 inet static
            address 10.0.0.2/24
            gateway 10.0.0.1
            bridge-ports nic0
            bridge-stp off
            bridge-fd 0
            bridge-vlan-aware yes
            bridge-vids 2-4094

    Дальше у сетевой карты гостя ставим VLAN Tag, например 20, — в конфиге гостя это net0: virtio=…,bridge=vmbr0,tag=20. Гость о VLAN не знает: он видит обычную сеть, а тег ставит и снимает мост. Порт свитча, куда воткнут хост, должен пропускать эти VLAN с тегом (trunk).

    Своя сеть за NAT

    Бывает, что гостям нужна отдельная сеть: на арендованном сервере один публичный адрес, хост сидит на Wi-Fi или тестовые машины не должны видеть домашнюю сеть. Тогда делаем второй мост без карт и выпускаем его наружу через NAT хоста — как домашний роутер выпускает квартиру:

    auto vmbr1
    iface vmbr1 inet static
            address 10.10.10.1/24
            bridge-ports none
            bridge-stp off
            bridge-fd 0
            post-up   echo 1 > /proc/sys/net/ipv4/ip_forward
            post-up   iptables -t nat -A POSTROUTING -s '10.10.10.0/24' -o vmbr0 -j MASQUERADE
            post-down iptables -t nat -D POSTROUTING -s '10.10.10.0/24' -o vmbr0 -j MASQUERADE
    • Гости в vmbr1 получают адреса 10.10.10.x, шлюз — 10.10.10.1. DHCP здесь нет: адрес задаём сами — в шаблоне cloud-init это одна опция --ipconfig0 («Шаблон VM с cloud-init»).
    • -o vmbr0 — интерфейс, через который хост ходит наружу. Если адрес хоста висит прямо на карте, а не на мосте, здесь имя карты.
    • Порт гостя наружу — правилом DNAT: iptables -t nat -A PREROUTING -i vmbr0 -p tcp --dport 2222 -j DNAT --to-destination 10.10.10.11:22. Его тоже ставим строкой post-up и снимаем в post-down.
    • Если на хосте включён фаервол Proxmox, документация советует ещё одну строку — зоны conntrack для исходящих соединений: post-up iptables -t raw -I PREROUTING -i fwbr+ -j CT --zone 1.

    Правил больше трёх — выносим их в свой скрипт, который вызывают post-up и pre-down: так правила снимаются одной командой и не дублируются при повторном подъёме моста.

    Тот же NAT с DHCP можно собрать мышью: Datacenter › SDN, зона Simple с галками SNAT и DHCP. Proxmox сам поднимет dnsmasq и раздаст гостям адреса. DHCP в SDN — технологическое превью с 8.1.

    Две карты: bond

    Две карты в одном bond дают запас на случай обрыва кабеля или порта. Режим 802.3ad (LACP) складывает их скорость для разных соединений, но требует поддержки на свитче. active-backup работает с любым свитчем: одна карта работает, вторая ждёт. Мост тогда строится поверх bond: bridge-ports bond0.

    Фаервол Proxmox

    Фаервол Proxmox встроен и выключен по умолчанию. Правила живут на трёх уровнях:

    Уровень Где в интерфейсе Что закрывает
    Datacenter Datacenter › Firewall общий выключатель и правила для всех узлов; группы правил, наборы адресов
    Узел узел › Firewall входящее на сам хост: 8006, 22, 3128 (прокси SPICE)
    Гость машина или контейнер › Firewall трафик к гостю на уровне моста, гость о нём не знает

    Порядок включения важен. Включаем фаервол на Datacenter — и входящее на хосты запрещено, кроме 8006 и 22 из локальной сети. Для гостя фаервол действует, только если включён и у гостя (его Firewall › Options › Firewall), и у его сетевой карты (firewall=1, в интерфейсе новые карты создаются с этой галкой).

    Реализаций две. Основная — pve-firewall на iptables. С 8.2 есть proxmox-firewall на nftables — технологическое превью, включается у узла: Firewall › Options › nftables. Правила в интерфейсе те же, меняется только то, что их исполняет.

    Для дома частый вариант проще: фаервол Proxmox выключен, наружу ничего не проброшено, а 8006 и SSH хоста доступны только из домашней сети («8006 — только изнутри»). Гостей, которые смотрят в интернет, закрывают их же фаерволом — ufw в Ubuntu («Фаервол ufw»).

    Если не работает

    Поменяли сеть в интерфейсе — ничего не изменилось

    Причина
    Интерфейс пишет правки в /etc/network/interfaces.new, а в рабочий файл они попадают только по кнопке Apply Configuration.
    Делаем
    Узел › System › Network › Apply Configuration. Что именно поменяется, видно внизу той же страницы, в Pending changes.

    После обновления ядра хост пропал из сети

    Причина
    Новое ядро назвало карту иначе (enp3s0 вместо enp2s0), а у vmbr0 в bridge-ports старое имя.
    Делаем
    С монитора: ip -br link — новое имя, правим bridge-ports в /etc/network/interfaces и ifreload -a. Потом закрепляем имена: pve-network-interface-pinning generate и перезагрузка.

    Хост на ноутбуке по Wi-Fi работает, а гости в мосте без сети

    Причина
    Клиент Wi-Fi передаёт кадры только со своим MAC: точка доступа не примет кадры от MAC гостей, и мост поверх Wi-Fi не работает.
    Делаем
    Гостей — в свою сеть за NAT (vmbr1 с MASQUERADE, ниже) или подключаем хост кабелем.

    Арендованный сервер: добавили гостя в мост с публичным адресом — провайдер отключил порт или прислал жалобу

    Причина
    Провайдер видит на порту несколько MAC и считает это нарушением: документация Proxmox прямо предупреждает, что так делают многие хостинги.
    Делаем
    Гостей — в сеть за NAT на vmbr1, наружу — порты через DNAT или прокси на хосте. Если провайдер выдаёт виртуальные MAC под доп. адреса — ставим их на сетевые карты гостей.

    Машина с тегом VLAN не получает адрес

    Причина
    Мост не VLAN-aware, и тег некуда отправить, или порт свитча и роутера не пропускает этот VLAN с тегом.
    Делаем
    У vmbr0 — bridge-vlan-aware yes и bridge-vids 2-4094; на свитче порт к хосту — trunk с нужным VLAN. Проверка с хоста: bridge vlan show — тег есть у порта tap<id>i0.

    Включили фаервол на Datacenter — пропал доступ к интерфейсу

    Причина
    С включённым фаерволом входящее на хост запрещено, кроме портов 8006 и 22 из локальной сети. Заходим из другой подсети — попадаем под запрет.
    Делаем
    С консоли хоста: pve-firewall stop, затем правило на свой адрес в Datacenter › Firewall и pve-firewall start. Или enable: 0 в /etc/pve/firewall/cluster.fw.