裸金属设备VPC配置底层实现及方案

一、为什么裸金属需要特殊处理 VPC？

虚拟机 / 容器：宿主机上有 OVS/bridge，直接做 VXLAN 封装（VTEP），天然在 VPC 里。
裸金属：没有 Hypervisor，网卡直接走物理网络（Underlay），不会自动打 VXLAN，和云网络隔离。

要让裸金属进 VPC，必须在某个点做 VTEP（隧道封装 / 解封装）：

要么在 服务器本地（智能网卡 / DPU）
要么在 交换机（ToR）
要么在 网关设备（BMS Gateway）

二、主流技术方案（底层实现）

方案 1：智能网卡 / DPU 方案（阿里云、华为云、AWS 主流）

原理：

裸金属插 智能网卡（DPU）：Mellanox BlueField、英伟达 BlueField、华为擎天卡等。
智能网卡内置 vSwitch / VTEP，硬件级做 VXLAN/Geneve 封装 / 解封装。
服务器本身无感知，像普通物理机一样用，但流量从智能网卡出去已经是 Overlay 包。

架构：

plaintext

裸金属服务器 → 智能网卡（VTEP）→ ToR → 物理网络 → 其他 VTEP（虚机/网关）

控制面：

云平台（Nova/Ironic）→ 配置智能网卡：VNI、安全组、ACL、EIP、路由。
智能网卡和虚机 OVS 用同一套 VPC 控制协议（OpenFlow/OVSDB/CNI）。

优点：

性能最好、延迟最低（硬件卸载）
支持完整云网络能力：安全组、QoS、流量镜像、ARP/ND 代理
物理机和虚机二层互通
复用现有 VPC 管控系统

缺点：

硬件成本高
机型绑定网卡，生态受限
升级、替换复杂

方案 2：ToR 交换机 VTEP 方案（华为云 Stack 增强型、新华三）

原理：

不用改服务器，用 支持 VXLAN 的 SDN ToR 交换机（华为 CE、H3C、思科等）。
ToR 充当 VTEP：服务器发的原始包到 ToR，由交换机硬件做 VXLAN 封装 / 解封装。
控制面由 SDN 控制器自动配置 ToR 的流表、VNI、隧道

网卡 → ToR（VTEP）→ 物理网络 → 其他 VTEP

优点：

服务器无改造、通用机型
性能接近智能网卡（硬件转发）
成本低、复用现有交换机
华为云 Stack 主推此方案

缺点：

依赖高端 SDN 交换机
跨厂商兼容性一般
部分网络特性（如精细安全组）依赖交换机能力

方案 3：BMS 裸金属网关方案（早期 OpenStack、中小云）

原理：

服务器走 VLAN 接入物理网。
新增 BMS 网关集群（服务器 + OVS/DPDK）做 集中式 VTEP。
网关把 VLAN 流量转成 VXLAN，接入 V

金属 → VLAN → ToR → BMS 网关（VTEP）→ VXLAN → VPC

优点：

硬件要求低、通用服务器
方案成熟、OpenStack Ironic 原生支持
适合小规模、低成本起步

缺点：

网关是瓶颈、带宽有限
多一跳、延迟增加
高可用复杂（集群 + 双活）

方案 4：传统 VLAN 方案（仅小型私有云）

每个 VPC 对应一个 VLAN ID（4096 上限）。
物理机端口划到对应 VLAN。
无法大规模、无 VXLAN、不支持跨三层、云能力弱。
基本已淘汰。

三、底层关键技术点（必须懂）

1. VXLAN 核心（VPC 基础）

VNI：24 位，支持 1600 万 + 虚拟网络（VPC）。
VTEP：封装 / 解封装节点（智能网卡 / ToR / 网关）。
Underlay：物理 IP 网络（路由可达）。
Overlay：租户 VPC 网络（内网 IP）。

2. 控制面架构（自研必看）

你需要一套 SDN 控制平面：

网络服务（VPC / 子网 / EIP / 安全组 / 路由）
配置下发：
- 智能网卡：RPC/Redfish/OVSDB
- ToR：NETCONF/OVSDB/OpenFlow
- 网关：Netlink/OVSDB
状态同步：MAC/ARP/ 路由 / 端口状态
策略：安全组、ACL、流量控制

3. 裸金属生命周期（Ironic 架构）

自研一般基于 OpenStack Ironic（裸金属管理事实标准）：

部署：PXE/iPXE → 安装 OS → 配置网络
运行：网络配置（VLAN/VXLAN）、IPMI 管控、监控
销毁：清配置、擦盘、回收端口

网络侧配合 Neutron + networking-generic-switch / networking-sfc。

四、你们公司自研落地：推荐路径（分阶段）

阶段 1：快速验证（3–6 个月）

方案：BMS 网关 + OpenStack Ironic

组件：
- Ironic：裸金属生命周期
- Neutron：VPC / 安全组 / EIP
- BMS 网关：2–4 台通用服务器（DPDK+OVS）
- ToR：普通交换机（支持 VLAN）
实现：
- 物理机 → VLAN → ToR → BMS 网关 → VXLAN → VPC
优点：
- 全软件、快上线、低成本
- 验证 VPC 与裸金属互通、产品形态

阶段 2：规模化（6–12 个月）

方案：ToR SDN + 部分智能网卡

升级 ToR 为 支持 VXLAN 的 SDN 交换机。
控制面用 SDN 控制器（自研 / 开源 ONOS/Faucet/ODL）。
高性能业务用 智能网卡（数据库 / 大数据）。

阶段 3：顶尖架构（长期）

方案：DPU 全覆盖 + 统一 SDN

全栈智能网卡 / DPU
控制面统一：虚机、容器、裸金属一套网络管控
硬件卸载：VXLAN、安全组、QoS、加密

五、自研核心组件清单（你要采购 / 开发）

1. 硬件

服务器：支持 IPMI、带外管理
网卡：
- 入门：普通 25G 网卡（配合网关）
- 进阶：智能网卡（Mellanox BlueField/Xilinx Alveo）
交换机：
- 入门：普通 25G/100G 交换机（VLAN）
- 进阶：SDN ToR（支持 VXLAN/EVPN，BGP EVPN 最佳）

2. 软件栈（推荐）

计算：OpenStack Ironic（裸金属管控）
网络：
- Neutron（VPC / 子网 / 安全组 / EIP / 路由）
- networking-generic-switch（配置交换机 VLAN）
- networking-ovn（或 EVPN SDN）
网关：OVS+DPDK（VTEP 集群）
运维：Zabbix/Prometheus、IPMI 工具、自动化部署

六、与公有云对比（你做出来和华为 / 阿里一样的效果）

表格

能力	公有云（智能网卡）	自研（网关 / ToR）
VPC 互通	✅	✅
安全组	✅	✅
EIP / 弹性网卡	✅	✅
负载均衡	✅	✅
性能	极高	中～高（ToR 接近）
成本	高	中～低
交付速度	秒 / 分钟	分钟级

七、给你们的落地建议

先验证场景：挑 2–3 种业务（Web / 数据库 / 大数据）做 POC。
首选方案：
- 预算有限、快速上线：Ironic + BMS 网关
- 中长期、性能优先：SDN ToR + 部分智能网卡
控制面必须统一：裸金属与虚机 / 容器用同一套 VPC / 安全组 / ACL。
自动化：PXE 自动部署、网络自动配置、端口自动 VLAN/VXLAN。