七叶笔记 » golang编程 » DPDK加速网络节点《挑战全网DPDK》

DPDK加速网络节点《挑战全网DPDK》

DPDK全称为Date planedevelopment kit,是一个用来进行数据处理加速的软件库。与传统的数据包处理相比,DPDK具有以下特点:

1) 轮询: 在处理时避免中断上下文切换的开销,

2) 用户态驱动: 规避不必要的内存拷贝和系统调用,便于快速迭代优化

3) 亲和性与独占: 特定任务可以被指定只在某个核上工作,避免线程在不同核间频繁切换,保证更多的cache命中

4) 降低内存开销: 利用内存大页HUGEPAGE降低TLB miss,利用内存多通道交错访问提高内存访问有效带宽

5) 软件调优: cache行对齐,预取数据,多元数据批量操作

DPDK框架

原型设计

针对这些问题,经过技术调研,也参考了国内外同⾏的已有解决方案,在过程中和 Intel 团队紧密合作,我们采用 OVS-DPDK 进⾏开发部署,并最终取得了不错的效果。如下是数据流模型:

数据层面的⼏个重要改造

1. 底层:⽹卡硬件相关

基于 VF 的数据流改造

借助硬件将 OverLay 的流量与宿主机的其他⽹络流量进⾏分离。通过 flow classification 命令将前者导⼊到 VF 上,而后者仍然是通过 PF 口到内核进行处理,保持原有处理逻辑不变。OVS- DPDK 只接管 VF ⽹口,⽽不触碰 PF 口上的非 SDN OverLay ⽹络流量。

这样既简化了 OVS-DPDK 的处理逻辑,同时也避免了因 OVS-DPDK 本身的稳定性,而影响其他⾮ SDN ⽹络模块的稳定性。

2. 中间层:OVS 报⽂处理

无状态的转发功能

⽬前,我们对计算节点⽹络层面的需求,可以分为两大类:VM 流量的转发和 VM 网络的安全监控。其中后者是内部开发的,暂时略过。

针对 VM 流量转发的这个需求,⼜拆解为两部分:OverLay 外层头的处理和内层报文的转发。

借助 OVS-DPDK 的 flow 表实现这两部分功能。因为没有启⽤ conntrack 功能,因此我们这部分的实现是⽆状态的。这个拆解,特别是无状态的特性,在热升级的时候取得了不错的效果。

OVS 单网桥

之前参考 OpenStack 的模型,我们使⽤了 br-int,br-tunnel 两个网桥。在这个模型里,OVS ⽹桥的使⽤方式跟传统的 Bridge 使⽤⽅式差别不大,没有充分发挥 OVS ⽹桥的优势。

在我们的模型中,把两个网桥整合为一个网桥,将 VXLAN ⼝和 vhost-user 的⼝都放到⽤⼀个网桥上。VM 发出的报⽂经过 OVS 转发处理后,携带外层头信息进入 VXLAN 驱动,经过 VXLAN 网口的封装后,发送给 VF 网口。

根据我们的数据模型,进入 VF ⼝的报⽂只可能是发往 VM 的 VXLAN 类型的报文。这些报文,在被剥除 VXLAN 头后,经过 VXLAN ⼝进⼊网桥,经过⽹桥转发到各个 VM 的 VPORT 。

降低与内核的耦合性

原有的 OVS 桥的路由和 ARP 表需要去内核查询,跟内核的耦合性很强。

我们通过 SDN 控制器下发到 OVS-DPDK,来规避直接与内核的交互。这样⼀方⾯简化了 Bridge 的配置(不用单独设置IP地址等),降低了内核的耦合性,另⼀方⾯也降低了热升级时候的复杂度。

3. 上层: vhost-user 与 VM 交互层

vhost-user增强

我们使用的是 QEMU 作为 vhost-user 的 Server 端,OVS-DPDK 进程通过 unixsocket 连接到 QEMU。QEMU 默认仅支持一个这样的连接,改造 QEMU 后,使得 QEMU 支持两个主备倒换的连接,这样热升级的时候,可以通过控制 OVS-DPDK 端的开关,轻松的在新⽼两个进程间切换。

内存模型采用 2M/4k。

尽量减少对现有 VM 的影响,为以后升级和迁移做准备。

方案优势

总结

详细教程资料关注+评论;资料;两个字可以免费视频领取+文档+各大厂面试题 资料内容包括:C/C++,Linux,golang,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒体,CDN,P2P,K8S,Docker,TCP/IP,协程,DPDK,嵌入式 等。。

相关文章