一、VPP技术

大多通用操作系统的网络协议栈一直都在内核中实现。其实网络协议栈只是一个应用,而不是操作系统的范畴,没有人规定网络协议栈一定是要早内核实现的。这些操作系统的开发者们将一切和具体业务无关的东西都塞进了操作系统内核。于是出现了pfring/netmap/dpdk等机制,做法是by pass掉内核协议栈,虽然方便,但是性能很差。

所以,通用操作系统参考通信行业将数据面、控制面、管理面分离的做法,把网络协议栈(数据平面)从操作系统剥离出来了,让操作系统去做控制的事情。

当网络协议栈,从内核态转移到用户态之后。很多之前利用内核协议栈做的功能,比如交换、路由、防火墙、NAT等功能,自然也能转到用户态去做。

但是,DPDK框架本身提供的能力还是比较有限的,要使用DPDK实现防火墙等功能,必须重新实现TCP/IP协议栈,确实不是一件容易的事情。

1. FD.io

FD.io (Fast data – Input/Output) 是许多项目和库的一个集合,基于DPDK并逐渐演化,支持在通用硬件平台上部署灵活和可变的业务。FD.io支持多个平台上(x86、ARM和PowerPC)和部署在不同的环境中(裸机、虚拟机和容器)。

FD.io的一个关键项目是VPP(Vector Packet Processing:矢量报文处理)。VPP是高度模块化的项目,新开发的功能模块很容易被集成进VPP,而不影响VPP底层的代码框架。

2. VPP

VPP(Vector Packet Processing,矢量数据包处理)其实就是一个用户态协议栈,也就是一个通用的数据平面。VPP主要有两个功能:框架可扩展;成熟的交换/路由功能

VPP运行于用户空间,支持多种收包方式,常用的是DPDK。通俗来说,*DPDK是lib,VPP是应用*;或者,*VPP用DPDK收包,DPDK是VPP的一个插件*

Ymodem 官方协议栈_网络协议栈

二、VPP软件架构

1. 基础架构

VPP软件框架包含基础设施层VPP INFRA、矢量处理库VLIB、网络层VNET、插件集Plugins。(越往核心越底层

Ymodem 官方协议栈_服务器_02


VPP Infra:提供一些基本的通用的功能函数库:包括内存管理、向量操作、hash、timer等;

VLIB:主要提供基本的应用管理库:buffer管理、graph node管理、线程、CLI、trace等;

VNET:提供网络资源能力:比如设备、L2-4功能、session管理、控制管理、流量管理等;

Plugins:主要为实现一些功能,在程序启动的时候加载,一般情况下会在插件中加入一些node节点去实现相关功能。

2. 源码结构

目录名称

描述说明

build-data

构建元数据

build-root

构建输出目录

doxygen

文档生成器配置

dpdk

DPDK补丁与构建基础设施

src\examples

VPP示例代码

src\plugins

VPP的捆绑插件目录

src\svm

共享虚拟内存分配库(shared virtual memory)

src\vlib

VPP的应用程序库

src\vlibmemory

VPP内存管理

src\vlibsocket

VPP Socket I/O

src\vlib-api

VPP API库

src\vnet

VPP网络

src\vpp

VPP应用程序

src\vpp-api

VPP应用程序API绑定

src\vppinfra

VPP核心库

src\tests

独立测试(不属于测试套件)

test

单元测试和Python测试工具

3. VPP图节点调度

Ymodem 官方协议栈_Ymodem 官方协议栈_03


(1) VPP中的图节点分为四种类型(四种IO机制)

VLIB_NODE_TYPE_INTERNAL:被调用图的内部节点,负责处理数据包。

VLIB_NODE_TYPE_INPUT:收包逻辑节点,每次main loop循环迭代之前都会被调用。

VLIB_NODE_TYPE_PRE_INPUT:调用输入节点之前的图节点,用作例如在处理输入数据包前清空网卡。

VLIB_NODE_TYPE_PROCESS:节点可挂起也可恢复,类似实现了单个线程中的多任务调度机制。

(2) 主要结构体

vlib_node_main_t:图节点柱结构,记录图节点的全局信息。

vlib_node_t:记录图节点的相关静态信息。

vlib_node_runtime_t:图节点调度实际使用的结构体,由vlib_node_t结构体中的信息和私有信息组成。

vlib_frame_t:保存图节点要处理的数据的内存地址信息。

vlib_pending_frame_t:记录运行节点的索引、数据包索引和下一个数据包的索引。

vlib_next_frame_t:记录图节点要处理的下一条的数据。

(3) 图节点调度流程

vlib_main_loop函数负责调度图节点。vpp的函数调用更像是一种各个节点之间相互连接,通过决定下一跳节点的路径在确定整个代码的执行路径。同样这种方式的函数调用提供了很低的耦合性,所以基于这种方式的二次开发不用太多考虑各个模块之间的相互影响,自定义的节点根据格式给出相应的回调函数来插入自定义的功能。

三、VPP配置文件

/etc/vpp/startup.cfg:

Ymodem 官方协议栈_服务器_04

四、VPP插件框架

VPP插件的流程“三步走”:

init_plugin ------->> example.c把node加入到链当中
set command ------->> example_node.c
function -------->> example_node.c

1. 插件模板目录结构

此次学习使用的是vpp18.01.2版本,仍然使用makefile形式编译,并未更新至VPP19版本以上使用cmake。

Ymodem 官方协议栈_网络_05

2. 源码分析

生成模板插件中的部分文件引用了VPP库中几个关键性目录中文件。整个VPP的软件框架主要分为四个层面,依次执行顺序是:VPP Infra -> VLIB -> VNET -> Plugins,所以程序编码中,会以VLIB宏为基础执行,再是VNET相关的宏。

(1) 注册节点:VLIB_REGISTER_NODE

在pktdump_node.c的VLIB_REGISTER_NODE中注册了内部节点ck_sample。

Ymodem 官方协议栈_网络协议栈_06

(2) 节点功能实现函数:VLIB_NODE_FN

在pktdump_node.c,接收数据包并打印输出。

Ymodem 官方协议栈_网络_07

(3) 注册插件名称以及描述:VLIB_PLUGIN_REGISTER

在pktdump.c的VLIB_PLUGIN_REGISTER中,描述了插件的VPP版本号以及描述等信息。

Ymodem 官方协议栈_Ymodem 官方协议栈_08

(4) 注册节点初始化1:VLIB_INIT_FUNCTION

在pktdump.c的VLIB_INIT_FUNCTION函数中,实例化ck_sample_main_t结构体,赋值各个参数。

Ymodem 官方协议栈_iot_09

(5) 注册节点初始化2:VNET_FEATURE_INIT

因为VLIB与VNET是层级调用关系,所以在pktdump.c的VNET_FEATURE_INIT初始化,让其在ethernet-input节点运行之前运行。这一步中,将VLIB中定义的功能函数通过.node_name以及.arc_name联系起来。

Ymodem 官方协议栈_Ymodem 官方协议栈_10

(6) 注册节点的CLI命令及激活:VLIB_CLI_COMMAND

通过命令行来触发VLIB_CLI_COMMAND (ck_sample_command, static)事件。

Ymodem 官方协议栈_iot_11

(7) 流程图归纳

Ymodem 官方协议栈_网络协议栈_12

五、VPP流程概览

Ymodem 官方协议栈_网络协议栈_13

六、VPP数据结构概览

Ymodem 官方协议栈_Ymodem 官方协议栈_14