PCI Express(PCIe)是一种高速串行I/O总线协议,用于在计算机系统中连接外部设备,如显卡、网卡、存储设备等。
以下是PCIe通信协议的一些关键特点:
高带宽:PCIe协议支持多个数据通道,每个通道的带宽可以达到2.5 GB/s以上,这大大提高了数据传输速度和系统性能。
基于差分信号:PCIe采用差分信号传输,这种信号传输方式可以降低电磁干扰和信号失真,同时也可以提高信号传输的可靠性。
点对点通信:每个PCIe设备都有自己的独立通道,这种点对点通信方式可以避免总线竞争和信号冲突。
热插拔支持:PCIe支持热插拔,这意味着在系统运行时可以动态添加或移除设备,而无需关闭系统或重启。
多个版本:PCIe有多个版本,包括PCIe 1.0、PCIe 2.0、PCIe 3.0、PCIe 4.0和PCIe 5.0。每个版本都有不同的带宽和数据传输速度。
软件可编程性:PCIe协议提供了灵活的软件编程接口,使软件开发人员能够更方便地访问PCIe设备并控制其功能。
在PCIe通信协议中,有许多术语和概念需要理解,包括总线、设备、根端点、虚拟通道、传输层协议(TLP)等等。总的来说,PCIe是一种高性能、高可靠性的通信协议,已经成为了现代计算机系统中不可或缺的一部分。
一、PCI Express(PCIe)通信协议的实现方法可以分为以下几个方面:
1、总线拓扑结构
PCIe采用点对点拓扑结构,每个设备都有自己的地址空间和独立的通道,设备之间通过交换机连接。在PCIe中,最上层的交换机被称为根端点,负责管理整个PCIe网络,包括为每个设备分配地址、分配虚拟通道等。除了根端点之外,其他设备也可以充当交换机的角色,从而形成更复杂的PCIe网络。
2、传输层协议(TLP)
在PCIe中,传输层协议(TLP)是数据传输的基本单位。TLP包含有关数据传输的各种信息,包括地址、命令、数据、校验和等等。每个TLP都被分配一个唯一的标识符,以便接收方可以识别和验证TLP的完整性。PCIe定义了许多不同类型的TLP,例如读请求TLP、写请求TLP、数据TLP等等,每种类型的TLP都有自己的格式和字段。
3、虚拟通道
PCIe中的虚拟通道是指逻辑上分离的通道,每个通道都有自己的优先级和带宽。PCIe 3.0引入了动态流量控制(DPC)机制,可以根据网络拥塞情况动态调整虚拟通道的带宽,从而提高网络性能和可靠性。
4、数据链路层
PCIe的数据链路层负责将TLP转换为物理层的数据信号,并在数据传输过程中执行流控制、错误检测和纠错等操作。数据链路层还负责管理虚拟通道和交换机,以确保数据传输的可靠性和效率。
5、物理层
PCIe的物理层负责将数据信号转换为物理信号,并在不同设备之间传输。PCIe采用串行传输方式,使用差分信号传输技术,具有高带宽和低功耗等优点。PCIe还定义了许多不同类型的物理层信号,例如8b/10b编码、128b/130b编码等等,每种信号都有自己的特点和应用场景。
PCI Express(PCIe)通信协议的实现涉及到许多方面,包括总线拓扑结构、传输层协议、虚拟通道、数据链路层和物理层等等。这些方面都需要在硬件和软件层面进行实现。
6、硬件实现
在硬件实现方面,PCIe需要使用专门的芯片来实现。例如,PCIe设备需要使用PCIe控制器芯片,而主板需要使用PCIe桥接器芯片。这些芯片需要支持PCIe协议,并能够实现PCIe的各种功能,例如数据传输、流控制、错误检测和纠错等等。
7、驱动程序
在软件实现方面,PCIe需要使用特定的驱动程序来实现。驱动程序可以访问PCIe设备的地址空间,读写设备的寄存器和内存等等。驱动程序还可以控制虚拟通道和传输层协议,以确保数据传输的可靠性和效率。在操作系统中,通常会提供标准的PCIe驱动程序,但是具体的驱动程序实现需要根据设备和操作系统进行定制。
8、性能优化
PCIe的性能优化可以从多个方面入手,例如增加虚拟通道的带宽、优化传输层协议、使用高速存储器等等。此外,还可以采用高效的缓存算法和DMA技术,以减少CPU的负担和提高数据传输的速度。PCIe 5.0还提供了很多新的优化功能,例如流控制更新、动态链接重训练等等,可以进一步提高PCIe的性能和可靠性。
综上所述,PCIe通信协议的实现需要涉及到硬件和软件两个方面,包括总线拓扑结构、传输层协议、虚拟通道、数据链路层、物理层、驱动程序和性能优化等等。在实现过程中,需要考虑各种因素,包括性能、可靠性、成本和功耗等等,以达到最优的效果。
二、PCIe通信需要满足以下条件:
必须有PCIe总线:PCIe总线是PCIE通信的物理层,包含一组信号线和协议,用于在不同的设备之间传输数据。
设备ID:每个设备必须具有唯一的设备ID,以便其他设备能够识别它。
BAR寄存器:每个设备必须配置至少一个基址寄存器(BAR),用于描述设备的地址空间。其他设备可以通过读取设备的BAR寄存器来确定设备的地址空间。
命名空间:每个PCIe设备必须有一个唯一的命名空间,用于区分不同的设备。命名空间可以基于PCIe端口、PCIe根端口和其他因素进行识别。
PCI配置空间:每个PCIe设备必须有一个标准的PCI配置空间,其中包含用于描述设备和其功能的寄存器。
PCIe事务:PCIe通信是通过传输事务来实现的,每个事务包括一个事务层包(TLP)和一个数据链路层包(DLLP)。
链路层:每个PCIe设备必须实现链路层,以便与其他设备通信。链路层包括传输层(包括传输层协议)、数据链路层和物理层。
数据传输速率:PCIe支持不同的数据传输速率,最高速率为32GT/s(PCIe 5.0)。传输速率取决于PCIe设备和总线的能力,以及系统配置。
以上是PCIe通信的一些基本条件和要求,实际上,PCIe通信还有很多细节和规范需要遵循,例如事务处理规则、错误处理、缓存一致性、中断处理等,这些细节需要根据具体情况进行实现和配置。
三、FPGA中PCIE接口的I/O信号以及使用方法
1、差分对:PCIe使用差分对传输数据,因此必须使用差分对输入/输出信号。差分对信号包括TXP/TXN(发送数据)、RXP/RXN(接收数据)、CLKP/CLKN(时钟信号)和PERST#(复位信号)等。
2、状态指示灯:PCIe设备通常配备了状态指示灯,用于显示设备的状态信息。在FPGA中,状态指示灯的控制可以使用GPIO或其他通用I/O端口来实现。
3、内存映射I/O:PCIe设备通常使用内存映射I/O来与主机通信。在FPGA中,可以使用AXI总线、Avalon总线或其他总线协议来实现内存映射I/O。
4、中断信号:PCIe设备通常使用中断信号来通知主机某些事件已经发生。在FPGA中,可以使用中断控制器模块来实现中断信号的控制。
使用这些I/O信号,可以在FPGA中实现PCIe接口,以便与PC机或其他PCIe设备进行通信。在实际应用中,需要根据具体情况进行I/O信号的配置和调试,以确保PCIe通信的可靠性和性能。
四、PCIE的XDMA使用
五、PCIE通过自写DMA代码进行传输
XDMA是Xilinx自有的ip,因此PCIE和DMA是捆绑在一起使用的,因此XDMA里的DMA功能比较多,资源占比较大,在工程中显得比较厚重。因此我们可以自己调用PCIE的IP然后手写DMA进行数据交互,这样子能节省一定的资源,并且使得这套PCIE+DMA的方案显得更加清爽。
六、PCIE的PR功能
这里提到我所使用的两种PR功能,一种是Tandem模式,一种是DFX模式。
PCI Express®规范要求PCIe®链路在电源稳定后120毫秒内做好连接准备。由于可用编程比特流的大小和配置速率,对采用闪存存储器配置的大型FPGA而言要想满足这个要求的确是一个挑战。赛灵思的串列配置法(Tandem Configuration)是缩短FPGA配置时间以满足120毫秒PCIe链接时间要求的一种现实可行的方法。
如果要使用Tandem模式,需要将PCIE核中的Tandem Configuration or Dynamic Function eXchange这个选项中选中Tandem选项。这样在生成比特流之后会根据你的工程结构来生成多个比特文件。
Vivado第一步只会生成比特流,PCIE也支持MCS文件烧录版本,尤其是Tandem和DFX模式都需要使用MCS进行烧录版本,所以我们需要将bit文件转成mcs文件,可以通过GUI或者Tcl指令来产生mcs文件,我这里使用的Tcl指令是:
write_cfgmem -format mcs -size 128 -interface SPIx4 -loadbit {up 0x01002000 “/home/work/HAI_AU50/04_prj/hai_mf.runs/impl_1/hai.bit” } -file “/home/work/HAI_AU50/04_prj/hai_mf.runs/impl_1/hai.mcs”。
通过MCS文件烧录完成后,断开Jtag线后可以通过PCIE进行工程烧录和加载。后续的掉电或者重启都不会影响mcs已经烧录进去的版本。
七、PCIE的四组信号通道
1、CQ通道
CQ通道一般用来进行寄存器配置等操作,PCIE通过CQ通道输出BAR空间中对FPGA寄存器的读或者写请求。
2、CC通道
PCIE的CC通道响应FPGA寄存器对PCIE端读或者写寄存器请求的结果。
3、RQ通道
RQ通道一般为BAR空间中对FPGA中数据的读写请求以及内存空间的映射信息。
4、RC通道
RC通道一般为PCIE对FPGA中数据的读写请求以及内存空间的映射信息的响应。
所有通道都会被包一层TLP的报头以供软件或者DMA解析,具体信息可以查看官方的PG213文档。