数据传输的方法及系统
技术领域
本发明涉及数据传输领域，具体涉及面向PCIE等I/O设备的数据传输控制，主要是
为PCIE等I/O设备的DMA传输提供内存资源分配管理和数据传输的方法及系统。
背景技术
I/O设备在进行数据传输时，一般使用直接内存存取(Direct Memory Access，简
称DMA)技术传输I/O设备上的数据，从而实现独立于CPU的后台批量数据传输。在DMA操作
中，主机为DMA操作分配DMA内存地址空间，I/O设备直接在DMA内存地址空间上进行数据读
写，从而完成DMA方式数据传输。DMA操作通过DMA报文实现，I/O设备向主机发送DMA报文，
DMA报文中包含DMA地址，DMA地址位于主机为DMA操作所分配的DMA内存地址空间上。通过
DMA报文中的DMA地址，I/O设备可以直接对主机的DMA内存地址空间上的数据进行读写，具
体的，例如，当主机对I/O设备进行写操作时，DMA报文为对内存的读报文，数据通过对该读
报文所响应的一个或多个完成命令包携带，从内存拷贝到I/O设备上；当主机对I/O设备进
行读操作时，根据需要拷贝的数据大小，I/O设备生成的DMA报文为一个或者多个写报文，报
文携带拷贝的数据，写报文到达目标主机的DMA内存地址空间，将报文中的数据载荷复制到
对应的内存空间中。由于DMA操作中，数据传输的过程无需主机CPU进行参与，从而实现了I/
O设备对主机数据独立的高速读写。
随着计算机技术的不断发展，各种计算机PCIE设备所需带宽也越来越大，对应的
PCIE设备也需要在主机中分配更大的上下行数据缓存。而以往的主机在分配上行DMA缓存
时一般是申请一块或者两块较大的连续内存进行数据缓存，但是随着所需缓存越来越大，
传统方法的的弊端也越来越明显：
弊端1：较大的连续内存申请成功几率低，一旦系统无法提供预期的连续内存资源，那
么只能减小尺寸继续申请直至申请成功，这样常常无法得到预期缓存大小；
弊端2：主机系统内存资源未得到充分利用，因为需要申请较大块的连续内存，所以系
统中的较小的连续内存块无法被使用，这样可能导致即使系统中有足够的内存资源，但是
也只能被对应的PCIE设备使用其中一部分。
发明内容
鉴于上述现有技术的不足，本发明提出了一种用于I/O设备和主机设备之间进行
DMA数据传输的方法以及数据传输系统，以提高主机系统的内存资源申请的成功率并能有
效利用较小的连续内存块以便为I/O设备提供更多的主机内存资源。
根据本发明的一个方面，提供了一种数据传输方法，所述方法应用于I/O设备通过
DMA将数据传输至主机，所述方法包括：
根据预设缓存大小S和平均数据包长度P计算出索引数量S / P，然后根据索引单元的
大小U计算出索引内存块的大小I =（S / P）× U，并按照此大小申请索引内存块；
根据预设的缓存大小S和每块数据内存块M的大小计算出需要分配的数据内存块的数
量N = S / M，并按照预设数据块大小M申请N块数据内存块；
将索引内存块的起始物理地址、长度和所有的数据内存块的起始物理地址和数据内存
块的大小写入到I/O设备；
控制I/O设备通过DMA传输上行数据；
主机读取索引信息并根据索引单元的记录获取上行数据包内容。
所述索引单元中包括数据包长度、数据包所在数据内存块序号、数据包起始位置
的偏移地址、索引单元有效标记、索引单元完结标记等信息，其中，
数据包长度用来记录当前索引单元对应的数据包的长度信息；
数据包所在数据内存块序号，用来记录当前索引单元对应的数据包位于第几个数据内
存块中；
数据包起始位置的偏移地址，用来记录当前索引单元对应的数据包的起始位置在其存
放的数据内存块的开始地址往后偏移的字节数；
索引单元有效标记，用来表示当前索引单元是否有效；
索引单元完结标记，用来表示下一个数据包的索引单元是否要从头开始检索
在一种可能的设计中，当所述主机获取了当前索引单元对应的数据包后，将当前索引
单元有效标记置为无效，当所述I/O设备存入新的数据包到数据内存块中，将当前索引单元
有效标记置为有效。
在一种可能的设计中，当主机检查到待读取的索引单元的有效标记被置为有效
时，即根据索引单元中记录的数据包所在数据内存块序号和数据包起始位置的偏移地址在
数据内存块中找到对应数据包的位置，然后根据索引单元记录的数据包长度来获取上行数
据包。
在一种可能的设计中，所述主机获取数据包后，还检查索引单元的完结标记，如果
完结标记有效，则将完结标记置为无效，同时将主机记录的正在检查的索引单元位置变更
为第一个索引单元；如果完结标记无效，则将主机记录的正在检查的索引单元位置则变更
为下一个索引单元。
根据本发明的另一个方面，提供了一种数据传输系统，所述系统包括主机及与主
机连接的I/O设备，所述I/O设备通过DMA将数据传输至主机，所述主机包括：
索引内存申请单元，用于根据预设缓存大小S和平均数据包长度P计算出索引数量S /
P，然后根据索引单元的大小U计算出索引内存块的大小I =（S / P）× U，并按照此大小申
请索引内存块；
数据内存申请单元，用于根据预设的缓存大小S和每块数据内存块M的大小计算出需要
分配的数据内存块的数量N = S / M，并按照预设数据块大小M申请N块数据内存块；
内存分配信息发送单元，用于将索引内存块的起始物理地址、长度和所有的数据内存
块的起始物理地址和数据内存块的大小写入到I/O设备；
上行数据读取单元，用于读取索引信息并根据索引单元的记录获取上行数据包内容。
本发明因为不用一次申请较大块的连续物理内存，这样主机申请每块连续物理内
存块成功的概率将大大增加，从而可较好的解决现有技术的弊端，提高主机系统的内存资
源申请的成功率并能有效利用较小的连续内存块，以便为包括诸如PCIE设备在内的各种I/
O设备提供更多的主机内存资源。
附图说明
图1示出本发明的主机内存资源图。
图2示出本发明的上行数据包填充流程图。
图3示出本发明的主机数据包接收流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施
例，都属于本发明保护的范围。
由于本发明应用于I/O设备和主机设备之间进行上行DMA数据传输，为了方便对本
发明的理解，对现有技术中DMA写操作的流程进行简要的介绍。DMA写操作可以实现将数据
从I/O设备拷贝到目标主机的DMA内存地址中，DMA写操作包括如下步骤：
1、根据接收到的DMA操作启动请求，I/O设备驱动软件生成一个IO命令包，包含DMA拷贝
I/O设备中的数据到内存的指令信息，IO设备上源数据地址和目标内存DMA地址；
2、IO设备接收到该命令包，根据需要拷贝的数据大小，生成一个或者多个DMA写报文，
报文的目标地址为内存DMA地址，报文携带拷贝的数据；
3、将DMA写报文发送至对应的通道(一般为PCIE链路)；
4、DMA写报文到达主机的物理内存空间，将报文中的数据载荷复制到对应的目标内存
DMA地址上。
本发明中由I/O设备控制上行DMA传输，主机需要申请两种物理内存块：1）用来存
储数据包描述信息的一小块连续物理内存（后文中将简称为索引内存块）；2）多块用来存储
上行数据包的多个等长的连续物理内存块信息（后文中将简称为数据内存块）。
这些内存块每块大小都不大，每块数据内存块推荐大小为1MB或者2MB；索引内存
块大小可根据设定的平均数据包长度和数据内存块总大小进行计算，通常情况下也不会太
大。因为不用一次申请较大块的连续物理内存，这样一来主机申请每块连续物理内存块成
功的概率将大大增加，而用来存储数据的数据存储区的总大小为数据内存块数量×数据内
存块大小。
内存资源申请完毕后，需要将索引内存块和所有数据内存块的起始物理地址和长
度告知I/O设备。当I/O设备需要传输上行DMA数据时，会按照自身的记录的传输位置信息顺
序将需要上传的数据包DMA到某个数据内存块中，并在最新的索引内存块的索引记录中填
写相关信息。
主机通过读取索引内存块中的有效标记为来获知最新写入的数据包信息，并根据
索引内存块中记录的各最新数据包的位置信息和长度信息获取最新写入的数据包内容。主
机的内存申请情况如图1所示。
实施例1：
本实施例详细记载了本发明的数据传输方法的工作流程，由I/O设备（如PCIE硬件设
备）控制上行DMA传输，当主机加载驱动时，按照如下步骤开始工作：
第1步、根据预设缓存大小S和平均数据包长度P计算出索引数量，然后根据索引单元的
大小U计算出索引内存块的大小I（I =（S / P）× U），并按照此大小首先申请索引内存块。
每个索引单元中需要有数据包长度、数据包所在数据内存块序号、数据包起始位
置的偏移地址、索引单元有效标记、索引单元完结标记等信息，这些信息的作用如下：
数据包长度：记录当前索引单元对应的数据包的长度信息；
数据包所在数据内存块序号：记录当前索引单元对应的数据包位于第几个数据内存块
中；
数据包起始位置的偏移地址：记录当前索引单元对应的数据包的起始位置在其存放的
数据内存块的开始地址往后偏移的字节数；
索引单元有效标记：该标记用来表示当前索引单元是否有效，当主机获取了该索引单
元对应的数据包后，将此标记置为无效；当PCIE设备存入新的数据包到数据内存块中，将此
标记置为有效；
索引单元完结标记：当传输的数据包都比较大以至于数据内存块写到了最后一块末尾
无法再写入新的数据包，但是索引内存块中的索引单元还有空余时，最后一个有效索引单
元的完结标记置为有效，表示下一个数据包的索引单元要从头开始检索。
第2步、根据预设的缓存大小S和每块数据内存块M的大小计算出需要分配的数据
内存块的数量N，并按照预设数据块大小M申请N块数据内存块（N = S / M）。
第3步、将索引内存块的起始物理地址、长度和所有的数据内存块的起始物理地址
和数据内存块的大小写入到PCIE硬件设备，使硬件设备可以获知上行数据将DMA到哪里。
第4步、控制PCIE硬件设备开始传输上行数据。
当需要进行上行数据传输时，PCIE硬件设备会从索引内存块的起始地址开始按照
顺序逐个往后使用每个索引单元并且会记录当前使用到了哪个索引单元；同样的对于内存
数据块也是从第一块开始按照顺序逐个往后使用并记录下当前使用的数据内存块序号和
填充过的数据长度。需要注意的是，每块内存数据块可以填充很多数据包，每个数据包在内
存数据块中也是从内存数据块的起始地址开始顺序往后填充的，只有当一个内存数据块无
法写入新的数据包时，才会启用下一个内存数据块；
每当有一个上行数据包需要传输时，PCIE硬件设备首先根据自身记录的当前使用数据
内存块的序号和该数据内存块已填充过的数据长度将数据包写入到数据内存块中，然后根
据自身记录的索引单元使用情况将数据包信息填充到最新的索引单元，最后将该索引单元
的有效标记置为有效。
第5步、主机读取索引信息并根据索引单元的记录读取上行数据包内容。
主机同样会记录正在检查的索引单元的位置，当主机检查到待读取的索引单元的
有效标记被置为有效时，即根据索引单元中记录的数据包所在数据内存块序号和数据包起
始位置的偏移地址在数据内存块中找到对应数据包的位置，然后根据索引单元记录的数据
包长度，即可访问整个数据包。当处理完整个数据包以后，主机需要将索引单元的有效标记
置为无效；此时，还需检查索引单元的完结标记，如果完结标记有效，那么还需将完结标记
置为无效，主机记录的正在检查的索引单元位置需要变更为第一个索引单元；如果完结标
记无效，那么主机记录的正在检查的索引单元位置则变更为下一个索引单元。
以下参照图2详细描述了PCIE硬件设备的上行数据包填充流程：
S201、PCIE硬件设备上电；
S202、将当前使用的数据内存块序号和数据块已填充数据的长度记录清零；
S203、将当前使用的索引单元序号记录清零；
S204、主机（即上位机）写入索引内存块地址、长度和多个数据内存块地址、长度等信
息；
S205、PCIE设备等待是否需要传输上行数据包到主机，如果需要传输，则进入步骤206，
否则继续等待；
S206、PCIE设备根据记录的当前使用的数据内存块序号和该数据块已填充数据的长度
将数据包DMA到指定物理内存，DMA的目标地址为“当前数据内存块起始地址+当前数据块已
填充数据长度”，DMA的数据长度为需要传输的上行数据包长；
S207、将数据包长度、数据包所在数据内存块序号、数据包起始位置的偏移地址填充到
临时索引单元缓存结构中并将有效标记置为有效；
S208、更新当前使用的数据内存块已填充数据长度记录，已填充长度增加上行数据包
包长；
S209、判断数据内存块大小减去当前使用的数据内存块已填充数据长度记录是否小于
最大包长，如果是，转至步骤S210，否则转至步骤S215；
S210、将数据内存块已填充数据的长度记录清零；
S211、判断当前使用的数据内存块是否为最后一块，如果是，转至步骤S212，否则转至
步骤S213；
S212、将当前使用的数据内存块序号清零；
S213、将当前使用的数据内存块序号加1；
S214、将临时索引单元缓存结构的索引单元完结标记置为有效；
S215、将临时索引单元缓存结构的内容DMA到当前使用的索引单元的物理地址；
S216、判断当前使用的索引单元记录序号是否为最后一个索引单元，如果是，转至步骤
S217，否则转至步骤S218；
S217、将当前使用的索引单元序号记录清零，转至步骤205；
S218、将当前使用的索引单元序号加1，转至步骤205。
以下参照图3详细描述了主机读取DMA数据的具体流程：
S301、主机准备开始接收上行数据；
S302、软件记录的当前检查的索引单元序号赋值为从PCIE硬件设备获取最新的写入索
引单元序号；
S303、主机检查当前的索引单元有效标记是否有效，如果是执行步骤S305，否则执行步
骤S304；
S304、当前接收线程休眠1毫秒，转至步骤S303；
S305、根据索引单元中记录的数据内存块序号和偏移、数据包长度信息获取数据包内
容；
S306、主机检查当前的索引单元完结标记是否有效，如果是执行步骤S309，否则执行步
骤S307；
S307、主机检查当前的索引单元是否为最后一个，如果是执行步骤S309，否则执行步骤
S308；
S308、软件记录的当前检查的索引单元序号加1，转至步骤S303；
S309、软件记录的当前检查的索引单元序号清零，转至步骤S303。
实施例2：
本实施例记载了本发明的数据传输系统，其包括了主机及与主机连接的I/O设备。其
中，所述主机包括：
索引内存申请单元，用于根据预设缓存大小S和平均数据包长度P计算出索引数量S /
P，然后根据索引单元的大小U计算出索引内存块的大小I =（S / P）× U，并按照此大小申
请索引内存块；
数据内存申请单元，用于根据预设的缓存大小S和每块数据内存块M的大小计算出需要
分配的数据内存块的数量N = S / M，并按照预设数据块大小M申请N块数据内存块；
内存分配信息发送单元，用于将索引内存块的起始物理地址、长度和所有的数据内存
块的起始物理地址和数据内存块的大小写入到I/O设备；
上行数据读取单元，用于读取索引信息并根据索引单元的记录获取上行数据包内容。
以上对本发明的数据传输方法及系统进行了详细介绍，本领域内的技术人员应明
白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件
实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在
一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存
储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程
图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流
程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特
定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指
令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计
算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。显然，本领域的技术人员可以对本发明进行各种
改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发
明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。