全局中断和障碍网络 对相关申请的交叉引用
本发明请求共属的且共同待审的美国临时专利申请序列号60/271,124的优先权，该临时专利申请于2001年2月24日提交，题目是“MASSIVELY PARALLEL SUPERCOMPUTER”(“大规模并行超级计算机”)，在此将其整个内容和公开内容明确地引入以供参考，就好像在此将其完全地进行了阐述。本专利申请还涉及到以下与本申请于同一天提交的、共属地、共同待审的美国专利申请，在此将它们每个的整个内容和公开内容明确地引入以供参考，就好像在此将它们完全地进行了阐述：美国专利申请序列号(YOR920020027US1，YOR920020044US1(15270))，标题为″ClassNetworking Routing″(“类别联网路由”)；美国专利申请序列号(YOR920020028US1(15271))，标题为″A Global Tree network forComputing Structures″(“用于计算结构的全局树形网络”)；美国专利申请序列号(YOR920020029US1(15272))，题目是“GlobalInterrupt and Barrier Networks″(“全局中断和障碍网络”)；美国专利申请序列号(YOR920020030US1(15273))，题目是“OptimizedScalable Network Switch”(“优化的可扩展网络交换机”)；美国专利申请序列号(YOR920020031US1，YOR920020032US1(15258))，题目是“Arithmetic Functions in Torus and Tree Networks”(“在环形和树形网络中的算术函数”)；美国专利申请序列号(YOR920020033US1，YOR920020034US1(15259))，题目是“Data CaptureTechnique for High Speed Signaling”(“用于高速信令的数据捕获技术”)；美国专利申请序列号(YOR920020035US1(15260))，题目是“Managing Coherence Via Put/Get Windows”(“通过Put/Get视窗管理一致性”)；美国专利申请序列号(YOR920020036US1，YOR920020037US1(15261))，题目是″Low LatencyMemory Access And Synchronization″(“低等待时间的存储器访问和同步”)；美国专利申请序列号(YOR920020038US1(15276)，题目是“Twin-Tailed Fail-Over for Fileservers Maintaining FullPerformance in the Presence of Failure”(“用于文件服务器在存在故障时维护全性能的双节点故障转移”)；美国专利申请序列号(YOR920020039USI(15277))，题目是“Fault Isolation Through NoOverhead Link Level Checksums”(“通过非开销链路级校验和的故障隔离”)；美国专利申请序列号(YOR920020040US1(15278))，题目是″Ethernet Addressing Via Physical Location for MassivelyParallel Systems″(“通过物理位置对大规模并行系统进行以太网寻址”)；美国专利申请序列号(YOR920020041US1(15274))，题目是″FaultTolerance in a Supercomputer Through Dynamic Repartitioning″(“通过动态重划分在超级计算机中的故障容错性”)；美国专利申请序列号(YOR920020042US1(15279))，题目是″CheckpointingFilesystem″(“对文件系统进行检查点操作”)；美国专利申请序列号(YOR920020043US1(15262))，题目是“Efficient Implementation ofMultidimensional Fast Fourier Transform on a Distributed-MemoryParallel Multi-Node Computer″(“在分布式存储器并行多节点计算机上的多维快速傅立叶变化的有效实现”)；美国专利申请序列号(YOR9-2001021lUS2(15275))，题目是″A novel Massively ParallelSupercomputer″(“一种新颖的大规模并行超级计算机”)；以及美国专利申请序列号(YOR920020045US1(15263))，题目是″Smart FanModules and System″(“智能风扇模块和系统”)。
【发明背景】
【发明领域】
本发明总体上涉及分布式存储器消息传递并行计算机设计方案和系统软件的领域，更具体而言，涉及到一种支持计算机结构的多个互连的处理节点的全局中断和全局障碍操作的方法和装置。
现有技术论述
在超级计算领域中，将数目非常大的处理节点互连起来的大规模并行计算结构一般被构建成很有规律的结构，诸如网格、网或者环。
在这种大规模并行系统上所共同面临的一个特定问题在于，涉及到许多节点的集合算术或者逻辑运算的有效计算。
尽管在图1中所展示的、包括在边缘“被缠绕”的简单3维最近邻站互连的3维环形互连结构10，对于大多数类型的处理器之间的通信会很好地工作，但是它对于诸如归约这样的集合操作却不能执行得一样好，在该集合操作中，单个结果是根据每个计算节点12所提供的操作数而加以计算的。
因此，就极其希望提供一种超规模的超级计算体系结构，该超级计算体系结构包括被优化来有效和可靠地执行许多类别操作的处理节点的惟一互连，所述许多类别操作包括那些要求全局算术运算、发布数据、同步以及共享有限资源的操作。
而且，在大型并行机上，实现将确定状态发信号通知参与计算的每个节点的某种类型的全局通知，是很有用的。例如，如果在一个节点发生了某个错误，则该节点就会发出一个全局中断通知，这样就使所有其它节点都知道它，并且使整个机器能够进入错误恢复状态。实现一个全局障碍来防止在获得用于所有处理节点的确定状态级之前在参与节点中进行的操作，更加有用。
因此，还非常希望提供一种全局中断和障碍网络，该全局中断和障碍网络具有很低的等待时间从而使互连的处理元件的整个计算结构可以迅速地返回到同步操作。像互连环这样的高速网络的正常消息传递，因其有更加长的等待时间，所以根本就不能完全适用于这一目的。
【发明内容】
本发明的一个目的是在包括单个处理器的互连的计算结构中提供一种低等待时间、全局障碍和中断网络，从而使得它们能够有效、可靠地执行诸如全局归约这样的全局算术运算。
本发明的另一个目的是提供一种用于发出全局中断和障碍信号的低等待时间、全局障碍和中断网络，该全局中断和障碍信号可以有效地控制在计算结构的单个处理节点所执行的操作。
本发明的又一目的是提供一种用于异步地发出全局中断和障碍信号的低等待时间、全局障碍和中断网络，该全局中断和障碍信号用于控制在计算结构的单个处理节点所执行的操作。
本发明的再一个目的是提供一种用于同步地发出全局中断和障碍信号的低等待时间、全局障碍和中断网络，该全局中断和障碍信号用于控制在计算结构的单个处理节点所执行的操作。
本发明的又一个目的是将一种用于提供全局中断和障碍功能的低等待时间、全局障碍和中断网络并入到可扩展的大规模并行超级计算机设备中，该可扩展的大规模并行超级计算设备包括由独立网络互连起来的多个处理节点，其中每个节点包括用于执行在执行并行算法操作时所要求的计算或通信活动的一个或者多个处理元件。
本发明的再一个目的是提供一种用于提供同步或者异步全局中断和障碍功能的低等待时间、全局障碍和中断网络，该网络与被安排成处理节点的树形互连的物理网络并行操作，该处理节点用于执行可靠、有效的全局归约和广播操作。
根据本发明的优选实施例，提供一种全局中断和障碍网络，该网络包括用于生成全局中断和障碍信号的方法和装置，该全局中断和障碍信号用于根据一种处理算法控制由计算结构的选定处理节点的处理元件所执行的全局异步操作；该网络还包括互连该处理节点的方法和装置，该处理节点用于通过低等待时间路径将该全局中断和障碍信号传送到该元件，该信号按照为优化该处理算法的性能而选定的次数来分别启动在该处理节点的中断和障碍操作。
在另一个优选实施例中，该全局中断和障碍网络可以被用来在整个可扩展的大规模并行超级计算机设备上同步全局时钟信号。
优选地，用于生成全局中断和障碍信号的该全局中断和障碍网络在可扩展的大规模并行超级计算机设备中加以实现，该可扩展的大规模并行超级计算机包括由多个独立网络互连的多个处理节点，每个节点包括用于执行在执行并行算法操作时所要求的计算或通信活动的一个或者多个处理元件，以及一个全局树形网络，该全局树形网络允许在该树形网络或者子树的选定节点之间进行高速全局树通信。
在又一个实施例中，该全局中断和障碍网络可以作为沿着现有全局树形网络的边带网络而加以实现，该现有全局树形网络在提供低等待时间的全局中断和障碍以及展现划分灵活的大规模并行分布式存储器计算机中加以实现。
而且，当在并入了一个全局树形网络的可扩展的大规模并行超级计算机中加以实现时，本发明的实现(同步或者异步的)全局障碍和中断操作的全局中断和障碍网络，将很好地适用于在生命科学领域中所执行的并行算法。
附图简述
参考如下说明、所附的权利要求书以及附图，将对本发明的装置和方法的其它特征、方面和优点会有更好的理解。在所述附图中：
图1绘制的是被组织成3维环的大规模并行超级计算机器的一小部分10；
图2说明根据本发明的包括外部网络连接的全局组合树形网络；
图3说明根据本发明的原理的全局组合树和障碍网络；
图4是在每个ASIC节点中所实现的用于与图2的树形网络相关联的全局边带网络的异步逻辑100的示意图；
图5说明用于同步全局信号和系统时钟并且捕获它的信号检测逻辑电路200；以及
图6说明在图4的全局网络中为ASIC处理器所实现的用于设置全局障碍或者全局中断的逻辑。
优选实施例详细描述
根据本发明，如图3所示，为诸如在此引入的共属的、共同待审的美国专利申请号＿＿[YOR92-00100010211US2，D#15275]中所描述的大规模并行超级计算机这样的计算结构，提供一种全局中断和障碍网络60，该网络是一种在互连该结构的处理节点12的低等待时间通信链路15上传送各处理节点间的全局异步或者同步信号的网络。在一个实施例中，该全局中断和障碍网络60与诸如在图2中所展示的全局组合树和消息传递网络20并行地操作，该全局组合树和消息传递网络是一种包括互连大规模并行超级计算结构中的处理节点12的链路14的树形结构，其中该处理节点12用于提供异步全局操作(例如全局归约和通知)。如图2所示，这一全局组合树和消息传递网络20还包括与输入/输出节点12′的关联，该输入/输出节点12′用于给该树提供通过高速网络接口99对外部系统50的高速访问。所有节点还通过网络交换机18直接连接到另一个网络接口98。
在此所引入的共属的、共同待审的美国专利申请
[YOR920010211US2，D#15275]描述了一种新颖的大规模并行超级计算机体系结构，该体系结构采用3维环的形式，该3维环被设计来为更广范围应用提供在TOPS(每秒万亿次浮点运算)级上的处理能力。在所描述的示范性实施例中，该大规模并行超级计算机体系机构包括被组织成64×32×32的环的64k个处理节点，如图1所示，每个计算节点12连接到6个邻接处理节点12。对于要求处理通信以外还有相当多的计算或者仅仅要求最近邻站通信的应用，这一体系结构能够被杠杆平衡到数以百计的TOPS。
在优选实施例种，如在引入的共属的、共同待审的美国专利申请号＿＿[D#15275]中所进行的更加详细的描述，每个节点是以片上系统进程即计算机节点的所有功能被集成到单个ASIC中为基础的，导致该节点在大小和功率上具有相当明显的减小。这一超级计算机体系结构还被杠杆平衡来增加节点密度，由此减少该机器的综合成本/性能比。每个节点优选地将许多这种功能并入到该计算机ASIC中，该计算机ASIC包括但不限于：PowerPc440的嵌入式处理核心、浮点核心以及嵌入式DRAM、集成式外部DDR存储器控制器、消息处理器、以太网适配器以及网络路由器。在一个实施例中，相同的计算机ASIC节点可以充当I/O节点，该I/O节点与用于处理文件服务器通信和I/O操作的计算机节点例如64个节点的子集相关联。
如所提及的，连接该环的计算节点的互连网络对于大多数类型的处理器之间的通信能够很好地工作而对于诸如归约这样的集合操作却不能很好地工作，在该集合操作中，单个结果是根据每个计算节点所提供的操作数而加以计算的。因此，在此处引入的共属的、共同待审的美国专利申请号＿＿[D#15275]，以及在此处引入的共属的、共同待审的美国专利申请号＿＿[YOR920020028US1，D#15271]中所描述的新颖的大规模并行超级计算机体系结构中，一种附加的全局树形网络20包括用于根据如图2所示的树形结构沿着链路14物理地互连进程节点12的路由器。该全局组合树形网络20能够很好地适用于移动数据以及计算集合归约操作，并且还提供广播、同步障碍、以及接收器过滤功能。
如在[YOR920010211US2，D#15275]中所描述的，大规模并行超级计算机器的环形和同步的全局树形网络这二者能够被划分为不同的逻辑分区而不用重新连电缆。每个逻辑分区在电上是隔离的。当实现本发明的全局异步信号时，很希望也对它们进行划分。因此，在该优选实施例中，该全局异步信号遵循与同步全局树(图2、3)相同的路径，并且运作起来就像边带信号一样来自动地得到重新划分的好处。
该全局中断和障碍网络60(图3)的功能与全局组合树形网络20有密切的关系，并且可以充当与其并行操作的“边带”网络。例如，全局“或”功能是一个“中断”，并且全局“与”是“全部等待”。这些功能通过生成和传送全局异步信号在全局中断和障碍网络60中被加以利用，包括：(1)在逻辑分区(例如，子树网络)中的每个节点所能够设置和检测的信号；(2)执行所有这些输入信号的全局与或者”或”的硬件逻辑功能；以及(3)用于收集和分发该结果到每个节点的全局网络。若干不同的信号可以在大型系统中共存，并且该思想可以采用许多种方式加以实现。现在将描述这些在此处引入的共属的、共同待审的美国专利申请序列号＿＿[YOR920010211US2，D#15275]中所描述的大规模并行分布式存储器计算机中的应用。
参考图3，全局中断和障碍网络60的每个根节点65沿着该全局组合树的路线被连接到该计算结构的预定数目的计算机节点12，并且与其协力操作来启动该计算结构即大规模并行超级计算机中特定并行算法所需要的全局异步操作。优选地，这种类二进制的组合树型网络以及障碍和中断网络可以延伸到整个超级计算机的机器上，允许使用低的等待时间将数据从任何节点12发送到所有其它节点(广播)，或者节点12的子集。应该理解，为了用更低的等待时间得到更多的互连，其它树的实施例，例如三叉树、四叉树等等也可以权衡地被实现。消息传递在全局组合树20上得到支持，并且受到每个ASIC中的处理器的任何一个的控制，允许像全部到全部(all-to-all)通信这样的强度操作能够独立于该计算节点而进行。这棵树的每个分支在发送和接收这两个方向上具有优选的目标带宽1.4GB/s或者每个处理器周期为2个字节。
构建到树20中的硬件功能是整数加、乘、按位逻辑”与”、按位逻辑”或”、按位逻辑”异或”以及广播。这些功能采用尽可能最低的等待时间的方式来加以实现。
一种简单而有效的实现是将所有的全局同步和异步功能都并入到计算节点的ASIC中，这样就消除了相互独立的硬件芯片和对这些全局异步逻辑功能的相关封装。图4绘制的是用于在本发明的全局中断和障碍网络中实现生成异步全局信号的逻辑。
具体而言，在图4中，全局中断和障碍网络60，在被实现为针对图2的全局组合树形网络的边带网络时，包括每个节点一个互连的路由器设备的网络。每个路由器设备包括大量的端口，这些端口或者被连接到另一个路由器，或者在不连接时被禁止。关于该路由器的操作的细节可在此处引入的共属的、共同待审的美国专利申请
＿＿[YOR920020028US1，D#15271]中找到。不过，为了论述起见，如图4所示，该路由器具有提供数据路径的四个端口101-104，它们允许构建一棵3叉树。这四个端口中仅仅有一个被指定为至亲代节点的连接，例如端口101亲代，其余端口中的最多3个端口能够被连接到子代节点。在该树底部的叶子节点将只有一个端口被连接到它的启用的亲代节点，而该树的根没有任何启用的亲代，但是至少有一个启用的子代。
图4是在一个路由器设备中所实现的异步逻辑100的示意图，该路由器设备被包括在图3的全局信号树和障碍网络的每个ASIC节点12中。在该全局信号异步网络中，对于每个边带信号，存在4个逻辑双向端口，一个到上部树端口(图3的101)，3个到下部树端口(图4的102、103以及104)。这4个逻辑双向端口被映射到4个物理双向端口上。通过软件配置，这些物理端口中的任何一个都可以被映射为上部树逻辑端口。这就允许在板上灵活地进行布局，在该板上将大量的这种节点放置在一起。除了上部树和下部树端口之外，还有从每个节点的ASIC处理器核心所生成的附加输入信号105，以及用于输入到该处理器的中断单元的结果信号106。在上部树的路径120上，来自下部树的端口102、103、104的所有输入加上来自中央处理器(CPU)的输入105，在被送出到上部树路径之前，被输入到逻辑门107。这一逻辑门107在被实现来执行全局障碍操作(输入从逻辑‘0’转变为逻辑‘1’，0->‘1’)时将执行逻辑”与”功能，或者可以在被实现来执行全局中断操作(输入从逻辑‘1’转变为逻辑‘0’，‘1’->‘0’)时作为或功能网络来加以实现。在下部树路径130上，来自上部树的输入信号由缓冲器设备108加以缓冲，然后被广播到所有的下部树端口102、103和104以及该处理器。在该树的最顶部，用于上部树端口(图4的101)的这两个信号或者在顶部节点或者在链路芯片设备允许的环和树形子网划分中通过初始软件配置被简单地连接在一起，该链路芯片设备允许的环和树形子网划分在此处引入的共属的、共同待审的美国临时专利申请＿＿[YOR920010211US2，D#15275]中进行了描述。
图6说明为ASIC处理器所实现的用来将全局障碍设置到图4的全局网络中的步骤。如图6所示，来自处理器控制寄存器的信号601被输入到在该ASIC中所实现的定时器逻辑电路602。信号601最初被设置为逻辑‘0’。当该CPU进入障碍调用时，它首先将该控制寄存器设置到逻辑‘1’电平，然后返回到逻辑‘0’。这样就在线601上生成了‘0’->‘1’->‘0’的脉冲。定时器逻辑电路602优选地包括两个可编程的硬件定时器。当它检测到在它的输入601上的逻辑‘0’-‘1’的转变时，它将它的输出信号603从电平‘0’设置到电平‘1’。然后，它等待着信号604即图5中的门204的输出，以便变为高来发信号通知检测到全局障碍。当定时器逻辑602检测到信号604变为电平‘1’时，它将启动第一定时器。在第一定时器上的时间段T1之后，它将启动把输出信号603改变为‘0’，并且启动第二定时器。在第二定时器上的时间段T2之后，该CPU可以启动另一个障碍调用。
定时器T1优选地被设置为确保每个节点都将检测到该全局中断所必须的时间长度。这典型地仅仅是几个系统时钟周期。图5的输出204被输入到的该中断寄存器单元具有检测和记忆(在被CPU清除之前)从‘0’到‘1’或者从‘1’到‘0’的转变。定时器T2优选地要比在该异步全局网络上从该树的底部到顶部然后返回到底部的往返时间稍微长些，以便确保每个节点都已经退出了前面的障碍，从而使得下一个障碍可以继续。时间T1和T2并不影响从障碍被设置到它被检测到的等待时间，该等待时间仅仅由该网络的等待时间来加以确定。
应该理解，关于图6中所描述的全局障碍的设置，上面的逆转逻辑电平‘0’和‘1’将导致适合于全局中断的全局”或”操作，除了以下之外：(1)图4中的信号106，在全局”与”的情形之下被直接连接到触发器201的输入，现在被反转，然后通过预定软件的配置连接到输入201以便进行全局”或”操作。最终结果是：在全局事件(障碍或中断)已经发生时，图5中的检测逻辑的输出604将总是从‘0’到‘1’；并且，(2)在全局“或”的情形之下，上述的这两个定时器将自动地从全局中断事件被检测到的时间(604从‘0’变到‘1’)开始，而不管该本地处理器是否已经设置了该全局中断。
在一个机器上可以实现若干个异步信号。在大规模并行分布式存储器计算机中，实现有4个这种信号，每个都有它们自己的上部树、下部树端口以及处理器接口。所实现的每个信号是逻辑电平信号，如上所述，或者可以充当全局”与”或者可以充当全局”或”。如果每个处理器在操作开始时保持它的输出105为高(例如逻辑1)，则任一节点在它想去启动全局中断信号时可以被控制，以便降低它的输出。被广播到所有节点的、图4的树顶部上的最终全局信号将在不久以后就切换到低。这样就实现了适合于全局中断的全局”或”操作。在另一方面，如果每个处理器105在操作开始时将它的信号保持为低(例如逻辑0)，则在该根的上行流路径的顶部的信号，仅仅在所有参与的节点升高到它们对应的信号之后，才变为高。这相当于适用于全局障碍的全局”与”功能。特定异步信号的初始状态通过软件配置在启动时间加以确定。在大规模并行分布式存储器计算机中，旨在将4个全局异步信号之中的两个用于实现全局”与”操作，两个用于实现全局”或”操作。
应该指出，对于下部树端口的数目，即使在该大规模并行分布式存储器计算机的示范性实施例中，在理论上也并没有任何限制，下部树端口的数目是3。对于给定的机器大小，并非每个节点上的所有下部树端口都被使用。每个端口都能够被单个地通过软件掩码来加以禁止。如果它没有参与到其中(例如像在I/O节点中的处理器)，则对于处理器信号也同样如此，从而使得节点不会干扰全局操作。
因为这些信号被异步地传播，所以从该树的底部到顶部然后又返回到底部的总的往返时延仅仅由ASIC的内部门时延、各节点之间的电缆时延以及对于该总的往返时间的总跳数来加以确定。这是很快的，因为该树形结构减少了总的跳数和在ASIC中的小的门时延(没有涉及到任何信号的重新捕获和重新同步)。据估计这一时延在64K个节点系统上仅仅是几百个处理器周期，例如，它对于这种大规模的机器是极其快的。
最后，当该异步信号返回到节点的处理器(图4的106)时，要求它与该系统时钟同步。这通过将该信号馈送通过检测电路200来加以执行，检测电路200包括由系统时钟信号205定时的若干个D型触发器210-203的串行配置，如图5所绘制的信号检测逻辑电路中所展示的。
具体而言，如图5所展示的，如果该边带全局信号被配置成全局”与”，则从该异步全局树返回到该处理器的异步全局信号106被直接连接到第一D型触发器201的输入，如果它是全局”或”，则采用倒置的形式。具体而言，来自不同触发器202和203的输出在将该信号发送到处理器的中断寄存器206之前由逻辑门204与在一起。采用这种方式，只有那些其脉冲宽度大于该系统时钟的信号被检测到。这样就会避免错误地检测由在该全局异步网络逻辑中的假信号所引入的噪声。该处理器的中断寄存器，例如在它的输出从逻辑‘0’变为‘1’时，将生成可屏蔽的中断。该逻辑对于每个全局异步信号都重复进行。
而且，中断寄存器206将能够检测和记忆(在被清除之前)从逻辑‘0’到逻辑‘1’的转变。这种边缘敏感的中断单元206被应用，从而使得图6中的定时器逻辑602可以在准备下一个障碍或者全局中断调用的超时时间段之后使信号失效。
对于此处引入的共属的、共同待审的美国临时专利申请
[YOR920010211US2，D#15275]中所描述的超级计算体系结构而言，任何分组都可以通过所附加的中断请求而被注入到全局树形网络中。根据本发明，这样做的最终效果是，导致在接收该分组或者在归约情形之下接收根据该分组所计算的结果的每个节点的可屏蔽中断。如果对那个结果作出贡献的被注入分组中的任何分组请求了中断，则归约结果将导致中断。
在该全局组合网络上的全局归约操作还将包含着全局障碍。这是因为该网络将阻塞直到所有参与的节点都已经注入了它们对应的操作数为止。因此，软件障碍还能够通过在该全局组合网络上的全局归约来加以实现，不过该等待时间将会高于该异步网络。由于在该设计中涉及了更加少的逻辑，所以总体而言，本发明的全局异步网络也是更加可靠的。
在双功能性的全局组合网络上的全局广播还可以被用于触发每个接收节点的中断。这样就使得全局中断在该全局组合网络上被实现。
即使此处所描述的该全局异步网络可以作为为遵循该全局组合树形网络(图2)的异步边带信号，以及被集成到该ASIC中的异步逻辑而实现，也应当理解，该异步网络可以使用同步或者使用异步逻辑来加以实现。该逻辑可以被集成到ASIC中，或者在独立的逻辑芯片上加以实现，而且不需要严格地遵循该组合网络，尤其是在系统板的级别上。不过，从总体上讲，优选的是，该异步网络在更高的集成级别上遵循该组合网络，例如像在机箱(crate)级别上，这样就使得能够实现对该组合网络进行容易的划分。
此外，例如，本发明的全局中断和障碍网络可被用来基于整个并行机器结构同步全局时钟。节点之内的每个CPU具有用于产生本地时间的内部定时器。用于标定这一本地时钟的第一步骤是在到该树的顶部的往返之后，测量从每个节点设置全局中断(全局”或”)信号到它接收到相同中断的往返时间。如图3所说明的，根节点65位于该树形网络的顶部，而节点66在该树形网络的中间的某个位置或者如图3所示位于该树形网络的底部。当所有其它的节点都处于空闲(没有插入全局中断)时，节点66将设置一个全局中断，将当前本地时间记录为T1。当该中断行进上部树然后下部树到节点66时，它将接收到该全局中断的时间记录为T2。于是T＝T2-T1就是从节点66到树的顶部的总的往返时间。这一定时步骤逐节点地加以执行。一旦每个节点都被标定了，则第二步骤就针对顶部节点65以便将它的本地时间设置为0，并且同时设置全局中断。当节点66检测到该全局中断时，它就将它的定时器设置为T/2。每个其它节点都将进行相同的步骤。一旦这一步骤结束了，则在分区中的每个节点将在几个时钟周期(例如10个周期)或者最多到几个纳秒(例如10纳秒)之内，把它们的时钟同步到具有很高准确度的全局时钟。
尽管已经相对于本发明说明性并被执行的实施例对本发明进行了特别地展示和描述，但是应该理解的是本领域普通技术人员可以在形式和细节上作出前述及其它变化而不背离由，所附的权利要求书限定的本发明的精神和范围。