《帕金森症步态受损量化的方法、设备及介质.pdf》由会员分享，可在线阅读，更多相关《帕金森症步态受损量化的方法、设备及介质.pdf（25页珍藏版）》请在专利查询网上搜索。
1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202310389156.2(22)申请日 2023.04.03(71)申请人 南开大学深圳研究院地址 518000 广东省深圳市盐田区海山街道盐田科技大厦16层(72)发明人 霍卫光韩建达于宁波(74)专利代理机构 广东君龙律师事务所 44470专利代理师 肖文静(51)Int.Cl.A61B 5/11(2006.01)G06V 40/20(2022.01)G06V 20/40(2022.01)G06V 10/82(2022.01)G06V 10/34(2022.01)G06V 10/764(2。
2、022.01)A61B 5/00(2006.01)(54)发明名称帕金森症步态受损量化的方法、设备及介质(57)摘要本申请公开了一种帕金森症步态受损量化的方法、设备及介质，方法包括步骤：对步态视频进行预处理，提取骨架图序列，其中步态视频是从侧面拍摄的待评估者的行走视频；根据骨架图序列计算获取量化参数；根据量化参数评估待评估者的运动特征。利用本申请方案，在采集帕金森症患者的步态视频后进行预处理，提取骨架图序列，根据骨架图序列计算获取量化参数，根据量化参数的值，判定所述运动特征存在异常，用以在神经网络获取步态评分以后，进一步判断患者不同身体部位的受损情况。权利要求书2页 说明书13页 附图9页CN。
3、 116602660 A2023.08.18CN 116602660 A1.一种帕金森症步态受损量化的方法，其特征在于，包括步骤：对步态视频进行预处理，提取骨架图序列，其中所述步态视频是从侧面拍摄的待评估者的行走视频；根据所述骨架图序列计算获取量化参数；根据所述量化参数评估待评估者的运动特征。2.根据权利要求1的帕金森症步态受损量化的方法，其特征在于，所述根据所述量化参数评估待评估者的运动特征的步骤具体包括：判断所述量化参数的值是否超出预先设置的阈值区间，若判断结果为超出，则确定所述运动特征存在异常。3.根据权利要求2的帕金森症步态受损量化的方法，其特征在于，在确定所述运动特征存在异常之后，所。
4、述根据所述量化参数评估待评估者的运动特征的步骤具体还包括：将所述多个量化参数与所述待评估者的帕金森症的步态评分做Spearman相关性分析，获得相关系数，其中所述步态评分为所述步态视频对应的MDSUPDRS评分；将所述相关系数进行排序，对应获得所述运动特征的异常程度的排序。4.根据权利要求1的帕金森症步态受损量化的方法，其特征在于，所述对步态视频进行预处理，提取骨架图序列的步骤具体包括：从所述步态视频的每一帧提取关节的二维坐标；根据所述关节的二维坐标及空间连接关系计算所述步态视频对应的骨架图序列。5.根据权利要求4所述的帕金森症步态受损量化的方法，其特征在于，所述步骤根据所述关节的二维坐标及空。
5、间连接关系计算所述步态视频对应的骨架图序列计算具体如下：J(V，E)，其中，所述关节包括颈上部、颈下部、左肩、左肘、左手腕、右肩、右肘、右手腕、尾椎、左髋关节、左膝、左脚踝、右髋关节、右膝、右脚踝；节点集V包括所述步态视频的所有帧中的关节的二维坐标；边集E包括两类所述空间连接关系：近端、远端；所述近端包括左右肩、脊椎、左右髋、左右上臂、左右大腿，所述远端包括左右下臂、左右小腿；所述边集E的空间连接关系以邻接矩阵A表示，矩阵A中的第i行第j列的数aij表示关节i与关节j的所述空间连接关系，若所述空间连接关系为近端，则aijx，若所述空间连接关系为远端，则aijy，其中x,y为正整数，且1xy。6。
6、.根据权利要求5所述的帕金森症步态受损量化的方法，其特征在于，所述边集E还包括一种时间连接关系：时序连接；所述时序连接包括每一关节当前时刻节点与其下一时刻节点的连接；所述边集E的时序连接通过关节沿时间方向的一维卷积实现，如下所示：其中，Xt为某一关节的二维坐标延时间方向的序列，是一个t行2列的矩阵，t为所述步态视频包含的帧数，N为时序卷积的卷积核个数，Wk为第k个时序卷积核，是一个一维向量，B为可学习的线性偏置。权利要求书1/2 页2CN 116602660 A27.根据权利要求6的帕金森症步态受损量化的方法，其特征在于，所述运动特征为步长时，所述量化参数为步长，计算方式为：左脚踝关节和右脚踝。
7、关节间距随时间的变化曲线中，波峰对应的值。8.根据权利要求6的帕金森症步态受损量化的方法，其特征在于，所述运动特征为步速时，所述量化参数为躯干速度，计算方式为：颈下部关节的水平速度。9.根据权利要求6的帕金森症步态受损量化的方法，其特征在于，所述运动特征为手臂摆动时，所述量化参数包括手臂摆荡角和手臂摆荡双侧不对称系数，其中，所述手臂摆荡角的计算方式为上臂(包括左侧与右侧)前后摆动的最大角度，手臂摆荡双侧不对称系数的计算方式为：较大一侧摆角为 max，较小的一侧为 min。10.根据权利要求6的帕金森症步态受损量化的方法，其特征在于，所述运动特征为颈前屈时，所述量化参数为颈前屈角，计算方式为：颈。
8、上部关节和颈下部关节的连线与垂直方向所成的夹角。11.根据权利要求6的帕金森症步态受损量化的方法，其特征在于，所述运动特征为躯干前屈时，所述量化参数为躯干前屈角，计算方式为颈下部关节和尾椎关节的连线与垂直方向所成的夹角。12.根据权利要求6的帕金森症步态受损量化的方法，其特征在于，所述运动特征为步态周期时，所述量化参数为步态周期，计算方式为左脚踝关节和右脚踝关节间距随时间的变化曲线中，两个相邻峰值之间的时间间隔，或者两个相邻谷值之间的时间间隔。13.一种计算机设备，其特征在于，所述计算机设备包括计算机可读存储介质、处理器及存储在计算机可读存储介质上并可在处理器上运行的计算机程序，其中，所述处理。
9、器执行所述程序时实现如权利要求112中任一项所述的帕金森症步态受损量化的方法。14.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求112中任一项所述的帕金森症步态受损量化的方法。权利要求书2/2 页3CN 116602660 A3帕金森症步态受损量化的方法、设备及介质技术领域0001本申请属于医学图像处理领域，特别是涉及一种帕金森症步态受损量化的方法、设备及介质。背景技术0002帕金森症病(PD)是常见的神经退行性疾病，临床特征主要为静止性震颤、运动迟缓、僵硬和姿势不稳定等，严重影响了患者的生活质量。尽早和及时的诊断对于开启神经保护。
10、治疗和后期管理至关重要。0003目前对于帕金森症病运动特征评估的主要依据是评估量表MDSUPDRS。该估量表的第三部分评价PD的运动症状，要求评分者根据所观察到病人的情况来对步态、上肢灵活性、腿部灵活性等18个项目进行04分的严重程度评分，0分表示正常，4分表示重度。0004临床上，经验丰富的神经科医生会根据该量表对患者的运动和非运动症状进行量化评估。但这这种人工的评估方式有以下两个挑战：一方面，临床医生的评估费时较长，并且存在主观性。另一方面，这种评估方式需要患者定期去到医院，不利于长程疾病管理与控制。因此，自动、客观、低成本的居家式帕金森症病运动特征评估已成为当前亟待研究的问题。0005基。
11、于视频的步态分析方法能较好的反应整体的运动特点，且仅需一部智能手机就能实现样本的采集，因此具有很好的应用前景。0006但目前多数基于视频的帕金森症步态研究仍然局限于利用神经网络从步态视频中预测MDSUPDRS评分，无法提供进一步的细粒度量化特征，很难据此提供进一步的个性化诊疗，例如判断患者身体的哪一部分出现异常。发明内容0007为了解决现有技术中对利用神经网络从帕金森症患者的步态视频中预测MDSUPDRS评分，无法提供进一步的细粒度量化特征，很难据此提供进一步的个性化诊疗的问题，本申请提出一种帕金森症步态受损量化的方法、设备及介质，技术方案如下：0008一方面，本申请提供一种帕金森症步态受损量。
12、化的方法，包括步骤：0009对步态视频进行预处理，提取骨架图序列，其中步态视频是从侧面拍摄的待评估者的行走视频；0010根据骨架图序列计算获取量化参数；0011根据量化参数评估待评估者的运动特征。0012进一步地，根据量化参数评估待评估者的运动特征的步骤具体包括：0013判断量化参数的值是否超出预先设置的阈值区间，若判断结果为超出，则确定运动特征存在异常。0014进一步地，在确定运动特征存在异常之后，根据量化参数评估待评估者的运动特征的步骤具体还包括：说明书1/13 页4CN 116602660 A40015将多个量化参数与待评估者的帕金森症的步态评分做Spearman相关性分析，获得相关系数。
13、，其中步态评分为步态视频对应的MDSUPDRS评分；0016将相关系数进行排序，对应获得运动特征的异常程度的排序。0017进一步地，对步态视频进行预处理，提取骨架图序列的步骤具体包括：0018从步态视频的每一帧提取关节的二维坐标；0019根据关节的二维坐标及空间连接关系计算步态视频对应的骨架图序列。0020进一步地，步骤根据关节的二维坐标及空间连接关系计算步态视频对应的骨架图序列计算具体如下：0021J(V，E)，0022其中，关节包括颈上部、颈下部、左肩、左肘、左手腕、右肩、右肘、右手腕、尾椎、左髋关节、左膝、左脚踝、右髋关节、右膝、右脚踝；0023节点集V包括步态视频的所有帧中的关节的二维。
14、坐标；0024边集E包括两类空间连接关系：近端、远端；近端包括左右肩、脊椎、左右髋、左右上臂、左右大腿，远端包括左右下臂、左右小腿；0025边集E的空间连接关系以邻接矩阵A表示，矩阵A中的第i行第j列的数aij表示关节i与关节j的空间连接关系，若空间连接关系为近端，则aijx，若空间连接关系为远端，则aijy，其中x,y为正整数，且1xy。0026进一步地，边集E还包括一种时间连接关系：时序连接；时序连接包括每一关节当前时刻节点与其下一时刻节点的连接；0027边集E的时序连接通过关节沿时间方向的一维卷积实现，如下所示：00280029其中，Xt为某一关节的二维坐标延时间方向的序列，是一个t行2。
15、列的矩阵，t为步态视频包含的帧数，N为时序卷积的卷积核个数，Wk为第k个时序卷积核，是一个一维向量，B为可学习的线性偏置。0030进一步地，运动特征为步长时，量化参数为步长，计算方式为：左脚踝关节和右脚踝关节间距随时间的变化曲线中，波峰对应的值。0031进一步地，运动特征为步速时，量化参数为躯干速度，计算方式为：颈下部关节的水平速度。0032进一步地，运动特征为手臂摆动时，量化参数包括手臂摆荡角和手臂摆荡双侧不对称系数，0033其中，手臂摆荡角的计算方式为上臂(包括左侧与右侧)前后摆动的最大角度，0034手臂摆荡双侧不对称系数的计算方式为：0035较大一侧摆角为 max，较小的一侧为 min。。
16、0036进一步地，运动特征为颈前屈时，量化参数为颈前屈角，计算方式为：颈上部关节和颈下部关节的连线与垂直方向所成的夹角。0037进一步地，运动特征为躯干前屈时，量化参数为躯干前屈角，计算方式为颈下部关说明书2/13 页5CN 116602660 A5节和尾椎关节的连线与垂直方向所成的夹角。0038进一步地，运动特征为步态周期时，量化参数为步态周期，计算方式为左脚踝关节和右脚踝关节间距随时间的变化曲线中，两个相邻峰值之间的时间间隔，或者两个相邻谷值之间的时间间隔。0039另一方面，本申请提供一种计算机设备，计算机设备包括计算机可读存储介质、处理器及存储在计算机可读存储介质上并可在处理器上运行的计。
17、算机程序，其中，处理器执行程序时实现如上任一项的帕金森症步态受损量化的方法。0040再一方面，本申请提供一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现以上任一项的帕金森症步态受损量化的方法的步骤。0041本申请的有益效果是：利用本申请方案，在采集帕金森症患者的步态视频后进行预处理，提取骨架图序列，根据骨架图序列计算获取量化参数，根据量化参数的值，判定所述运动特征存在异常，用以在神经网络获取步态评分以后，进一步判断患者不同身体部位的受损情况。附图说明0042图1A是本申请建立帕金森症步态受损评估模型的方法一实施例的框架示意图；0043图1B是本申请帕金森症步态受损。
18、评估的方法一实施例的框架示意图；0044图2A是本申请建立帕金森症步态受损评估模型的方法一实施例的流程图；0045图2B是图2中步骤S10的一实施例的子流程图；0046图2C是图2中步骤S10的一实施例的子流程图；0047图3是本申请帕金森症步态受损评估的方法一实施例的流程图；0048图4是本申请帕金森症步态受损精细化评估的方法一实施例的流程图；0049图5是本申请帕金森症步态受损量化的方法一实施例的流程图；0050图6是本申请帕金森症步态受损评估模型的框架示意图；0051图7是本申请步态视频采集的一实施例的示意图；0052图8是本申请帕金森症步态受损评估的方法一实施例的全流程示意图；0053。
19、图9是本申请骨架图一实施例的示意图；0054图10是本申请步态视频中两脚间距随时间变化一实施例的波形图；0055图11是本申请多周期步态能量图一实施例的示意图；0056图12是本申请一实施例中各关节平均响应值分布图；0057图13是本申请一实施例中各身体部位平均响应值分布图；0058图14是本申请一实施例中不同评分对应的ROC曲线图；0059图15是本申请一实施例中混淆矩阵；0060图16是本申请建立帕金森症步态受损评估模型的方法或帕金森症步态受损评估的方法一实施例的硬件运行环境的结构示意图。具体实施方式0061为了便于理解本申请，下面结合附图和具体实施例，对本申请进行更详细的说明。附图中给出。
20、了本申请的较佳的实施例。但是，本申请可以以许多不同的形式来实现，并不限说明书3/13 页6CN 116602660 A6于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。0062需要说明的是，除非另有定义，本说明书所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本申请。例如，术语“多个”包括两个及以上。0063以下为本申请的一些术语解释：0064STGCN：Spatial Temporal Graph Convolutional Network。
21、s for SkeletonBased Action Recognition，一种人体动作识别的时空图卷积网络。0065VGG：VGG是2014年Oxford的Visual Geometry Group提出的一种图像识别网络，使用了更深的网络结构，证明了增加网络深度能够在一定程度上影响网络性能。0066对于早期帕金森病的鉴别，步态是一种有用的生物标记。目前许多研究尝试采用手环等可穿戴设备进行步态信息的采集，从而实现帕金森病的早期筛查。但由于这些可穿戴设备仅能测量某一特定部位的运动，难以完整的刻画整体的运动特点，偏侧性、协调性等关键因素难以被检测。0067鉴于此，本申请提供一种建立帕金森症步态受。
22、损评估模型及使用的方法、设备及介质，仅需一部智能手机就能实现视频样本的采集，基于该采集的视频样本进行步态分析，获得较好的反应整体的运动特点的评估结果。0068参考图1A1B，示出了建立模型和使用模型的方式。0069具体地，参考图1A，是建立帕金森症步态受损评估模型的方式，在采集到步态视频之后，需要人工对步态视频进行评估，打上标签，例如医生对每一段采集好的步态视频进行观看，然后给出MDSUPDRS评分，这一段步态视频所对应的标签文件X中就包含该评分信息。然后对步态视频进行预处理，预处理之后的数据送入神经网络进行模型训练，获得一个预测结果Y，当预测结果Y与标签文件X的差距满足事先设定的阈值，则停止。
23、训练，此时的神经网络就是已经完成训练的帕金森症步态受损评估模型。0070进一步地，参考图1B，是使用训练好的帕金森症步态受损评估模型进行评估的方式。此时，不再对采集的步态视频进行人工评估和打标签，而是将采集的步态视频在预处理后，直接送入帕金森症步态受损评估模型，由该帕金森症步态受损评估模型计算后输出预测结果Z，该预测结果Z就是模型对步态视频给出的评分，可以由机器进行操作，不需要医生的介入。0071进一步地，建立模型(训练模型)的过程和使用模型的过程是分离的。一个模型一旦训练完成，就可以无限次使用(例如成千上万次)，且可以在不同的硬件环境上运行使用。0072进一步地，参考图7，为步态视频的采集方。
24、式的一种实施例。如图所示，将手机(或相机)架设于手机支架上，长边平行于地面，距离受试者矢状面距离约5米，使得受试者沿平行于其矢状面的方向行走时，手机(或相机)的视野约5米。受试者需要按要求从视频画面左侧走到右侧，然后转身返回，重复三次。将录制完的该视频裁剪为6段，剔除转身部分，仅保留直线行走片段，这样就可以获得6段步态视频。0073本申请的步态视频不限于以上的采集方式，只要采集的步态视频满足从侧面拍摄，拍摄时保持水平、稳定，且受试者全身始终完整的呈现在画面中，都是可用的步态视频。说明书4/13 页7CN 116602660 A7这是因为侧面视角下拍摄的步态视频更利于提取人体轮廓特征，从而基于人。
25、体轮廓图的变化来进行步态特征的分析。0074本申请的步态视频也长度也不限于以上所述范围，也可以针对同一受试者进行多个不同时长和不同距离视频的录制。0075进一步地，步态视频中的受试者包括不同程度的帕金森症患者和正常人，在图1A所示的训练过程中，受试者称作帕金森症患者，由医生人工给出评分，在图1B所示的评估过程中，受试者称作待评估者，由训练后的模型给出评分。0076一方面，参考图2A2C，本申请提供一种建立帕金森症步态受损评估模型的方法，包括步骤：0077S10:对步态视频进行预处理，提取骨架图序列和多周期步态能量图，其中步态视频是从侧面拍摄的帕金森症患者的行走视频；0078S20:使用骨架图序。
26、列和多周期步态能量图，结合医生根据步态视频诊断得出的步态受损评分标签，对神经网络进行训练，以获得帕金森症步态受损评估模型，其中步态受损评分标签用于划分步态受损程度。0079其中，骨架图序列主要来自于步态视频中的关节特征，多周期步态能量图主要来自于步态视频中轮廓特征。0080通过从侧面拍摄的步态视频，除了可以基于关节提取人体的骨架图特征以外，还可以提取人体轮廓特征，尤其是人体轮廓在行走中的步态变化，从而基于人体轮廓图的变化来进行步态特征的分析。而对于从正面拍摄的视频来说，是无法精确感知人体轮廓图的变化的，例如无法观测到步长、步速等的变化，更无法获知摆臂角度等变化，以及身体的倾斜角度等等，而这些变。
27、化特征都从可以侧面较好的提取出来。0081因此，本申请针对侧面拍摄的步态视频，基于关节和轮廓来提取骨架图序列和多周期步态能量图，并将这两种不同角度体现步态特征的数据流结合进行神经网络训练，从而获得一种轮廓和关节相结合的双流网络模型，相比于现有技术方法具有采样便捷高效，筛查准确等优点，为帕金森症早期筛查评估提供了一种可行的方式。0082进一步地，参考图2B所示，步骤S10中对步态视频进行预处理，提取多周期步态能量图具体包括：0083S101:从步态视频的每一帧提取轮廓图，将轮廓图按时间顺序排列，获得轮廓图序列；0084S102:根据轮廓图序列确定步态能量周期；0085步态能量周期为轮廓图序列中的。
28、两脚间距随时间的变化曲线中，相邻的峰值和谷值之间的时间间隔，步态能量周期的起点为峰值或谷值对应的时间点；0086S103:将所述轮廓图序列按照步态能量周期分成a组，每组内的轮廓图叠加形成一张步态能量图，对应获得a张步态能量图；0087S104:将所述a张步态能量图按时间顺序在水平方向连接，对应获得一张多周期步态能量图。0088具体地，参考图8所示，轮廓图为黑白人体轮廓图，每一帧对应一张轮廓图，按步态视频中的时间顺序提取出的所有轮廓图，最终按顺序组成轮廓图序列(即图中的轮廓序列)。说明书5/13 页8CN 116602660 A80089进一步地，参考图10所示，一个步态能量周期为一步，即相邻的。
29、峰值和谷值之间的时间间隔，步态能量周期的起点为峰值或者谷值对应的时间点。例如，当步态能量周期的起点为谷值0.0时，该步态能量周期为相邻的峰值0.5与该谷值0.0之间的时间间隔。将该步态能量周期内的轮廓图叠加，就获得一张步态能量图，对应为图11中连续的6个人体轮廓变化图的第一个。其中，叠加方式为将该步态能量周期内的所有轮廓图以头顶中点为基准进行叠合。0090进一步地，图11中，a6，b为一个步态能量周期内的轮廓图的个数。因此，图11显示了取相连的6张步态能量图，将这6张步态能量图在水平方向上拼接，从而得到了一张多周期步态能量图。0091进一步地，步骤S103中的每组内的所述轮廓图叠加形成一张步态。
30、能量图的计算具体如下：00920093其中，Ic(x,y,n)为从步态视频的第n帧提取的轮廓图，N为一个步态能量周期内包含的视频帧数，x为所述轮廓图中像素点的水平方向坐标，y为所述轮廓图中像素点的竖直方向坐标，GEI(x,y)的取值为像素。0094进一步地，参考图2C，步骤S10中对步态视频进行预处理，提取骨架图序列具体包括：0095S111:从步态视频的每一帧提取关节的二维坐标；0096S112:根据关节的二维坐标及各关节之间的空间连接关系计算步态视频对应的骨架图序列。0097具体地，参考图8所示，每一帧步态视频对应一张关节图，一个步态视频对应一组关节序列。关节序列之间具有一定的空间连接关系。
31、，根据他们之间的空间连接关系，可以计算获得每一帧步态视频对应的一张骨架图，将骨架图按照时间顺序排列，就获得了图8中所示的骨架图序列。0098进一步地，步骤S112中根据关节的二维坐标及空间连接关系计算步态视频对应的骨架图序列的计算具体如下：0099J(V，E)，0100参考图9所示，为本申请一实施例提供的关节分类，一共15个关节，关节的序号分别对应表示为：0颈上部、1颈下部、2左肩、3左肘、4左手腕、5右肩、6右肘、7右手腕、8尾椎、9左髋关节、10左膝、11左脚踝、12右髋关节、13右膝、14右脚踝。0101其中，节点集V包括步态视频的所有帧中的关节的二维坐标；边集E包括两类空间连接关系：近。
32、端、远端；一种时间连接关系：时序连接；近端包括左右肩、脊椎、左右髋、左右上臂、左右大腿，远端包括左右下臂、左右小腿；时序连接包括每一关节当前时刻节点的与其下一时刻节点的连接；0102在其他实施例中，还可以是基于其他空间或时间的条件而选择的边集E。0103在本申请的一实施例中，边集E的空间连接关系在实际运算中，以邻接矩阵A表示，矩阵A中的第i行第j列的数aij表示关节i与关节j的空间连接关系，若空间连接关系为近端，说明书6/13 页9CN 116602660 A9则aijx，若空间连接关系为远端，则aijy，其中x,y为正整数，且1xy。例如：x2，y3。0104边集E的时序连接通过关节沿时间方。
33、向的一维卷积实现，如下所示：01050106其中，Xt为某一关节的二维坐标延时间方向的序列，是一个t行2列的矩阵，t为视频包含的帧数，N为时序卷积的卷积核个数，Wk为第k个时序卷积核，是一个一维向量，其长度可根据需要自由调整，B为可学习的线性偏置。0107进一步地，参考图6，本申请用于训练的神经网络，以及训练以后获得的帕金森症步态受损评估模型为双流神经网络，包括骨架流、轮廓流、向量拼接单元、全连接层、softmax层；0108骨架流包含多个STGCN单元，用以对输入的骨架图序列进行处理，获得骨架流输出向量，轮廓流包含多个VGG单元，用以对输入的多周期步态能量图进行处理，获得轮廓流输出向量，将骨。
34、架流输出向量和轮廓流输出向量输入向量拼接单元进行拼接，随后通过全连接层实现双流信息融合，最后经过softmax层，得到对各评分的预测概率值，预测概率值最高的评分为步态视频的步态评分估计值。0109其中，STGCN的全称是，Spatial Temporal Graph Convolutional Networks for SkeletonBased Action Recognition，即一种人体动作识别的时空图卷积网络。0110VGG是2014年Oxford的Visual Geometry Group提出的一种图像识别网络，使用了更深的网络结构，证明了增加网络深度能够在一定程度上影响网络性能。。
35、0111进一步地，本申请的STGCN单元的计算如下所示：01120113其中，Xin为输入特征，Xout为输出特征，A为邻接矩阵，Diij(Aij+Iij)为度矩阵，用于对邻接矩阵A进行归一化，W为可学习的权重系数矩阵，B为可学习的偏置系数。0114进一步地，VGG单元包括二维卷积层和最大池化层。0115具体地，参考图8，本申请一实施例中，骨架流包含10个STGCN网络单元，轮廓流包含5个VGG网络单元。每个VGG单元由2个或3个二维卷积层和1层最大池化层构成，五个VGG单元中二维卷积层数量和通道数见表1。其中，卷积层均采用3*3卷积核，步长为1。0116表10117VGG块序号卷积核尺寸通道。
36、数卷积层数136422312823325634351235351230118于本申请一实施例中，双流神经网络通过向量拼接与全连接层实现双流信息的融合，其中骨架流输出向量长度为139264，关节流输出向量长度为25088，向量拼接单元将两者拼接为长度为164362的长向量，随后通过两层全连接层和一个softmax层，得到神经网络说明书7/13 页10CN 116602660 A10模型对不同预设分数类别的预测概率值，概率最高者即为模型对该样本所属患者的步态评分估计值。0119例如，参考图8所示，当预设分数类别包括：0、1、2时，将通过softmax分别获得0、1、2三个分数的预测概率值，其中概率。
37、最高者即为最终步态评分估计值。0120进一步地，步骤S20中对神经网络进行训练还包括：0121通过损失函数计算损失值，将损失值反向传播，当误差收敛时，停止训练；0122损失函数采用交叉熵，具体计算如下：01230124其中，N为样本个数，K为类别数，pi c表示第i个样本的类别为c的概率，即0125进一步地，yic0,1，当第i个样本的类别为c时，对应yic1，否则yic0。0126通过引入损失函数，可以更快地加速误差收敛，提升训练的效率。0127另一方面，参考图3，本申请提供一种帕金森症步态受损评估的方法，包括步骤：0128S1：对步态视频进行预处理，提取骨架图序列和多周期步态能量图，其中步。
38、态视频是从侧面拍摄的待评估者的行走视频；0129S2：将骨架图序列和多周期步态能量图输入至以上任一项的建立帕金森症步态受损评估模型的方法所获得的帕金森症步态受损评估模型，获得待评估者的步态评分。0130本方法是在帕金森症步态受损评估模型建立以后，对该模型的使用。基于统一构思，提取骨架图序列和多周期步态能量图的具体流程参考上面所述，在此不再赘述。0131进一步地，步骤S2包括使用投票机制获得步态评分优化结果，具体为：0132将同一待评估者的步态视频进行分组，对应分别获得多组步态评分，在多组步态评分中选取出现次数最多的评分，即为待评估者的步态评分优化结果。0133例如，当输入同一待评估者的6段步态。
39、视频时，获得6个评分结果：1，1，1，2，0，0。则次数最多的为1，所以待评估者的步态评分优化结果应为1。0134进一步地，当出现次数最多的评分为多个时，选取其中值较高的一个为待评估者的步态评分优化结果。0135例如，当输入同一待评估者的6段步态视频时，获得6个评分结果：1，1，1，0，0，0。则次数最多的为1和0，且1大于0，所以待评估者的步态评分优化结果应为1。0136具体地，本申请一实施例中，基于天津市环湖医院平台构建了实验数据集，包含54名PD患者和年龄匹配的26名健康者进行对照。评估过程中，使用准确率(accuracy)、精确率(precision)、召回率(recall)、F1分数。
40、(F1score)以及受试者工作特征曲线(ROC)和曲线下的面积(AUC)作为性能指标评估模型的分类结果，对实验结果的具体分析如下：01371、分类结果分析0138在实验数据集上采取了五折交叉验证以评估本申请建立帕金森症步态受损评估模型的方法所获得的帕金森症步态受损评估模型，实验结果表明本申请的方法能够取得71.3的总准确率。如表2所示，给出了本申请建立帕金森症步态受损评估模型的方法所获得的帕金森症步态受损评估模型在各个类别的分类性能，其中分别计算了每一个分数类别的准确率、召回率、F1分数和AUC值，每一分数类别都取得了令人满意的准确率。如图15所示说明书8/13 页11CN 11660266。
41、0 A11的混淆矩阵也显示了这一点。图14中展示的各个分数类别下的ROC曲线，其中，健康人类别(0分)分类性能最好，1分2分性能接近。因此，本申请建立帕金森症步态受损评估模型的方法所获得的帕金森症步态受损评估模型能够较好的将帕金森患者与健康人区分开，具备了疾病早期筛查的分类能力。0139表20140 准确率召回率F1分数AUC00.8400.8080.8240.89210.5860.6540.6180.74520.7310.6790.7040.73301412、与先进的帕金森步态评估工作对比0142表3中，就本申请与世界领先的相关领域工作进行了对比，结果显示，本申请所提方法在更大的样本集获得了。
42、更好的分类性能，在该分类任务上显著超越了已有的方法和工作。0143表301440145进一步地，参考图4，在获得步态评分之后，本申请还提出了一种精细化的评估方法，通过计算神经网络响应值，获取各关节的受损情况，具体如下：0146在步骤S2之后，还包括以下步骤：0147S3：计算骨架图序列在帕金森症步态受损评估模型中的关节响应值；0148S4：将关节响应值进行分类计算，以获得每个身体部位的平均响应值；0149S5：根据关节响应值和平均响应值，获得精细化步态评估结果。0150进一步地，关节响应值的计算如下：01510152其中，S为关节响应值向量，N为关节的个数，关节响应值向量中的每个值相应表示帕金。
43、森症步态受损评估模型在该关节处的响应值大小，T为输入的骨架图序列长度，Cout为骨架流的输出通道数，Oit为骨架流的输出矩阵Xout中的元素。0153进一步地，关节分为6组，代表6个身体部位：颈部(关节0，关节1)，躯干(关节1，关节8)，左臂(关节57)，右臂(关节24)，左腿(关节1214)，右腿(关节911)，步骤S3中将关节响应值进行分类计算，以获得每个身体部位的平均响应值具体包括：0154分别计算每组关节的平均响应值，以获得每个身体部位的平均关节响应值。从而进一步获得表征待评估者的以上所述各身体部位的受损情况。0155具体地，参考图12、图13，在本申请一实施例中，对实验数据集中的5。
44、4名PD患者的说明书9/13 页12CN 116602660 A12响应值向量作统计分析，求取每一个关节的平均响应值、每一个身体部位的平均响应值，得到的结果如图12和13所示。0156图12显示了各关节平均响应值的分布，其中各关节的平均响应值是归一化以后的值，具体是将各关节的平均响应值除以其中最大值以后得到。例如关节0的平均响应值为20，且为最大值，则关节0的平均响应值归一化以后的值为1，相应地，其他平均响应值归一化以后对应为0.8、0.6、0.4、0.2等。0157从图13中可以看出，对于PD患者，神经网络对颈部、躯干、手臂的响应值更大，意味着神经网络更关注患者上半身的运动情况。其中，响应值。
45、最高的三个身体部位分别是：颈部、躯干和左臂。0158通过以上方法，在获得评分之后，还能进一步确定患者具体的受损身体部位，以及各身体部位的受损程度。0159进一步地，参考图5，本申请还提出了另一种精细化的步态受损量化方法，通过步态量化参数，获取更细粒度的运动受损情况，具体如下：0160S6：对步态视频进行预处理，提取骨架图序列，其中步态视频是从侧面拍摄的待评估者的行走视频；0161S7：根据骨架图序列计算获取量化参数；0162S8：根据量化参数评估待评估者的运动特征。0163其中，步骤S6中的骨架图序列的获取方法如前所述，在此不再赘述。0164一方面，该步态受损量化方法可以在利用模型获取步态评分。
46、之后的一种补充量化评估方法，此时可以在步骤S1之后执行，也可以在步骤S2之后执行，还可以是在步骤S5之后执行；0165另一方面，该步态受损量化方法也可以单独使用。0166进一步地，运动特征和对应的量化参数及计算方式如下：0167运动特征为步长时，量化参数为步长，计算方式为：左脚踝关节11和右脚踝关节14间距随时间的变化曲线中，波峰对应的值；0168运动特征为步速时，量化参数为躯干速度，计算方式为：颈下部关节1的水平速度。0169运动特征为手臂摆动时，量化参数包括手臂摆荡角和手臂摆荡双侧不对称系数，0170其中，手臂摆荡角的计算方式为上臂(包括左侧与右侧)前后摆动的最大角度，0171手臂摆荡双侧。
47、不对称系数的计算方式为：0172较大一侧摆角为 max，较小的一侧为 min。0173运动特征为颈前屈时，量化参数为颈前屈角，计算方式为：颈上部关节0和颈下部关节1的连线与垂直方向所成的夹角。0174运动特征为躯干前屈时，量化参数为躯干前屈角，计算方式为颈下部关节1和尾椎关节8的连线与垂直方向所成的夹角。0175运动特征为步态周期时，量化参数为步态周期，计算方式为左脚踝关节11和右脚踝关节14间距随时间的变化曲线中，两个相邻峰值之间的时间间隔，或者两个相邻谷值之间的时间间隔。需要注意的是，这里的步态周期与前面所述的步态能量周期不同，步态周期说明书10/13 页13CN 116602660 A1。
48、3为两步一个周期，步态能量周期为一步一个周期。0176具体地，参考图10所示，从第一个峰值对应的时间节点0.5，至第二个峰值对应的时间节点1.75，为一个步态周期。或者，从第一个谷值对应的时间节点0.0，至第二个谷值对应的时间节点1.25，为一个步态周期。0177进一步地，步骤S7具体包括：0178S71：判断量化参数的值是否超出预先设置的阈值区间，若判断结果为超出，则确定运动特征存在异常。0179以上具有物理意义的量化参数的取值，可以表征相应的运动特征的状态，因此，为精细量化步态受损和个性化的步态评估提供了有效的参考。在获得MDSUPDRS步态评分的基础上，可以进一步地获知具体哪些运动特征出。
49、现问题，从而进一步判断哪些身体部位存在问题。0180进一步地，在确定运动特征存在异常之后，步骤S7还包括以下步骤：0181S72：将多个量化参数与待评估者的帕金森症的步态评分做Spearman相关性分析，获得相关系数，其中步态评分为步态视频对应的MDSUPDRS评分；0182S73：将相关系数进行排序，对应获得运动特征的异常程度的排序。0183具体地，本申请一实施例中，在54名PD患者中统计以上所述的7个量化参数，分别计算这些量化值与MDSUPDRS步态评分之间的Spearman相关性系数。记54名患者的某一量化值集合为X，他们的步态评分集合为Y，将这两个集合分别按照从小到大的顺序排列，得到R。
50、(X),R(Y)，则Spearman相关系数 的计算方法如下：01840185其中cov为两个变量的协方差计算，为变量的标准差。0186对七个量化值与步态评分做Spearman相关性分析的结果如下表4所示：0187表401880189由上表可知，与步态评分最相关的三个指标分别为躯干速度、颈前屈角和手臂摆角最大值。这与以上所述的响应值最高的三个身体部位情况相吻合，进一步地验证了神经网络响应值这一指标的有效性，即其具有反应步态受损的能力。0190再一方面，本申请提供一种计算机设备，其特征在于，计算机设备包括计算机可读存储介质、处理器及存储在计算机可读存储介质上并可在处理器上运行的计算机程序，其中，。