《一种用于精神状态辅助诊断的计算机视觉方法.pdf》由会员分享，可在线阅读，更多相关《一种用于精神状态辅助诊断的计算机视觉方法.pdf（8页珍藏版）》请在专利查询网上搜索。
1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201710259448.9 (22)申请日 2017.04.20 (71)申请人 合肥工业大学 地址 230009 安徽省合肥市屯溪路193号 (72)发明人 詹曙 李秋宇 杨福猛 余骏 (74)专利代理机构 安徽合肥华信知识产权代理 有限公司 34112 代理人 余成俊 (51)Int.Cl. A61B 5/16(2006.01) G06K 9/62(2006.01) G06K 9/00(2006.01) (54)发明名称 一种用于精神状态辅助诊断的计算机视觉 方法 (57)。
2、摘要 本发明公开了一种用于精神状态辅助诊断 的计算机视觉方法， 该方法使用已确知微表情的 面部视频作为训练数据库， 使用含有卷积层和池 化层的卷积神经网络对视频中的图像帧进行特 征的提取和融合， 之后使用随机梯度下降法进行 多次迭代更新得到优化后的网络作为训练完成 的网络。 然后将待测图像输入进已训练完成的网 络中， 由已训练完成的网络直接输出待检测图像 中是否出现有微表情的检测结果， 为医生诊断病 人精神状态提供参考。 当人们试图压抑自己真实 情感时会出现微表情， 检测微表情能反映出人的 精神状态， 从而辅助医生诊断， 在一定程度上提 高了医生对病人精神状态诊断的准确性和效率。 权利要求书2。
3、页 说明书4页 附图1页 CN 107242876 A 2017.10.13 CN 107242876 A 1.一种用于精神状态辅助诊断的计算机视觉方法， 其特征在于： 将微表情视频中的图 像帧使用含有卷积层和池化层的卷积神经网络方法进行特征提取和融合， 之后使用随机梯 度下降算法进行卷积神经网络的优化得到已训练的网络模型， 再将待测视频中的图像帧输 入进已训练的网络模型中， 得到检测结果， 其步骤如下： (1)、 选取多个对象的多个面部表情视频作为训练数据库， 训练数据库中包含无表情视 频和微表情视频； (2)、 将训练数据库中每个视频的每帧图像取出并灰度化， 将每帧图像剪裁成多个等大 小的。
4、正方形块状的人脸图像作为训练样本； (3)、 将步骤(2)得到的训练样本输入到卷积神经网络进行网络的训练， 此卷积神经网 络共包括多层卷积层多层池化层， 卷积与池化的操作交替进行， 其中卷积层中处理过程为： 第一层为卷积层， 已知有多个卷积核， 分别将卷积核与原图像进行离散卷积并加上偏 置项之后， 通过ReLU激活函数得出提取后的图像特征， 表示如下： 其中l代表网络层数， i代表像素的位置，代表第l-1层中图像的第i个像素， 代表第 l层中第j个的图像特征， Mj代表输入的所有图像的集合， k代表卷积核， 代表第l层中的第j 个卷积核中第i个值， 代表第l层中的第j个偏置项， f(x)代表R。
5、eLU激活函数， 表示如下： f(x)max(0,x) (2)， 卷积完成之后将结果输入到下一层即与卷积层交替相邻的池化层进行池化运算； 池化层中处理过程为： 卷积后的图像特征输入到交替相邻的下一层池化层中， 将上一层即与池化层交替相邻 的卷积层的图像特征分成n*n的块， 在每一块中求出最大的图像特征值， 再将此特征最大值 乘以乘性偏置项， 然后加上偏置项， 最后通过ReLU激活函数得出融合后的图像特征， 表示如 下： 其中l代表网络层数，代表第l-1层中的第j个图像特征， 代表第l层中的第j个图像 特征， 代表第l层中的第j个乘性偏置项， 代表第l层中的第j个偏置项， f(x)代表ReLU激。
6、 活函数， g(x)代表输入的图像特征中的最大值， 表示如下： g(x)max(xi)iMj (4)， 其中Mj代表输入的所有图像特征的集合； (4)、 重复步骤(3)直至计算完所有的卷积层和池化层； (5)、 使用随机梯度下降法优化卷积神经网络， 经过至少1000次迭代后得到已训练的网 络； (6)、 已知有一待检测是否出现微表情的患者的视频中的图像帧序列， 将待测视频的每 帧图像输入进步骤(5)中得到的已训练的网络中去， 由卷积神经网络输出是否出现微表情， 如果含有微表情则将含有微表情的图像帧标记出来作为结果。 权 利 要 求 书 1/2 页 2 CN 107242876 A 2 2.根据。
7、权利要求1所述的一种用于精神状态辅助诊断的计算机视觉方法， 其特征在于： 使用卷积神经网络来进行视频中图像帧的特征提取和融合并使用随机梯度下降法进行网 络优化得到已训练的网络， 进而进行微表情检测。 权 利 要 求 书 2/2 页 3 CN 107242876 A 3 一种用于精神状态辅助诊断的计算机视觉方法 技术领域 0001 本发明涉及计算机视觉方法领域， 具体是一种用于精神状态辅助诊断的计算机视 觉方法。 背景技术 0002 对病人精神状态诊断作用和目的是诊断出病人在心理即精神行为状态以及是否 发生改变， 针对不同的精神状态来改善病人精神行为状态是在治疗过程中十分重要的一 环。 病人在治。
8、疗的过程中会受一些应激源如手术、 对自己病情的了解等的影响， 产生比较剧 烈的心理与生理应激反应， 这些应激反应如果十分强烈， 可能会对内分泌系统、 神经系统产 生影响， 产生焦虑、 抑郁等心理， 甚者会干扰诊断、 手术、 治疗等的实施和效果。 因此， 对于病 人的精神状态特点和变化， 及时发现并给予相应的心理治疗是十分重要的。 现在对病人精 神状态评估多数为问卷调查和自我评估， 缺少一些客观的辅助判断来帮助医生诊断病人的 精神状态， 易造成评估不准， 导致诊断出现误差。 0003 而病人的微表情可以辅助医生进行精神状态的判断， 微表情是一种持续时间仅为 1/251/5s非常快速的表情， 它是。
9、人们试图压抑或隐藏自己真实情感时表现出短暂的、 不 能自主控制的面部表情。 在临床上， 医生如果能发现病人的微表情， 则可以更好的判断病人 的精神状态及其变化， 从而针对性地进行治疗， 缩短治疗时间， 提高治疗效果。 未经过系统 训练的人对微表情识别能力不高， 而用计算机来自动检测微表情是很好的检测方法， 微表 情的自动检测可以在不被病人察觉的情况下进行， 从而加强了判断的真实性和有效性。 将 计算机自动检测结合到临床诊断里， 会帮助医生更好的对病人精神状态进行诊断。 发明内容 0004 本发明的目的是提供一种用于精神状态辅助诊断的计算机视觉方法， 以解决现有 技术对于病人精神状态评估方法单一。
10、、 缺少客观评估的问题。 0005 为了达到上述目的， 本发明所采用的技术方案为： 0006 一种用于精神状态辅助诊断的计算机视觉方法， 其特征在于： 将微表情视频中的 图像帧使用含有卷积层和池化层的卷积神经网络方法进行特征提取和融合， 之后使用随机 梯度下降算法进行卷积神经网络的优化得到已训练的网络模型， 再将待测视频中的图像帧 输入进已训练的网络模型中， 得到检测结果， 其步骤如下： 0007 (1)、 选取多个对象的多个面部表情视频作为训练数据库， 训练数据库中包含无表 情视频和微表情视频； 0008 (2)、 将训练数据库中每个视频的每帧图像取出并灰度化， 将每帧图像剪裁成多个 等大小。
11、的正方形块状的人脸图像作为训练样本； 0009 (3)、 将步骤(2)得到的训练样本输入到卷积神经网络进行网络的训练， 此卷积神 经网络共包括多层卷积层多层池化层， 卷积与池化的操作交替进行， 其中卷积层中处理过 程为： 说 明 书 1/4 页 4 CN 107242876 A 4 0010 第一层为卷积层， 已知有多个卷积核， 分别将卷积核与原图像进行离散卷积并加 上偏置项之后， 通过ReLU激活函数得出提取后的图像特征， 表示如下： 0011 0012其中l代表网络层数， i代表像素的位置，代表第l-1层中图像的第i个像素， 代表第l层中第j个的图像特征， Mj代表输入的所有图像的集合， 。
12、k 代表卷积核， 代表第l 层中的第j个卷积核中第i个值， 代表第l层中的第 j个偏置项。 f(x)代表ReLU激活函数， 表示如下： 0013 f(x)max(0,x) (2)， 0014 卷积完成之后将结果输入到下一层即与卷积层交替相邻的池化层进行池化运算； 0015 池化层中处理过程为： 0016 卷积后的图像特征输入到交替相邻的下一层池化层中， 将上一层即与池化层交替 相邻的卷积层的图像特征分成n*n的块， 在每一块中求出最大的图像特征值， 再将此特征最 大值乘以乘性偏置项， 然后加上偏置项， 最后通过ReLU激活函数得出融合后的图像特征， 表 示如下： 0017 0018其中l代表网。
13、络层数，代表第l-1层中的第j个图像特征， 代表第l层中的第j个 图像特征， 代表第l层中的第j个乘性偏置项， 代表第l层中的第j个偏置项， f(x)代表 ReLU激活函数， g(x)代表输入的图像特征中的最大值， 表示如下： 0019 g(x)max(xi)iMj (4)， 0020 其中Mj代表输入的所有图像特征的集合； 0021 (4)、 重复步骤(3)直至计算完所有的卷积层和池化层； 0022 (5)、 使用随机梯度下降法优化卷积神经网络， 经过至少1000次迭代后得到已训练 的网络； 0023 (6)、 已知有一待检测是否出现微表情的患者的视频中的图像帧序列， 将待测视频 的每帧图像。
14、输入进步骤(5)中得到的已训练的网络中去， 由卷积神经网络输出是否出现微 表情， 如果含有微表情则将含有微表情的图像帧标记出来作为结果。 0024 所述的一种用于精神状态辅助诊断的计算机视觉方法， 其特征在于： 使用卷积神 经网络来进行视频中图像帧的特征提取和融合并使用随机梯度下降法进行网络优化得到 已训练的网络， 进而进行微表情检测。 0025 本发明通过从已知的微表情视频数据中进行训练的基础上， 检测病人的面部是否 出现微表情， 依据结果辅助医生对病人精神状态进行诊断， 从而达到提高对病人精神状态 诊断准确率和诊断效率以及提高医生工作的效率并减轻医生工作量的目标。 该技术可应用 于对病人精。
15、神状态诊断的辅助诊断。 0026 本发明中， 随机梯度下降算法是一种优化算法， 比较适用于控制变量较多， 受控系 统比较复杂， 无法建立准确数学模型的最优化控制过程。 在训练网络过程中目标是使网络 说 明 书 2/4 页 5 CN 107242876 A 5 的输出结果与正确结果的误差最小， 经过多次迭代， 得到目标函数的极小值。 0027 本发明使用卷积神经网络的方法进行特征提取和图像分类。 该方法从提取低层次 特征逐步到提取高层次抽象的特征， 从而更好的提取了有效的特征信息， 提高了计算准确 率， 并且卷积神经网络有很高的灵活性， 可以根据不同的实际情况进行不同参数的调整， 再 应用到不同。
16、的场合中去。 0028 本发明的有益效果是： 将卷积神经网络对于视频信息的特征提取用于临床微表情 检测， 从而辅助医生对病人的精神状态进行诊断， 实现了将微表情的自动检测运用到临床 诊断中去， 提高了对病人精神状态诊断准确率和效率。 附图说明 0029 图1是本发明的实现流程框架图。 0030 图2是本发明实验中的检测结果。 具体实施方式 0031 如图1所示， 一种用于精神状态辅助诊断的计算机视觉方法， 过程如下： 0032 (1)、 选取12个对象的343个面部表情视频序列作为训练数据库。 其中包括无表情 视频和微表情视频。 0033 (2)、 将视频每帧图像取出并灰度化， 将每帧图像剪裁。
17、出等大小的人脸图像， 先作 为训练样本。 0034 (3)、 使用卷积神经网络进行网络的训练， 此卷积神经网络共包括4层卷积层4层池 化层， 卷积与池化的操作交替进行， 首先将图像输入到第一层卷积层中， 已知有多个卷积 核， 分别将卷积核与原图像进行离散卷积并加上偏置项之后， 通过ReLU激活函数得出提取 后的图像特征， 表示如下： 0035 0036其中l代表网络层数， i代表像素的位置， 代表第l-1层中图像的第i个像素， 代 表第l层中第j个的图像特征， Mj代表输入的所有图像的集合， k代表卷积核， 代表第l层中 的第j个卷积核中第i个值， 代表第l层中的第j个偏置项。 f(x)代表R。
18、eLU激活函数， 表示如 下： 0037 f(x)max(0,x) (2)， 0038 卷积完成之后将结果输入到下一层即与卷积层交替相邻的池化层进行池化运算； 0039 卷积后的图像特征输入到交替相邻的下一层池化层中， 将上一层即与池化层交替 相邻的卷积层的图像特征分成n*n的块， 在每一块中求出最大的图像特征值， 再将此特征最 大值乘以乘性偏置项， 再加上偏置项， 通过ReLU激活函数得出融合后的图像特征， 表示如 下： 0040 0041其中l代表网络层数，代表第l-1层中的第j个图像特征， 代表第l层中的第j个 说 明 书 3/4 页 6 CN 107242876 A 6 图像特征， 代。
19、表第l层中的第j个乘性偏置项， 代表第l层中的第j个偏置项， f(x)代表 ReLU激活函数， g(x)代表输入的图像特征中的最大值， 表示如下： 0042 g(x)max(xi)iMj (4)； 0043 其中Mj代表输入的所有图像特征的集合。 0044 (4)、 重复步骤(3)直至计算完所有的卷积层和池化层。 0045 (5)、 使用随机梯度下降法优化卷积神经网络， 经过近1000次迭代后得到已训练的 网络。 0046 (6)、 已知有一待检测是否出现微表情的患者的视频中的图像帧序列， 将待测视频 的每帧图像输入进步骤(5)中得到的已训练的网络中去， 由卷积神经网络输出是否出现微 表情， 如果含有微表情则将含有微表情的图像帧标记出来作为结果， 如图2所示， 此5幅图像 为待检测是否含有微表情的视频中的图像帧序列， 图中第三幅含有边框的图是被检测出微 表情的图像， 其他四幅没有被检测出微表情。 将此结果作为医生做出诊断的参考。 图2中图 片来自CASME数据库。 说 明 书 4/4 页 7 CN 107242876 A 7 图1 图2 说 明 书 附 图 1/1 页 8 CN 107242876 A 8 。