航空发动机剩余使用寿命无监督跨域预测方法.pdf

上传人:罗明 文档编号:14250517 上传时间:2023-11-18 格式:PDF 页数:20 大小:2.56MB
返回 下载 相关 举报
航空发动机剩余使用寿命无监督跨域预测方法.pdf_第1页
第1页 / 共20页
航空发动机剩余使用寿命无监督跨域预测方法.pdf_第2页
第2页 / 共20页
航空发动机剩余使用寿命无监督跨域预测方法.pdf_第3页
第3页 / 共20页
点击查看更多>>
资源描述

《航空发动机剩余使用寿命无监督跨域预测方法.pdf》由会员分享,可在线阅读,更多相关《航空发动机剩余使用寿命无监督跨域预测方法.pdf(20页珍藏版)》请在专利查询网上搜索。

1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202310474421.7(22)申请日 2023.04.28(71)申请人 大连理工大学地址 116024 辽宁省大连市甘井子区凌工路 号(72)发明人 覃振权李东升卢炳先王雷朱明(74)专利代理机构 辽宁鸿文知识产权代理有限公司 21102专利代理师 王海波(51)Int.Cl.G06F 18/24(2023.01)G06F 30/27(2020.01)G06F 18/213(2023.01)G06F 18/214(2023.01)G06N 3/0499(2023.01)G06N 3/084。

2、(2023.01)G06N 3/088(2023.01)G06F 119/04(2020.01)(54)发明名称一种航空发动机剩余使用寿命无监督跨域预测方法(57)摘要本发明提出一种航空发动机剩余使用寿命无监督跨域预测方法,该方法中的模型由特征提取模块和全局子域适应模块构成。首先,将完成预处理的源域和目标域传感器数据输入到特征提取模块中,分别学习时序隐藏特征。然后,将源域特征和目标域特征输入到全局子域适应模块中,通过计算全局域差异和子域差异并进行加权计算来反映源域与目标域之间的差异。最后通过损失函数将梯度进行反向传播从而更新参数,最终得到训练好的模型,并利用训练好的模型对无标签的目标域数据进行。

3、预测。本发明提高了航空发动机的无监督跨域预测准确性。权利要求书5页 说明书12页 附图2页CN 116502123 A2023.07.28CN 116502123 A1.一种航空发动机剩余使用寿命无监督跨域预测方法,其特征在于,步骤如下:(1)数据预处理:航空发动机运行在某种设定的工况种类和故障模式下的传感器数据拥有相同的数据分布,在不同设定下运行的航空发动机传感器数据具有不同的数据分布;利用任意一组设定的运行工况种类和故障模式下收集的航空发动机运行到失效的有标签源域数据和另一组与源域数据设定不同的运行工况种类和故障模式下收集的运行到失效的无标签目标域数据对所提出方法中的模型进行训练,最后对目。

4、标域传感器数据的剩余使用寿命进行预测,即计算得到目标域测试数据的预测RUL;其中源域数据和目标域数据可以为任意航空发动机子数据集;在航空发动机公开数据集CMAPSS中有四个子数据集,每一个子数据集都有不同传感器的测量值,首先对传感器进行选择,删掉对航空发动机退化趋势分析没有帮助的传感器,并对航空发动机传感器信号做归一化处理,以减少不同数值范围差异大的数据对模型学习的影响;利用滑动窗口方法将航空发动机运行数据拆分成子数据,增加时间维度的信息,最终获得相同时间长度的传感器序列数据;采用分段线性退化模型对原有的线性RUL标签进行处理,并将处理完的标签代替原有标签;分段线性退化模型通过设定阈值将健康状。

5、态的RUL标签设定为固定值,其余RUL标签设置为发动机当前运行时刻至运行失效的时间间隔;将超过阈值N的RUL标签标记为N,小于N的RUL标签保持不变;(2)特征提取利用改进的基于Transformer结构的特征模块提取源域和目标域航空发动机传感器数据的特征;改进的基于Transformer结构的特征提取模块的主要功能模块由输入嵌入模块、位置编码模块、多头注意力模块和前馈神经网络组成;首先将数据输入到一个全连接层结构即输入嵌入模块中,将航空发动机传感器数据转换为时序输入向量,然后通过位置编码模块对时序输入向量进行位置编码;位置编码模块由多层相同设置的编码器串联组成;在每一个编码器中将数据输入到多。

6、头注意力计算模块中,将计算所得的结果进行残差连接和层归一化;之后通过前馈神经网络进行特征提取,并将提取的特征再次进行残差连接和层归一化;通过输入源域航空发动机传感器数据XS和目标域航空发动机传感器数据XT,经过多层的编码器的特征提取模块T处理之后,最终得到源域特征HST(XS)和目标域特征HTT(XT),具体如下:(2.1)输入嵌入模块主要全连接层结构构成,将输入的源域和目标域航空发动机传感器数据XS和XT转换为对应的时序输入向量;(2.2)位置编码模块用于对输入数据的位置信息进行编码,其作用等同于循环结构中根据输入的先后顺序对输入数据的时序性进行标识的计算方式;使用基于正弦和余弦函数的位置编。

7、码函数P对输入向量进行时序编码:其中t代表当前需要标注位置的时刻,Dinput代表每一时刻的传感器数据或特征的维度,2i表示传感器维度上的偶数位置信息,2i+1代表奇数位置信息;最后将得到的位置编码嵌入与输入相加,得到经过位置编码计算的输入;权利要求书1/5 页2CN 116502123 A2(2.3)多头注意力模块沿传感器数据的时间维度,自动学习不同时刻传感器信息的重要性,从而对不同时刻的退化信息进行学习;针对输入数据,多头注意力模块根据所输入的数据分别计算得到三个矩阵:查询矩阵Q、键值矩阵K和值矩阵V;设输入数据为XXtn,Xt,其计算过程为:其中WQ,WK,WV为模型参数,通过训练进行更。

8、新;之后通过Q和K矩阵转置的点积,并按照根号下输入维度Dinput的大小进行缩放,通过Softmax函数对不同时刻的传感器数据输入进行权重计算;最终将计算的自注意力权重与值矩阵进行加权计算而得到提取的特征矩阵,其过程如下:多头自注意力机制在自注意力机制的基础上,通过多次计算自注意力并进行融合,特征提取模块学习不同时序位置上的特征信息,从而提高预测性能;多头自注意力机制的计算过程如下:其中W是可学习的权重参数,H代表注意力头的数量;(2.4)前馈神经网络针对注意力机制存在的对复杂过程拟合程度不够的问题,用于增加模型的学习能力;前馈神经网络由两层隐藏单元为512的线性层、Dropout层和激活函数。

9、组成;(3)全局子域适应改进的全局子域适应是一种复合的域距离度量方法,分为两个部分:全局距离损失计算和子域距离损失计算;通过步骤(2)得到的源域特征HS和目标域特征HT计算域距离损失;具体如下:(3.1)全局距离损失计算为了对齐源域和目标域的特征结构,采用MKMMD度量作为全局距离损失,公式如下:权利要求书2/5 页3CN 116502123 A3其中为特征提取模块提取的源域特征,NS为输入的源域样本数,为目标域特征,NT为输入的目标域样本数,为映射函数,将数据映射到再生核希尔伯特空间,表示再生核希尔伯特空间,k(,)为多个核一起定义的核函数;(3.2)子域距离损失计算子域距离损失计算模块由三。

10、部分组成,分别是目标域RUL预测模块、目标域RUL分类模块和子域差异损失计算模块;目标域RUL预测模块用于生成目标域输入数据的RUL伪标签,来暂时表示当前的运行健康程度;目标域RUL分类模块将目标域RUL伪标签进行聚类划分,通过标签映射方法将连续的RUL预测值转换成离散的分类标签;子域差异损失计算模块用于计算不同类别下源域和目标域样本之间的分布差异;具体如下:(3.2.1)目标域RUL预测模块利用目标域RUL预测模块输出对应的RUL预测结果,其中目标域RUL预测模块由一个Flatten层和一个全连接层FC和ReLu()激活函数函数进行输出,其中Flatten层用于改变特征的维度;生成目标域伪标。

11、签为子域适应提供标签信息,过程如下:其中RT代表目标域RUL预测模块,HT代表目标域数据经过特征提取模块得到的目标域特征;(3.2.2)目标域RUL分类模块利用m层全连接层和Softmax()激活函数将连续的RUL预测值转换成离散的分类标签,从而将不同退化程度的航空发动机特征按照预定的分类数进行分类,其中m为设定的全连接层层数;目标域特征在通过目标域RUL预测模块RT后得到伪标签目标域RUL分类模块C将伪标签转换为对应的目标类别标签CT;(3.2.3)子域差异损失计算在航空发动机的跨域RUL预测任务中,源域和目标域数据集的标签空间是相同的,因此通过对标签进行分类来将数据分为不同的子域;在进行子。

12、域差异计算之前,需要将源域的标签转化成与目标域分类标签形式相同的onehot标签,该过程如下:其中CS代表变换的源域类别标签,o()代表onehot标签转换函数,floor()表示向下取整函数,RULmax表示整个航空发动机运行的时间长度,NC为预设的分类种类数量;为了计算不同类别下的源域和目标域样本之间的分布差异,该方法使用局部最大均值差异LMMD度量方法,结合源域样本的类别标签CS和目标域样本伪标签转化的类别标签CT进行子域对齐;对于源域输入的特征HS和分类标签CS以及目标域输入的特征HT和分类标签CT,航空发动机的子域差异损失计算过程如下:权利要求书3/5 页4CN 116502123 。

13、A4其中和分别代表第i个源域特征和第j个目标域特征属于种类c的概率权重,NC为标签分类数量,为映射函数,可以将数据映射到再生核希尔伯特空间,表示再生核希尔伯特空间,k(,)为多个核一起定义的核函数;对于每一个特征,其权重计算过程如下:其中代表第i个分类标签C中的第c个元素,也代表了其对应种类的概率,经过计算后每个域中的权值的总和为1;源域标签使用onehot标签进行计算同时目标域标签使用预测RUL伪标签生成的种类概率标签进行计算(4)针对无监督跨域RUL预测的目标函数:方法的目标函数由三个部分组成:RUL预测损失、全局距离损失以及子域距离损失;(4.1)RUL预测损失LRUL:为了将预测能力良。

14、好的预测模型信息共享给目标域进行特征提取,同时也对目标域伪标签的生成提供帮助,利用全连接层结构输出对应的RUL预测结果,该结构一个Flatten层和一个全连接层FC和ReLu()激活函数函数进行输出,其中Flatten层用于改变特征的维度;过程如下:其中RS代表源域RUL预测模块,HS代表源域数据经过特征提取模块得到的源域特征;样本的真实RUL标签和预测标签之间的RUL预测损失利用均方根误差定义,其公式如下:其中HS代表源域数据经过特征提取模块得到的源域特征,是通过源域特征预测的RUL标签,是真实的RUL标签,NS是每次迭代中源域样本数量;(4.2)全局距离损失LMMD:全局域适应减少源域和目。

15、标域数据之间的分布差异从而引导模型进行迁移学习,定义如步骤(3.1)所示;(4.3)子域距离损失LLMMD:子域距离损失用于减少来自不同分布的航空发动机数据之间的子域差异进行细粒度的信息对齐,定义如步骤(3.2.3)所示;(4.4)结合步骤(4.1)步骤(4.3)的三种损失函数,总的目标函数表示为:LtotalLRUL+LMMD+LLMMD权利要求书4/5 页5CN 116502123 A5其中,和 都是预定的参数;(5)所提出RUL跨域预测方法性能的评价指标:方法中的模型由特征提取模块和全局子域适应模块构成,在获取提取的源域特征和目标域特征之后,通过计算总损失函数进行梯度反向传播以训练所提出。

16、方法中的整体模型;在模型训练完成后,实现对目标域测试数据的跨域RUL预测;通过预测的目标域RUL值与真实的目标域RUL标签之间的均方根误差来表示跨域剩余使用寿命预测方法的性能优劣,公式如下所示:其中和yi分别是目标域测试数据的预测RUL和真实RUL标签,N为测试集的总样本数据数量;除此之外,采用Score度量通过对延迟的RUL预测施加惩罚来显示预测RUL和真实RUL的先后顺序,以减少延迟RUL预测行为的出现,Score度量的定义如下:其中和yi分别是目标域测试数据的预测RUL和真实RUL标签,N为测试集的总样本数据数量。权利要求书5/5 页6CN 116502123 A6一种航空发动机剩余使用。

17、寿命无监督跨域预测方法技术领域0001本发明涉及航空发动机的剩余使用寿命跨域预测领域,特别涉及一种航空发动机剩余使用寿命无监督跨域预测方法。背景技术0002航空发动机作为一个国家科技实力的象征,保证其安全运行具有重大的意义。近年来,预测与健康管理(PHM)在航空领域被提出,用于为航空发动机的安全维护提供技术保障。通过获取退化信息,对当前运行设备的健康状态进行评估来避免重大事故的发生,从而提高航空发动机的安全性和可靠性。剩余使用寿命(Remaining Useful Life,RUL)预测作为PHM两种内容之一,通过分析传感器参数和建模来预测航空发动机的剩余运行时间,对航空发动机的及时维护具有重。

18、要意义。0003随着机器学习和深度学习的不断发展,基于数据驱动的RUL预测方法成为研究的热点。该方法不需要领域先验知识,可以通过传感器输入和对应的标签学习其退化特征。但是该方法需要大量有标签的历史数据,且输入数据和用于测试的数据需要满足同一数据分布的条件。0004在实际的工业环境中,获取大量有标签的历史航空发动机运行数据是非常困难的,收集的数据往往是在不同工况和故障模式下收集的无标签传感器数据。本发明主要针对航空发动机的剩余使用寿命跨域预测场景。在该场景中,利用有标签的源域航空发动机传感器数据和无标签的目标域传感器数据,训练出可以应用于目标域的剩余使用寿命预测模型。00052020年,Da C。

19、osta等人在 Remaining useful lifetime prediction via deep domain adaptation 中提出一种RUL跨域预测方案,设计了一种基于LSTM的域对抗网络实现域适应方法。该方法通过LSTM网络对航空发动机的时序特征进行提取,并通过基于对抗的域适应方法减少两个域之间的域差异,从而实现特征迁移。该方法可以将简单运行条件的领域向复杂运行条件的领域进行迁移,但是仅使用LSTM结构不能对航空发动机传感器数据的其他隐藏特征进行提取和迁移,限制了模型的性能。00062022年,Wu等人在 Weighted Adversarial Domain Adapt。

20、ation for Machine Remaining Useful Life Prediction 中提出了一种加权对抗损失算法,在全局域适应下对语义信息相近的样本进行约束以减少负迁移的影响。该论文提出的方法在对抗训练的过程中通过样本标签与真实标签之间的距离计算损失的权重。但是,该论文提出的方法只适用于基于对抗的域适应方法,此外该结构受到伪标签预测准确性的影响。0007综上所述,基于无监督域适应方法的航空发动机RUL预测方法存在以下问题:(1)大多数方法的特征提取网络使用基于循环结构的LSTM或BiLSTM等结构,该结构在处理长时间序列时存在局限性且不能并行计算。(2)目前存在的航空发动机R。

21、UL跨域预测方法只考虑全局域适应,且没有在基于度量的域适应方法中考虑不同退化程度的子域对齐。说明书1/12 页7CN 116502123 A7发明内容0008本发明的目的是提出一种航空发动机剩余使用寿命无监督跨域预测方法,以解决上述技术问题。0009为实现上述目的,本发明提供了如下方案:0010一种航空发动机剩余使用寿命无监督跨域预测方法,步骤如下:0011(1)数据预处理:0012航空发动机运行在某种设定的工况种类和故障模式下的传感器数据拥有相同的数据分布,在不同设定下运行的航空发动机传感器数据具有不同的数据分布;该方法利用任意一组设定的运行工况种类和故障模式下收集的航空发动机运行到失效的有。

22、标签源域数据和另一组与源域数据设定不同的运行工况种类和故障模式下收集的运行到失效的无标签目标域数据对所提出方法中的模型进行训练,最后对目标域传感器数据的剩余使用寿命进行预测,即计算得到目标域测试数据的预测RUL;其中源域数据和目标域数据可以为任意航空发动机子数据集;在航空发动机公开数据集CMAPSS中有四个子数据集,每一个子数据集都有不同传感器的测量值,首先对传感器进行选择,删掉对航空发动机退化趋势分析没有帮助的传感器,并对航空发动机传感器信号做归一化处理,以减少不同数值范围差异大的数据对模型学习的影响;利用滑动窗口方法将航空发动机运行数据拆分成子数据,增加时间维度的信息,最终获得相同时间长度。

23、的传感器序列数据;采用分段线性退化模型对原有的线性RUL标签进行处理,并将处理完的标签代替原有标签;分段线性退化模型通过设定阈值将健康状态的RUL标签设定为固定值,其余RUL标签设置为发动机当前运行时刻至运行失效的时间间隔。该方法通过设定一个阈值N,将超过N的RUL标签标记为N,小于N的RUL标签保持不变。0013(2)特征提取0014利用改进的基于Transformer结构的特征模块提取源域和目标域航空发动机传感器数据的特征;改进的基于Transformer结构的特征提取模块的主要功能模块由输入嵌入模块、位置编码模块、多头注意力模块和前馈神经网络组成;首先将数据输入到一个全连接层结构即输入嵌。

24、入模块中,将航空发动机传感器数据转换为时序输入向量,然后通过位置编码模块对时序输入向量进行位置编码;位置编码模块由多层相同设置的编码器串联组成;在每一个编码器中将数据输入到多头注意力计算模块中,将计算所得的结果进行残差连接和层归一化;之后通过前馈神经网络进行特征提取,并将提取的特征再次进行残差连接和层归一化;通过输入源域航空发动机传感器数据Xs和目标域航空发动机传感器数据XT,经过多层的编码器的特征提取模块T处理之后,最终得到源域特征HsT(XS)和目标域特征HTT(XT),具体如下:0015(2.1)输入嵌入模块主要全连接层结构构成,将输入的源域和目标域航空发动机传感器数据XS和XT转换为对。

25、应的时序输入向量。0016(2.2)位置编码模块用于对输入数据的位置信息进行编码,其作用等同于循环结构中根据输入的先后顺序对输入数据的时序性进行标识的计算方式;使用基于正弦和余弦函数的位置编码函数P对输入向量进行时序编码:说明书2/12 页8CN 116502123 A800170018其中t代表当前需要标注位置的时刻,Dinput代表每一时刻的传感器数据或特征的维度,2i表示传感器维度上的偶数位置信息,2i+1代表奇数位置信息。该位置编码方式可以通过简单的函数运算得到不同数据之间的相对位置,也可以对不同长度的输入进行位置计算,最后将得到的位置编码嵌入与输入相加,得到经过位置编码计算的输入。0。

26、019(2.3)多头注意力模块可以沿传感器数据的时间维度,自动学习不同时刻传感器信息的重要性,从而对不同时刻的退化信息进行学习;针对输入数据,多头注意力模块根据所输入的数据分别计算得到三个矩阵:Q(查询矩阵)、K(键值矩阵)和V(值矩阵);设输入数据为XXtn,Xt,其计算过程为:00200021其中WQ,WK,WV为模型参数,可以通过训练进行更新;之后通过Q和K矩阵转置的点积,并按照根号下输入维度Dinput的大小进行缩放,通过Softmax函数对不同时刻的传感器数据输入进行权重计算;最终将计算的自注意力权重与值矩阵进行加权计算而得到提取的特征矩阵,其过程如下:00220023多头自注意力机。

27、制在自注意力机制的基础上,通过多次计算自注意力并进行融合,特征提取模块学习不同时序位置上的特征信息,从而提高预测性能。多头自注意力机制的计算过程如下:00240025其中W是可学习的权重参数,H代表注意力头的数量。0026(2.4)前馈神经网络针对注意力机制存在的对复杂过程拟合程度不够的问题,用于增加模型的学习能力;前馈神经网络由两层隐藏单元为512的线性层、Dropout层和激活函数组成;0027(3)全局子域适应0028改进的全局子域适应是一种复合的域距离度量方法,分为两个部分:全局距离损失计算和子域距离损失计算;通过步骤(2)得到的源域特征HS和目标域特征HT计算域距离损失;具体如下:0。

28、029(3.1)全局距离损失计算0030为了对齐源域和目标域的特征结构,采用MKMMD度量作为全局距离损失,公式如下:说明书3/12 页9CN 116502123 A900310032其中为特征提取模块提取的源域特征,NS为输入的源域样本数,为目标域特征,NT为输入的目标域样本数,为映射函数,可以将数据映射到再生核希尔伯特空间,表示再生核希尔伯特空间,k(,)为多个核一起定义的核函数。0033(3.2)子域距离损失计算0034子域距离损失计算模块由三部分组成,分别是目标域RUL预测模块、目标域RUL分类模块和子域差异损失计算模块;目标域RUL预测模块用于生成目标域输入数据的RUL伪标签,来暂时。

29、表示当前的运行健康程度;目标域RUL分类模块将目标域RUL伪标签进行聚类划分,通过标签映射方法将连续的RUL预测值转换成离散的分类标签;子域差异损失计算模块用于计算不同类别下源域和目标域样本之间的分布差异;具体如下:0035(3.2.1)目标域RUL预测模块0036该方法中利用目标域RUL预测模块输出对应的RUL预测结果,其中目标域RUL预测模块由一个Flatten层和一个全连接层(fully connected layers,FC)和ReLu()激活函数函数进行输出,其中Flatten层用于改变特征的维度;生成目标域伪标签为子域适应提供标签信息,过程如下:00370038其中RT代表所提出的。

30、目标域RUL预测模块,HT代表目标域数据经过特征提取模块得到的目标域特征;0039(3.2.2)目标域RUL分类模块0040该方法利用m层全连接层和Softmax()激活函数将连续的RUL预测值转换成离散的分类标签,从而将不同退化程度的航空发动机特征按照预定的分类数进行分类,其中m为设定的全连接层层数;目标域特征在通过目标域RUL预测模块RT后得到伪标签目标域RUL分类模块C将伪标签转换为对应的目标类别标签CT;00410042(3.2.3)子域差异损失计算0043在航空发动机的跨域RUL预测任务中,源域和目标域数据集的标签空间是相同的,因此可以通过对标签进行分类来将数据分为不同的子域;在进行。

31、子域差异计算之前,需要说明书4/12 页10CN 116502123 A10将源域的标签转化成与目标域分类标签形式相同的onehot标签,该过程如下:00440045其中CS代表变换的源域类别标签,o()代表onehot标签转换函数,floor()表示向下取整函数,RULmax表示整个航空发动机运行的时间长度,NC为预设的分类种类数量;0046为了计算不同类别下的源域和目标域样本之间的分布差异,该方法使用局部最大均值差异(local maximum mean discrepancy,LMMD)度量方法,结合源域样本的类别标签CS和目标域样本伪标签转化的类别标签CT进行子域对齐;对于源域输入的特。

32、征HS和分类标签CS以及目标域输入的特征HT和分类标签CT,航空发动机的子域差异损失计算过程如下:00470048其中和分别代表第i个源域特征和第j个目标域特征属于种类c的概率权重,NC为标签分类数量,为映射函数,可以将数据映射到再生核希尔伯特空间,表示再生核希尔伯特空间,k(,)为多个核一起定义的核函数;对于每一个特征,其权重计算过程如下:00490050其中代表第i个分类标签C中的第c个元素,也代表了其对应种类的概率,经过计算后每个域中的权值的总和为1。源域标签使用onehot标签进行计算同时目标域标签使用预测RUL伪标签生成的种类概率标签进行计算(4)针对无监督跨域RUL预测的目标函数:。

33、0051该方法的目标函数由三个部分组成:RUL预测损失、全局距离损失以及子域距离损失;0052(4.1)RUL预测损失LRUL:为了将预测能力良好的预测模型信息共享给目标域进行特征提取,同时也对目标域伪标签的生成提供帮助,该方法利用全连接层结构输出对应的RUL预测结果,该结构一个Flatten层和一个全连接层(fully connected layers,FC)和ReLu()激活函数函数进行输出,其中Flatten层用于改变特征的维度;过程如下:00530054其中RS代表源域RUL预测模块,HS代表源域数据经过特征提取模块得到的源域特征;样本的真实RUL标签和预测标签之间的RUL预测损失利用。

34、均方根误差定义,其公式如下:说明书5/12 页11CN 116502123 A1100550056其中HS代表源域数据经过特征提取模块得到的源域特征,是通过源域特征预测的RUL标签,是真实的RUL标签,NS是每次迭代中源域样本数量;0057(4.2)全局距离损失LMMD:全局域适应减少源域和目标域数据之间的分布差异从而引导模型进行迁移学习,其定义如步骤(3.1)所示;0058(4.3)子域距离损失LLMMD:子域距离损失用于减少来自不同分布的航空发动机数据之间的子域差异进行细粒度的信息对齐,其定义如步骤(3.2.3)所示;0059(4.4)结合步骤(4.1)步骤(4.3)的三种损失函数,总的目。

35、标函数表示为:0060LtotalLRUL+LMMD+LLMMD0061其中,和 都是预定的参数;0062(5)所提出RUL跨域预测方法性能的评价指标:0063该方法中的模型由特征提取模块和全局子域适应模块构成,在获取提取的源域特征和目标域特征之后,通过计算总损失函数进行梯度反向传播以训练所提出方法中的整体模型;在模型训练完成后,实现对目标域测试数据的跨域RUL预测;通过预测的目标域RUL值与真实的目标域RUL标签之间的均方根误差来表示跨域剩余使用寿命预测方法的性能优劣,其公式如下所示:00640065其中和yi分别是目标域测试数据的预测RUL和真实RUL标签,N为测试集的总样本数据数量。00。

36、66除此之外,采用Score度量通过对延迟的RUL预测施加惩罚来显示预测RUL和真实RUL的先后顺序,以减少延迟RUL预测行为的出现,Score度量的定义如下:00670068其中和yi分别是目标域测试数据的预测RUL和真实RUL标签,N为测试集的总样本数据数量。0069本发明的有益效果:0070本发明通过改进的基于Transformer结构的特征提取模块提取源域和目标域航空发动机传感器数据的特征。通过全局子域适应实现源域和目标域之间的域对齐,该结构在全局对齐的同时对具有相同退化程度的数据特征进行子域对齐。最后计算源域有标签数据的回归损失和域适应损失,通过反向传播更新参数来实现无监督条件下不同。

37、条件收集的不同域航空发动机数据的RUL跨域预测。0071本发明针对基于循环结构的神经网络模型存在的不能并行操作的结构特性以及说明书6/12 页12CN 116502123 A12处理长期时间依赖中的局限性,提出基于Transformer结构的特征提取模块。本发明在源域特征和目标域特征域适应的过程中,通过预定义的种类对源域和目标域特征进行分类,将具有相同退化程度的退化数据进行聚类。在全局域适应的同时,针对不同种类的特征进行子域对齐,提升了特征域适应的性能。附图说明0072图1(a)和图1(b)是本发明所述的航空发动机传感器数据无监督域适应场景示意图,其中,图1(a)是训练集的数据和分布,图1(b。

38、)是测试集的数据和分布。0073图2是本发明一种航空发动机剩余使用寿命无监督跨域预测方法的模型流程图。0074图3是本发明中改进的基于Transformer结构的特征提取模块的模型结构图。0075图4是本发明中全局子域适应模块的功能示意图。具体实施方式0076为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。0077一种航空发动机剩余使用寿命无监督跨域预测方法,应用于利用有标签的源域数据和无标签的目标域数据的航空发动机跨域RUL预测。如图1(a)和图1(b)所示,基于数据驱动的RU。

39、L预测方法假设模型的训练集数据和测试集数据取自同一数据分布,而在实际工业行业中,训练集数据和测试集数据往往是不同的。同时因为航空发动机造价昂贵,很难获取运行至失效的传感器数据,航空发动机的标签获取难度很高。因此需要解决目标域数据无标签条件下的不同分布数据的域适应问题。传统的基于数据驱动的航空发动机RUL预测方法大多使用基于循环结构的神经网络提取时间依赖,同时只考虑如何减少两个不同领域之间的差异。因此需要解决传统基于循环结构的神经网络存在的提取长期时间依赖特征和无法并行操作的局限性,以及在全局域适应的过程中对不同退化程度特征的细粒度对齐问题。0078本发明的模型结构如图2所示,首先,将完成预处理。

40、的源域和目标域传感器数据输入到特征提取模块中,其结构如图3所示,分别学习源域和目标域的时序隐藏特征。然后,将源域特征和目标域特征输入到全局子域适应模块中。该模块通过目标域RUL预测模块计算目标域伪标签,并通过目标域RUL分类模块将伪标签进行分类,通过分类后的源域和目标域分类标签计算全局域差异和子域差异,并进行加权计算来反映源域与目标域之间的差异,通过减小域差异来实现无监督域适应,图4为该过程的功能示意图。最后通过损失函数将梯度进行反向传播从而更新参数,最终得到训练好的模型,并利用训练好的模型对无标签的目标域数据进行预测。0079具体步骤如下:0080(1)数据预处理:0081航空发动机运行在某。

41、种设定的工况种类和故障模式下的传感器数据拥有相同的数据分布,在不同设定下运行的航空发动机传感器数据具有不同的数据分布;该方法利用任意一组设定的运行工况种类和故障模式下收集的航空发动机运行到失效的有标签源域说明书7/12 页13CN 116502123 A13数据和另一组与源域数据设定不同的运行工况种类和故障模式下收集的运行到失效的无标签目标域数据对所提出方法中的模型进行训练,最后对目标域传感器数据的剩余使用寿命进行预测,即计算得到目标域测试数据的预测RUL;其中源域数据和目标域数据可以为任意航空发动机子数据集;在航空发动机公开数据集CMAPSS中有四个子数据集,每一个子数据集都有不同传感器的测。

42、量值,首先对传感器进行选择,删掉对航空发动机退化趋势分析没有帮助的传感器,并对航空发动机传感器信号做归一化处理,以减少不同数值范围差异大的数据对模型学习的影响;利用滑动窗口方法将航空发动机运行数据拆分成子数据,增加时间维度的信息,最终获得相同时间长度的传感器序列数据;采用分段线性退化模型对原有的线性RUL标签进行处理,并将处理完的标签代替原有标签;分段线性退化模型通过设定阈值将健康状态的RUL标签设定为固定值,其余RUL标签设置为发动机当前运行时刻至运行失效的时间间隔。该方法通过设定一个阈值N,将超过N的RUL标签标记为N,小于N的RUL标签保持不变。0082(2)特征提取0083利用改进的基。

43、于Transformer结构的特征模块提取源域和目标域航空发动机传感器数据的特征;改进的基于Transformer结构的特征提取模块的主要功能模块由输入嵌入模块、位置编码模块、多头注意力模块和前馈神经网络组成;首先将数据输入到一个全连接层结构即输入嵌入模块中,将航空发动机传感器数据转换为时序输入向量,然后通过位置编码模块对时序输入向量进行位置编码;位置编码模块由多层相同设置的编码器串联组成;在每一个编码器中将数据输入到多头注意力计算模块中,将计算所得的结果进行残差连接和层归一化;之后通过前馈神经网络进行特征提取,并将提取的特征再次进行残差连接和层归一化;通过输入源域航空发动机传感器数据XS和目。

44、标域航空发动机传感器数据XT,经过多层的编码器的特征提取模块T处理之后,最终得到源域特征HST(XS)和目标域特征HTT(XT),具体如下:0084(2.1)输入嵌入模块主要全连接层结构构成,将输入的源域和目标域航空发动机传感器数据XS和XT转换为对应的时序输入向量。0085(2.2)位置编码模块用于对输入数据的位置信息进行编码,其作用等同于循环结构中根据输入的先后顺序对输入数据的时序性进行标识的计算方式;使用基于正弦和余弦函数的位置编码函数P对输入向量进行时序编码:00860087其中t代表当前需要标注位置的时刻,Dinput代表每一时刻的传感器数据或特征的维度,2i表示传感器维度上的偶数位。

45、置信息,2i+1代表奇数位置信息。该位置编码方式可以通过简单的函数运算得到不同数据之间的相对位置,也可以对不同长度的输入进行位置计算,最后将得到的位置编码嵌入与输入相加,得到经过位置编码计算的输入。0088(2.3)多头注意力模块可以沿传感器数据的时间维度,自动学习不同时刻传感器信息的重要性,从而对不同时刻的退化信息进行学习;针对输入数据,多头注意力模块根据所输入的数据分别计算得到三个矩阵:Q(查询矩阵)、K(键值矩阵)和V(值矩阵);设输入数据为XXtn,Xt,其计算过程为:说明书8/12 页14CN 116502123 A1400890090其中WQ,WK,WV为模型参数,可以通过训练进行。

46、更新;之后通过Q和K矩阵转置的点积,并按照根号下输入维度Dinput的大小进行缩放,通过Softmax函数对不同时刻的传感器数据输入进行权重计算;最终将计算的自注意力权重与值矩阵进行加权计算而得到提取的特征矩阵,其过程如下:00910092多头自注意力机制在自注意力机制的基础上,通过多次计算自注意力并进行融合,特征提取模块学习不同时序位置上的特征信息,从而提高预测性能。多头自注意力机制的计算过程如下:00930094其中W是可学习的权重参数,H代表注意力头的数量。0095(2.4)前馈神经网络针对注意力机制存在的对复杂过程拟合程度不够的问题,用于增加模型的学习能力;前馈神经网络由两层隐藏单元为。

47、512的线性层、Dropout层和激活函数组成;0096(3)全局子域适应0097改进的全局子域适应是一种复合的域距离度量方法,分为两个部分:全局距离损失计算和子域距离损失计算;通过步骤(2)得到的源域特征HS和目标域特征HT计算域距离损失;具体如下:0098(3.1)全局距离损失计算0099为了对齐源域和目标域的特征结构,采用MKMMD度量作为全局距离损失,公式如下:01000101其中为特征提取模块提取的源域特征,HS为输入的源域样本数,为目标域特征,NT为输入的目标域样本数,说明书9/12 页15CN 116502123 A15为映射函数,可以将数据映射到再生核希尔伯特空间,表示再生核希。

48、尔伯特空间,k(,)为多个核一起定义的核函数。0102(3.2)子域距离损失计算0103子域距离损失计算模块由三部分组成,分别是目标域RUL预测模块、目标域RUL分类模块和子域差异损失计算模块;目标域RUL预测模块用于生成目标域输入数据的RUL伪标签,来暂时表示当前的运行健康程度;目标域RUL分类模块将目标域RUL伪标签进行聚类划分,通过标签映射方法将连续的RUL预测值转换成离散的分类标签;子域差异损失计算模块用于计算不同类别下源域和目标域样本之间的分布差异;具体如下:0104(3.2.1)目标域RUL预测模块0105该方法中利用目标域RUL预测模块输出对应的RUL预测结果,其中目标域RUL预。

49、测模块由一个Flatten层和一个全连接层(fully connected layers,FC)和ReLu()激活函数函数进行输出,其中Flatten层用于改变特征的维度;生成目标域伪标签为子域适应提供标签信息,过程如下:01060107其中RT代表所提出的目标域RUL预测模块,HT代表目标域数据经过特征提取模块得到的目标域特征;0108(3.2.2)目标域RUL分类模块0109该方法利用m层全连接层和Softmax()激活函数将连续的RUL预测值转换成离散的分类标签,从而将不同退化程度的航空发动机特征按照预定的分类数进行分类,其中m为设定的全连接层层数;目标域特征在通过目标域RUL预测模块R。

50、T后得到伪标签目标域RUL分类模块C将伪标签转换为对应的目标类别标签CT;01100111(3.2.3)子域差异损失计算0112在航空发动机的跨域RUL预测任务中,源域和目标域数据集的标签空间是相同的,因此可以通过对标签进行分类来将数据分为不同的子域;在进行子域差异计算之前,需要将源域的标签转化成与目标域分类标签形式相同的onehot标签,该过程如下:01130114其中CS代表变换的源域类别标签,o()代表onehot标签转换函数,floor()表示向下取整函数,RULmax表示整个航空发动机运行的时间长度,NC为预设的分类种类数量;0115为了计算不同类别下的源域和目标域样本之间的分布差异。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1