《多MEC网络环境下的资源协同调度方法.pdf》由会员分享，可在线阅读，更多相关《多MEC网络环境下的资源协同调度方法.pdf（14页珍藏版）》请在专利查询网上搜索。
1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202310485314.4(22)申请日 2023.04.28(71)申请人 西安邮电大学地址 710121 陕西省西安市长安区西长安街618号(72)发明人 赵季红董莎黄子豪崔文静胡晓燕崔曌铭张富(74)专利代理机构 西安通大专利代理有限责任公司 61200专利代理师 姚咏华(51)Int.Cl.H04W 28/08(2023.01)(54)发明名称一种多MEC网络环境下的资源协同调度方法(57)摘要本发明属于云计算服务领域，公开了一种多MEC网络环境下的资源协同调度方法，本发明通过多个移动用。
2、户对多个移动边缘计算服务器的选择，最大化了移动用户的效用和移动边缘计算服务器的经济效益；它建立了多移动边缘计算服务器相互竞争的关系，解决了移动边缘计算服务器之间的独立性，避免了单个移动边缘计算服务器资源过载和过剩，提高了资源利用率；它在资源协同的同时降低了移动用户的能耗，在构建的效用函数中使能耗最小化，大大减小了移动用户的能耗。总之，该方法建立了多移动边缘计算服务器之间的资源协同调度并且降低移动用户的能耗。权利要求书2页 说明书10页 附图1页CN 116506896 A2023.07.28CN 116506896 A1.一种多MEC网络环境下的资源协同调度方法，其特征在于，包括以下步骤：对若。
3、干移动边缘计算服务器和若干移动用户的场景，构建具有相互竞争关系的计算卸载市场模型；基于随机学习自动机理论，构建强化学习框架；移动用户通过强化学习框架，根据移动用户行为记录和整体网络环境的反应，选择最佳移动边缘计算服务器；对每个移动边缘计算服务器设置声誉评分，通过声誉评分构成奖励函数，用于移动用户对移动边缘计算服务器奖励；根据声誉评分对每个移动边缘计算服务器进行迭代，在平稳状态时停止迭代，输出此时每个移动用户的最优卸载比例和对每个移动边缘计算服务器的最优定价。2.根据权利要求1所述的一种多MEC网络环境下的资源协同调度方法，其特征在于，构建具有相互竞争关系的计算卸载市场模型的具体方法如下：在N个。
4、移动用户和S个移动边缘计算服务器的场景下，将场景下的操作过程划分为若干时隙t；获取在每个时隙t下，移动用户对移动边缘计算服务器的选择、每个移动用户的最优卸载数据量和移动边缘计算服务器的计算服务价格；每个移动用户在时隙t产生固定的计算密集型业务数据量，其中一部分卸载到移动边缘计算服务器，其余的在本地进行处理；预设移动用户的业务满意度与移动用户的相对卸载量成正比；当移动用户向移动边缘计算服务器卸载数据时，产生相应的移动用户开销，移动边缘计算服务器能够在移动用户开销上提供价格折扣移动边缘计算服务器在处理接收到的数据过程中会产生相应的成本；将移动边缘计算服务器在总时间周期T内处理的总数据量与所有移动边。
5、缘计算服务器在时间周期内处理的总数据量比值作为移动边缘计算服务器占有率，移动边缘计算服务器占有率越高，该移动边缘计算服务器的声誉也会提高；根据每个移动边缘计算服务器的声誉，结合移动用户开销上的价格折扣，得到每个移动边缘计算服务器收益与成本间的关系，作为计算卸载市场模型。3.根据权利要求2所述的一种多MEC网络环境下的资源协同调度方法，其特征在于，移动用户开销包括移动边缘计算服务器支付的费用、移动用户传输的费用和移动用户本地计算所需的费用。4.根据权利要求2所述的一种多MEC网络环境下的资源协同调度方法，其特征在于，移动边缘计算服务器的声誉的计算方法如下：每个移动边缘计算服务器的处理能力固定，将。
6、移动边缘计算服务器在时隙t中处理的数据总量与其数据处理能力之比作为该移动边缘计算服务器该时刻的拥塞度；根据移动边缘计算服务器占有率、每个移动边缘计算服务器的拥塞度以及移动边缘计算服务器的计算服务价格，得到该移动边缘计算服务器的声誉。5.根据权利要求4所述的一种多MEC网络环境下的资源协同调度方法，其特征在于，对移动边缘计算服务器的声誉进行归一化，形成强化学习的奖励函数；根据随机学习自动机理论，获取移动用户选择某个移动边缘计算服务器卸载数据的概权利要求书1/2 页2CN 116506896 A2率；获取移动用户在下一个时隙选择与当前时隙不同的移动边缘计算服务器卸载数据的概率和移动用户继续由同一移。
7、动边缘计算服务器提供卸载数据的概率。6.根据权利要求1所述的一种多MEC网络环境下的资源协同调度方法，其特征在于，选择最佳移动边缘计算服务器的方法如下：每个移动用户都选择了一个移动边缘计算服务器卸载其计算密集型业务的数据，每个移动边缘计算服务器的目标是通过处理移动用户的数据来实现自己的利润最大化，而每个移动用户的目标是通过向选定的移动边缘计算服务器卸载最优的数据量来实现其效用函数所示的满意度最大化，移动边缘计算服务器的最优价格和移动用户的最优数据卸载是相互依赖的；移动用户使用非合作博弈的方式解决个人效用函数的优化问题，从而来确定最佳数据卸载量；移动边缘计算服务器根据移动用户的数据卸载，通过解决。
8、优化问题来确定最优公布价格。7.根据权利要求6所述的一种多MEC网络环境下的资源协同调度方法，其特征在于，移动用户使用非合作博弈的方式解决个人效用函数的优化问题，从而来确定自己的最佳数据卸载量的方法如下：在移动用户之间建立非合作博弈模型，移动用户之间相互博弈以确定最优卸载的数据量，博弈包括三部分，分别是参与计算卸载的移动用户、移动用户的卸载策略集合和移动用户的效用函数集合；当博弈进入纳什均衡点后，所有移动用户没有动机改变自己的卸载策略，系统趋于稳定，此时得到最优卸载量。8.根据权利要求6所述的一种多MEC网络环境下的资源协同调度方法，其特征在于，移动边缘计算服务器根据移动用户的数据卸载，通过解。
9、决优化问题来确定最优公布价格的方法如下：在初始时隙，设置移动边缘计算服务器的初始选择概率向量；当时隙t0，移动用户根据自身选择概率向量选择移动边缘计算服务器进行计算卸载；移动用户对移动边缘计算服务器进行选择，移动边缘计算服务器公布其价格，移动用户确定最优卸载比例；依据移动用户的卸载数据情况，移动边缘计算服务器确定其计算服务的定价；移动用户重新根据自身选择概率向量选择移动边缘计算服务器进行计算卸载，直至系统趋于稳定，得到最优公布价格。权利要求书2/2 页3CN 116506896 A3一种多MEC网络环境下的资源协同调度方法技术领域0001本发明属于云计算服务领域，具体涉及一种多MEC网络环境下。
10、的资源协同调度方法。背景技术0002移动边缘计算(MEC，mobile edge computing)是指在移动网络边缘部署计算和存储资源，为移动网络提供IT服务环境和云计算能力，从而为用户提供超低延时和高带宽的网络服务解决方案。计算卸载是指终端设备将一部分或全部计算任务交给云计算环境处理的技术，以解决移动设备在资源存储、计算性能及能效等方面的不足。0003目前的研究技术是将SDN与边缘计算技术联合，但只考虑了单个移动边缘计算服务器(MECS，mobile edge computing servers)与多个用户之间的网络环境。由于多个用户计算资源卸载到单个服务器上容易引起过载现象，移动边缘计。
11、算服务器之间相互独立也容易产生资源过载和资源过剩现象，因此急需研究有效的动态数据卸载和资源分配方案以解决网络资源之间的协同调度问题。发明内容0004本发明的目的在于克服上述不足，提供一种多MEC网络环境下的资源协同调度方法，为计算密集型业务提供低时延和高带宽的网络服务。0005为了达到上述目的，本发明包括以下步骤：0006对若干移动边缘计算服务器和若干移动用户的场景，构建具有相互竞争关系的计算卸载市场模型；0007基于随机学习自动机理论，构建强化学习框架；0008移动用户通过强化学习框架，根据移动用户行为记录和整体网络环境的反应，选择最佳移动边缘计算服务器；0009对每个移动边缘计算服务器设置。
12、声誉评分，通过声誉评分构成奖励函数，用于移动用户对移动边缘计算服务器奖励；0010根据声誉评分对每个移动边缘计算服务器进行迭代，在平稳状态时停止迭代，输出此时每个移动用户的最优卸载比例和对每个移动边缘计算服务器的最优定价。0011构建具有相互竞争关系的计算卸载市场模型的具体方法如下：0012在N个移动用户和S个移动边缘计算服务器的场景下，将场景下的操作过程划分为若干时隙t；0013获取在每个时隙t下，移动用户对移动边缘计算服务器的选择、每个移动用户的最优卸载数据量和移动边缘计算服务器的计算服务价格；0014每个移动用户在时隙t产生固定的计算密集型业务数据量，其中一部分卸载到移动边缘计算服务器，。
13、其余的在本地进行处理；0015预设移动用户的业务满意度与移动用户的相对卸载量成正比；说明书1/10 页4CN 116506896 A40016当移动用户向移动边缘计算服务器卸载数据时，产生相应的移动用户开销，移动边缘计算服务器能够在移动用户开销上提供价格折扣移动边缘计算服务器在处理接收到的数据过程中会产生相应的成本；0017将所有移动边缘计算服务器在总时间周期T内处理的总数据量与所有移动边缘计算服务器在时间周期内处理的总数据量比值作为移动边缘计算服务器占有率，移动边缘计算服务器占有率越高，该移动边缘计算服务器的声誉也会提高；0018根据每个移动边缘计算服务器的声誉，结合移动用户开销上的价格折扣。
14、，得到每个移动边缘计算服务器收益与成本间的关系，作为计算卸载市场模型。0019移动用户开销包括移动边缘计算服务器支付的费用、移动用户传输的费用和移动用户本地计算所需的费用。0020移动边缘计算服务器的声誉的计算方法如下：0021每个移动边缘计算服务器的处理能力固定，将移动边缘计算服务器在时隙t中处理的数据总量与其数据处理能力之比作为该移动边缘计算服务器该时刻的拥塞度；0022根据移动边缘计算服务器占有率、每个移动边缘计算服务器的拥塞度以及移动边缘计算服务器的计算服务价格，得到该移动边缘计算服务器的声誉。0023对移动边缘计算服务器的声誉进行归一化，形成强化学习的奖励函数；0024根据随机学习自。
15、动机理论，获取移动用户选择某个移动边缘计算服务器卸载数据的概率；0025获取移动用户在下一个时隙选择与当前时隙不同的移动边缘计算服务器卸载数据的概率和移动用户继续由同一移动边缘计算服务器提供卸载数据的概率。0026选择最佳移动边缘计算服务器的方法如下：0027每个移动用户都选择了一个移动边缘计算服务器卸载其计算密集型业务的数据，每个移动边缘计算服务器的目标是通过处理移动用户的数据来实现自己的利润最大化，而每个移动用户的目标是通过向选定的移动边缘计算服务器卸载最优的数据量来实现其效用函数所示的满意度最大化，移动边缘计算服务器的最优价格和移动用户的最优数据卸载是相互依赖的；0028移动用户使用非合。
16、作博弈的方式解决个人效用函数的优化问题，从而来确定最佳数据卸载量；0029移动边缘计算服务器根据移动用户的数据卸载，通过解决优化问题来确定最优公布价格。0030移动用户使用非合作博弈的方式解决个人效用函数的优化问题，从而来确定自己的最佳数据卸载量的方法如下：0031在移动用户之间建立非合作博弈模型，移动用户之间相互博弈以确定最优卸载的数据量，博弈包括三部分，分别是参与计算卸载的移动用户、移动用户的卸载策略集合和移动用户的效用函数集合；0032当博弈进入纳什均衡点后，所有移动用户没有动机改变自己的卸载策略，系统趋于稳定，此时得到最优卸载量。0033移动边缘计算服务器根据移动用户的数据卸载，通过解。
17、决优化问题来确定最优公布价格的方法如下：说明书2/10 页5CN 116506896 A50034在初始时隙，设置移动边缘计算服务器的初始选择概率向量；0035当时隙t0，移动用户根据自身选择概率向量选择移动边缘计算服务器进行计算卸载；0036移动用户对移动边缘计算服务器进行选择，移动边缘计算服务器公布其价格，移动用户确定最优卸载比例；0037依据移动用户的卸载数据情况，移动边缘计算服务器确定其计算服务的定价；0038移动用户重新根据自身选择概率向量选择移动边缘计算服务器进行计算卸载，直至系统趋于稳定，得到最优公布价格。0039与现有技术相比，本发明通过多个移动用户对多个移动边缘计算服务器的选。
18、择，最大化了移动用户的效用和移动边缘计算服务器的经济效益；它建立了多移动边缘计算服务器相互竞争的关系，解决了移动边缘计算服务器之间的独立性，避免了单个移动边缘计算服务器资源过载和过剩，提高了资源利用率；它在资源协同的同时降低了移动用户的能耗，在构建的效用函数中使能耗最小化，大大减小了移动用户的能耗。总之，该方法建立了多移动边缘计算服务器之间的资源协同调度并且降低移动用户的能耗。附图说明0040图1为本发明的网络结构示意图；0041图2为本发明的流程图。具体实施方式0042下面结合附图对本发明做进一步说明。0043参见图1和图2，本发明包括以下步骤：0044S1，对若干移动边缘计算服务器和若干移。
19、动用户的场景，构建具有相互竞争关系的计算卸载市场模型，具体方法如下：0045在N个移动用户和S个移动边缘计算服务器的场景下，将场景下的操作过程划分为若干时隙t；0046获取在每个时隙t下，移动用户对移动边缘计算服务器的选择、每个移动用户的最优卸载数据量和移动边缘计算服务器的计算服务价格；0047每个移动用户在时隙t产生固定的计算密集型业务数据量，其中一部分卸载到移动边缘计算服务器，其余的在本地进行处理；0048预设移动用户的业务满意度与移动用户的相对卸载量成正比；0049当移动用户向移动边缘计算服务器卸载数据时，产生相应的移动用户开销，移动边缘计算服务器能够在移动用户开销上提供价格折扣移动边缘。
20、计算服务器在处理接收到的数据过程中会产生相应的成本；0050将所有移动边缘计算服务器在总时间周期T内处理的总数据量与所有移动边缘计算服务器在时间周期内处理的总数据量比值作为移动边缘计算服务器占有率，移动边缘计算服务器占有率越高，该移动边缘计算服务器的声誉也会提高；0051根据每个移动边缘计算服务器的声誉，结合移动用户开销上的价格折扣，得到每个移动边缘计算服务器收益与成本间的关系，作为计算卸载市场模型。说明书3/10 页6CN 116506896 A60052其中，移动用户开销包括移动边缘计算服务器支付的费用、移动用户传输的费用和移动用户本地计算所需的费用。0053其中，移动边缘计算服务器的声誉。
21、的计算方法如下：0054每个移动边缘计算服务器的处理能力固定，将移动边缘计算服务器在时隙t中处理的数据总量与其数据处理能力之比作为该移动边缘计算服务器该时刻的拥塞度；0055根据移动边缘计算服务器占有率、每个移动边缘计算服务器的拥塞度以及移动边缘计算服务器的计算服务价格，得到该移动边缘计算服务器的声誉。0056S2，基于随机学习自动机理论，构建强化学习框架：0057S3，移动用户通过强化学习框架，根据移动用户行为记录和整体网络环境的反应，选择最佳移动边缘计算服务器，具体方法如下：0058每个移动用户都选择了一个移动边缘计算服务器卸载其计算密集型业务的数据，每个移动边缘计算服务器的目标是通过处理。
22、移动用户的数据来实现自己的利润最大化，而每个移动用户的目标是通过向选定的移动边缘计算服务器卸载最优的数据量来实现其效用函数所示的满意度最大化，移动边缘计算服务器的最优价格和移动用户的最优数据卸载是相互依赖的；0059移动用户使用非合作博弈的方式解决个人效用函数的优化问题，从而来确定最佳数据卸载量；0060移动边缘计算服务器根据移动用户的数据卸载，通过解决优化问题来确定最优公布价格。0061其中，移动用户使用非合作博弈的方式解决个人效用函数的优化问题，从而来确定自己的最佳数据卸载量的方法如下：0062在移动用户之间建立非合作博弈模型，移动用户之间相互博弈以确定最优卸载的数据量，博弈包括三部分，分。
23、别是参与计算卸载的移动用户、移动用户的卸载策略集合和移动用户的效用函数集合；0063当博弈进入纳什均衡点后，所有移动用户没有动机改变自己的卸载策略，系统趋于稳定，此时得到最优卸载量。0064移动边缘计算服务器根据移动用户的数据卸载，通过解决优化问题来确定最优公布价格的方法如下：0065在初始时隙，设置移动边缘计算服务器的初始选择概率向量；0066当时隙t0，移动用户根据自身选择概率向量选择移动边缘计算服务器进行计算卸载；0067移动用户对移动边缘计算服务器进行选择，移动边缘计算服务器公布其价格，移动用户确定最优卸载比例；0068依据移动用户的卸载数据情况，移动边缘计算服务器确定其计算服务的定价。
24、；0069移动用户重新根据自身选择概率向量选择移动边缘计算服务器进行计算卸载，直至系统趋于稳定，得到最优公布价格。0070S4，对每个移动边缘计算服务器设置声誉评分，通过声誉评分构成奖励函数，用于移动用户对移动边缘计算服务器奖励；0071对移动边缘计算服务器的声誉进行归一化，形成强化学习的奖励函数；说明书4/10 页7CN 116506896 A70072根据随机学习自动机理论，获取移动用户选择某个移动边缘计算服务器卸载数据的概率；0073获取移动用户在下一个时隙选择与当前时隙不同的移动边缘计算服务器卸载数据的概率和移动用户继续由同一移动边缘计算服务器提供卸载数据的概率。0074S5，根据声誉。
25、评分对每个移动边缘计算服务器进行迭代，在平稳状态时停止迭代，输出此时每个移动用户的最优卸载比例和对每个移动边缘计算服务器的最优定价。0075实施例：0076移动用户根据自身需求，产生大量计算密集型业务，并且移动用户将计算需求经无线基站上传至SDN控制器。SDN控制器执行一个基于随机学习自动机理论的强化学习框架，使移动用户能够选择一个移动边缘计算服务器来卸载他们的数据。移动用户在选择移动边缘计算服务器实现计算卸载过程时，将不同移动边缘计算服务器提供的计算服务的价格以及折扣、移动边缘计算服务器在服务终端用户的计算任务方面的拥塞情况、移动边缘计算服务器对移动用户业务的占有率联合考虑。通过建立每个移动。
26、边缘计算服务器用户间的非合作博弈，确定每个用户向选定的移动边缘计算服务器卸载数据的比例。通过求解移动边缘计算服务器提供的计算服务和接收到的卸载数据确定其最优定价从而能够解决移动边缘计算服务器利润最大化的优化问题。0077在N1,2,，N个移动用户和S1,2,，S个移动边缘计算服务器的环境，将系统的操作过程划分为若干个时隙t0,1,2,，每个时隙计算服务的价格为ps(t)/bit。每个移动边缘计算服务器和SDN控制器即时通信，同时在每个时隙t,SDN控制器决定了移动用户对移动边缘计算服务器的选择、每个移动用户的最优卸载数据量bu,s(t)、移动边缘计算服务器的计算服务价格ps(t)/bit。每个。
27、移动用户在时隙t产生的计算密集型业务数据量为Iu(t)，其中的一部分bu,s(t)0,Iu(t)表示为卸载到移动边缘计算服务器，其余的数据在本地进行处理。0078在时隙t开始时，移动用户与移动边缘计算服务器的距离为d，路径损耗指数为，收发天线的增益为Gr和Gt。移动用户向SDN控制器发送其总计算数据量Iu(t)，SDN控制器为每个移动用户确定卸载数据的移动边缘计算服务器和最优卸载数据量bu,s(t)。定义当前移动用户的相对卸载量为：00790080其中Bu(t)sSu U,u ubu,s(t)，代表除当前移动用户以外的其余用户卸载量。定义移动用户的计算卸载业务满意度为：0081su(t)uln。
28、(1+uru(t)(1.2)0082其中 u,uR+决定该函数的斜率，移动用户的业务满意度与移动用户的相对卸载量成正比。当移动用户向移动边缘计算服务器卸载数据时，将产生相应的移动用户开销cu(t)，移动用户开销由向移动边缘计算服务器支付的费用cu,mecs(t)，移动用户传输的费用cu,trans(t)，移动用户本地计算所需的费用cu,local(t)三部分组成：0083cu(t)cu,mecs(t)+cu,trans(t)+cu,local(t)(1.3)0084cu,mecs(t)du(t)ps(t)ru(t)(1.3a)说明书5/10 页8CN 116506896 A8008500860。
29、087du(t)表示移动用户为了使用移动边缘计算服务器的计算服务而进行的支出动态，du(t)越小代表用户为了从移动边缘计算服务器购买计算服务而花更多钱的动态行为，ps(t)代表移动边缘计算服务器公布的计算服务价格。表示发射功率，fc是载波频率，c是波速，Prx是接收功率，Rbrand是带宽。0088综上移动用户的效用函数为：00890090每个移动边缘计算服务器有动机吸引更多的移动用户进行计算卸载，为鼓励移动用户选择移动边缘计算服务器完成计算卸载，移动边缘计算服务器可以动态的在价格的基础上提供价格折扣fs(t)，以吸引移动用户选择相应的价格更有优势的移动边缘计算服务器。移动边缘计算服务器在处理。
30、其接收的数据过程中会产生相应的成本cs(t)。移动边缘计算服务器的占有率指该移动边缘计算服务器处理的总数据量除以在该SDN环境下支持的所有移动边缘计算服务器在总时间周期T内处理的总数据量移动边缘计算服务器的占有率越高其声誉也会同样升高。每个移动边缘计算服务器的数据处理能力为BsMAX，其在时隙t中处理的数据总量与其数据处理能力之比为该移动边缘计算服务器该时刻的拥塞度为：00910092故移动边缘计算服务器的声誉可表示为：00930094上式中第一部分表示其他所有移动边缘计算服务器的平均折扣价格与当前移动边缘计算服务器的平均折扣价格之比，称之为当前移动边缘计算服务器向移动用户提供计算服务的相对价。
31、格，第二部分表示为移动边缘计算服务器服务用户的拥塞程度，第三部分表示移动用户计算需求的占有率。w1、w2、w3为三部分的权重且w1+w2+w31说明书6/10 页9CN 116506896 A90095移动边缘计算服务器的收益与其声明的价格和提供的折扣相关：0096REVs(t)(1fs(t)ps(t)uUbu,s(t)(1.7)0097移动边缘计算服务器的成本为：0098Cs(t)cs(t)uUbu,s(t)(1.8)0099移动边缘计算服务器的经济利润为其收益与成本的差：0100Ps(t)REVs(t)Cs(t)(1fs(t)ps(t)uUbu,s(t)cs(t)uUbu,s(t)(1.9。
32、)0101强化学习是一种从环境状态到动作映射的学习，以使动作从环境中获得的累积奖赏值最大。通过不断地尝试与试错(trialanderror)来更新最优行为策略。SDN控制器中，将移动用户视为随机学习自动机，可以感知网络的环境并根据它们过去的经验做出下一阶段的决定。在每个时隙t中，移动用户可以选择由某个移动边缘计算服务器提供服务，移动用户在时隙t的选择动作集合为a(t)a1,.,as,.,aS。SDN控制器掌握移动用户卸载数据的信息bu,s(t)和移动边缘计算服务器公布的价格ps(t)。以及移动边缘计算服务器的声誉Rs(t)。同时SDN控制器将移动边缘计算服务器的声誉进行归一化，作为强化学习过程。
33、中的奖励函数01020103奖励函数rews(t),0rews(t)1表示移动用户选择将其数据卸载到移动边缘计算服务器可能获得的潜在奖励。根据随机学习自动机理论，移动用户的动作概率向量为Pru(t)Pru,1(t),.,Pru,s(t),.,Pru,S(t)，其中Pru,s(t)定义为移动用户选择某个移动边缘计算服务器卸载其数据的概率。基于随机学习自动机理论，定义在SDN控制器上更新移动用户动作概率的规则如下：0104Pru,s(t+1)Pru,s(t)brews(t),s(t+1)s(t)(1.11)0105Pru,s(t+1)Pru,s(t)+brews(t)(1Pru,s(t),s(t+。
34、1)s(t)(1.12)0106其中0b1表示强化学习的学习参数，实际中代表移动用户选择移动边缘计算服务器卸载数据的速度。式(1.11)表示用户在下一个时隙选择与当前时隙不同的移动边缘计算服务器卸载数据的概率，式(1.12)表示用户继续由同一移动边缘计算服务器提供计算卸载服务的概率。移动用户的初始化概率为0107按照强化学习随机学习自动机的强化学习技术，每个移动用户都选择了一个移动边缘计算服务器来卸载其计算密集型业务的数据，每个移动边缘计算服务器的目标是通过处理用户的数据来实现自己的利润最大化，而每个移动用户的目标是通过向选定的移动边缘计算服务器卸载最优的数据量来实现其效用函数所示的满意度最大。
35、化。综上所述，原优化问题被转化为一个双层优化问题:010801090110移动边缘计算服务器的最优价格p(t)*和移动用户的最优数据卸载b(t)*是相互依赖说明书7/10 页10CN 116506896 A10的，因此将上述的联合优化问题转化为一个双层优化框架。首先，移动用户使用非合作博弈的方式解决个人效用函数的优化问题，从而来确定自己的最佳数据卸载量b(t)*。其次移动边缘计算服务器根据移动用户的数据卸载，通过解决优化问题来确定它们的最优公布价格p(t)*。0111为了确定每个移动用户在时隙t卸载到移动边缘计算服务器的最优数据卸载bu,s(t)，引入博弈论的方法，在移动用户之间建立非合作博弈。
36、模型移动用户之间相互博弈以确定最优卸载的数据量，博弈G由三部分构成，分别是参与计算卸载的移动用户U1,.,u,.,U、移动用户的卸载策略集合Au(t)0,Iu(t)、移动用户的效用函数集合Uu(t)。在博弈过程中，每个移动用户都有最大化其效用函数的动机，但同时效用函数收到约束条件的限制。01120113s.t.0bu，s(t)Iu(t)0114当博弈进入纳什均衡点后，所有移动用户没有动机改变自己的卸载策略，系统趋于稳定，此时得到b(t)*0115由上文式(1.4)中所述，移动用户的效用函数为：01160117函数Uu(t)(bu,s(t)在自变量bu,s(t)中连续，将函数Uu(t)对自变量b。
37、u,s(t)求二阶导数得：01180119故GU,Au(t),Uu(t)的纳什均衡点存在。令解得：01200121由于0bu,s(t)Iu(t)，故移动用户的最优卸载策略为：说明书8/10 页11CN 116506896 A1101220123s.t.0bu，s(t)Iu(t)0124移动边缘计算服务器计算服务的最优定价是为了在为移动用户提供边缘计算服务的情况下使移动边缘计算服务器的利润最大化。结合式(1.14)可知移动边缘计算服务器的最优定价问题是：01250126令01270128由于令则由此解得移动边缘计算服务器的最优定价为：01290130移动边缘计算服务器选择与计算卸载算法说明书9/。
38、10 页12CN 116506896 A1201310132本发明在面对多移动边缘计算服务器多移动用户的场景下的计算密集型业务，构建具有相互竞争的计算卸载市场。同时使用强化学习作为解决问题的手段，解决计算卸载市场中移动用户对移动边缘计算服务器的选择问题，形成了一种灵活动态的数据卸载机制。并解决移动用户的最优卸载数据量以及移动边缘计算服务器针对相关服务的定价问题，在实现MECS经济利益最大化同时完成移动用户的最优卸载策略。最终形成了一种存在竞争的MECS市场中对移动边缘计算服务器选择与计算卸载(Competition&Selection Computing Offloading，CSCO)算法。说明书10/10 页13CN 116506896 A13图1图2说明书附图1/1 页14CN 116506896 A14。