一种客观评价ELEARNING用户体验质量的方法.pdf

摘要
申请专利号：	CN201310393210.7	申请日：	2013.09.02
公开号：	CN103577535A	公开日：	2014.02.12
当前法律状态：	授权	有效性：	有权
法律详情：	授权\|\|\|著录事项变更IPC(主分类):G06F17/30变更事项:发明人变更前:吴茜媛张云强郑庆华曾彬变更后:吴茜媛刘敏张云强郑庆华曾彬\|\|\|实质审查的生效IPC(主分类):G06F 17/30申请日:20130902\|\|\|公开
IPC分类号：	G06F17/30	主分类号：	G06F17/30
申请人：	西安交通大学
发明人：	吴茜媛; 张云强; 郑庆华; 曾彬
地址：	710049 陕西省西安市咸宁西路28号
优先权：
专利代理机构：	西安通大专利代理有限责任公司 61200	代理人：	徐文权
PDF下载：	PDF下载

内容摘要

本发明公开了一种客观评价e-learning用户体验质量的方法，建立e-learning用户体验质量评价指标体系，提出指标体系中影响要素的量化方法，通过e-learning系统的用户日志数据，提取影响要素的特征值并进行量化评价，确定影响要素的权重，对影响要素进行加权求和，客观的评价用户体验质量。本发明基于客观日志数据，重点解决了e-learning用户体验质量影响要素的定量分析、要素权重的确定等关键技术。与当前用户体验质量评价中普遍依赖问卷调查的主观评价方法相比，本发明可以评价单用户的e-learning用户体验质量，避免了组织主观问卷调查，可以依据用户日志数据客观的评价e-learning用户体验质量。

权利要求书

权利要求书
1.  一种客观评价e-learning用户体验质量的方法，其特征在于，包括以下步骤：
1）从用户日志中提取影响要素的特征值并进行定量计算，包括如下步骤：

1.  1）日志预处理：对原始用户日志进行预处理，生成含有用户标识信息、学习对象信息以及学习动作发生时间信息的用户学习日志数据集；

1.  2）用户学习序列识别：对用户学习日志数据集中每条日志记录进行用户学习序列识别，生成含有学习对象信息、学习动作发生时间信息的用户学习序列数据集；

1.  3）提取用户回访特征信息并计算用户回访率：遍历考查时间段内的用户学习序列数据集，统计用户有效访问系统的次数ny以及总计应访次数ny，按照式1）计算该用户回访率Rre；
其中，用户回访率表征用户再次使用e-learning系统服务的回访意愿强烈程度；用户回访率定义为用户在考查的时间段内用户有效访问系统的次数与总计应访次数的比值，用户回访率用符号Rre表示，量化方法如式1）所示：
Rre=100%,(nv-1)&GreaterEqual;nynv-1ny,(nv-1)<ny---1)]]>
式1）中：nv——用户有效访问系统的次数；ny——为总计应访次数；

1.  4）提取响应时间特征信息并计算响应速度：遍历考查时间段内的用户访问序列数据集，统计从用户请求到系统将响应页面呈现给用户的时长之和t，同时记录用户请求的总次数N，计算响应时间的均值然后利用式2）计算响应速度Dr；
其中，响应速度表征用户感觉到的系统响应快慢程度；响应速度定义为系统响应用户请求的快慢程度,响应速度用符号Dr表示，量化方法如式2）所示：
Dr=11+tr&OverBar;---2)]]>
式2）中：——响应时间的均值；t为从用户请求到系统将响应页面呈现给用户的时长之和；N为用户请求的总次数；

1.  5）提取导航清晰度特征信息并计算导航清晰度：遍历考查时间段内的用户访问序列数据集，提取学习对象信息，并判定学习对象信息是否为目标单元或下一步要学习的知识单元，然后通过判定结果统计用户所访问的有效导航特征和无效导航特征，计算是否达到成功完成学习，当计算结果显示成功完成学习，则利用式3）计算导航清晰度Cn；
其中，导航清晰度表征用户在使用系统服务过程中对系统导航是否清晰的感受；导航清晰度定义为用户在一次任务过程中，成功完成任务时用户所访问的目标知识单元个数和用户所访问的下一步要学习的知识单元个数的总和与用户访问的所有知识单元个数的比值，导航清晰度用符号Cn表示，量化方法如式3）所示：
Cn=naim+nrelnt---3)]]>
式3）中：naim——用户所访问的目标知识单元个数；nrel——用户所访问的下一步要学习的知识单元个数；nt——用户访问的所有知识单元个数；

1.  6）提取正确点击特征信息并计算正确点击率；遍历考查时间段内的用户访问序列数据集，从学习日志的学习对象信息以及学习动作发生信息中提取正确点击特征，利用式4）计算该用户的正确点击率Rn；
其中，正确点击率表征用户与系统进行人机交互过程中，系统设计符合用户使用习惯的特性以及容易学习的特性；正确点击率定义为用户在一次任务过程中正确点击次数占总点击次数的比例，正确点击率用符号Rn表示，量化方法如式4）所示：
Rn=1-nmnc---4)]]>
式4）中：nm——为错误点击次数；nc——为总点击次数；
2）使用Delphi方法确定影响要素的权重，按照权重对影响要素进行加权求和，计算出e-learning用户体验质量Qe。

2.  根据权利要求1所述的客观评价e-learning用户体验质量方法，其特征在于，步骤1.1）中日志预处理的方法如下：
a）从用户日志的一条日志记录中提取出用户标识信息、学习对象信息以及学习动作发生时间信息；然后判断提取的用户标识信息是否为已有的用户，如果是，则将用户标识信息记录到相应的用户标识中；如果否，则建立新的用户标识；将提取的学习对象信息记录到相应的用户标识所在的数据记录中，将提取的学习动作发生时间信息记录到相应的用户标识所在的数据记录中；
b）将用户标识中的信息记入到用户学习日志数据集；
c）在完成该条日志记录的预处理后，判断该条日志记录是否为最后一条，如果是，则完成日志预处理；如果否，则返回步骤a）读取下一条日志。

3.  根据权利要求2所述的客观评价e-learning用户体验质量方法，其特征在于：所述的步骤a）中提取的学习动作发生时间信息经过时间格式转换后记录到相应的用户标识中。

4.  根据权利要求1或2所述的客观评价e-learning用户体验质量方法，其特征在于，步骤1.2）中用户学习序列识别的方法如下：
a）从用户学习日志数据集中读取一条日志记录，然后分别提取学习对象信息和学习动作发生时间信息，将提取的学习对象信息记录到学习序列中，判断学习动作发生时间信息是否属于同一学习序列，如果是，将提取的学习动作发生时间信息记录到学习序列中，如果不是，将提取的学习动作发生时间信息所对应的学习序列设置为新的学习序列并记录到学习序列中；
b）从提取的学习动作发生时间信息中提取学习时长信息，判断学习时长信息中的学习时长是否超过学习时长阈值；如果是，则将该学习时长设置为平均学习时长，然后记录到学习序列；如果否，则将该学习时长记录到学习序列；
c）将学习序列中的信息记入用户学习序列数据集；然后判断日志记录是否为最后一条，如果是，则完成用户学习序列识别；如果否，则返回步骤a）读取下一条日志记录。

5.  根据权利要求4所述的客观评价e-learning用户体验质量方法，其特征在于，步骤1.4）从学习日志的学习动作发生时间信息中统计从用户请求到系统将响应页面呈现给用户的时长之和t，同时记录用户请求的总次数N，计算响应时间的均值然后利用式2）计算响应速度Dr的方法为：
a）从用户学习序列数据集中读取一个用户学习序列；
b）从该用户学习序列中读取一条学习日志，提取响应时间特征信息；
c）判断学习日志是否为最后一条；如果是，利用式2）计算该条学习日志的响应速度Dr并将该响应速度Dr记录到响应速度数据库，然后转到步骤d）；如果否，则返回步骤b）读取下一条学习日志；
d）判断用户学习序列是否为最后一条；如果是，则结束响应速度Dr的计算；如果否，则返回步骤a）读取下一条用户学习序列。

6.  根据权利要求1或2所述的客观评价e-learning用户体验质量方法，其特征在于，步骤1.3）从学习日志的学习动作发生时间信息中统计用户的有效来访次数nv以及总计应访次数ny，按照式1）计算该用户回访率Rre的方法为：
a)从用户学习序列数据集中读取一个用户学习序列；
b）从该用户学习序列中读取一条学习日志，提取用户有效回访特征信息；
c）判断学习日志是否为最后一条；如果是，则利用式1）计算用户回访率Rre并将该用户回访率Rre记录到用户回访率数据库中，然后转到步骤d）；如果否，则返回步骤b）读取下一条学习日志；
如果否，则返回步骤b）读取下一条学习日志；
d）判断用户学习序列是否为最后一条，如果是，则结束用户回访率Rre的计算；如果否，则返回步骤a）读取下一条用户学习序列。

7.  根据权利要求1或2所述的客观评价e-learning用户体验质量方法，其特征在于，步骤1.5）中从学习日志的学习对象信息中提取知识单元，并判定知识单元是否为目标或下一步要学习的知识单元，通过判定结果统计用户所访问的目标知识单元个数naim和用户所访问的下一步要学习的知识单元个数nrel，利用式3）计算导航清晰度Cn的方法为：
a）从用户学习序列数据集中读取一个用户学习序列；
b）从该用户学习序列中读取一条学习日志，提取学习对象信息；
c)判断提所提取的学习对象信息是否为目标单元或下一步要学习的知识单元；如果是，则将该学习对象信息记录为有效导航特征,然后转到步骤d）；如果否，则将该学习对象信息记录为无效导航特征；然后转到步骤d）；
d）判断记录的有效导航特征或无效导航特征是否成功完成学习；
如果是，则利用式3）计算导航清晰度Cn并记录到导航清晰度数据库中，然后转到步骤f）；如果否，则转到步骤e）；
e）判断学习日志是否为最后一条，如果是，则利用式3）计算计算导航清晰度Cn并记录到导航清晰度数据库中，然后转到步骤f）；如果否，则读取下一条学习日志，返回步骤b）读取下一条学习日志；
f）判断用户学习序列是否为最后一条；如果是，则结束导航清晰度Cn的计算；如果否，则返回步骤a）读取下一个用户学习序列。

8.  根据权利要求1或2所述的客观评价e-learning用户体验质量方法，其特征在于，步骤1.6）中从学习日志的学习对象信息以及学习动作发生信息中判断正确点击特征，并统计错误点击次数nm，利用式4）计算该用户的正确点击率Rn的方法为：
a）从用户学习序列数据集中读取一个用户学习序列；
b）从该用户学习序列中读取一条学习日志，提取学习对象信息和点击时间信息；
c）判断点击时间信息是否符合正确点击特征；如果是，则记录为正确点击，转入步骤d）；如果否，则记录为错误点击，则转入步骤d）；
d）判断学习日志是否为最后一条，如果是，则利用式4）计算正确点击率Rn并记录到正确点击率数据库，然后转入步骤e）；如果否，则返回步骤b）读取下一条学习日志；
e）判断用户学习序列是否为最后一条，如果是，则结束正确点击率Rn的计算，如果否，则返回步骤a）读取下一个用户学习序列。

9.  根据权利要求1所述的客观评价e-learning用户体验质量方法，其特征在于：所述的步骤2）中权重对影响要素进行加权求和的方法如式5）所示：
Qe=RreDrCnRnW=RreDrCnRn0.750.14890.06900.0321---5)]]>
式5）中，W——权重向量，且WΤ=[0.75 0.1489 0.0690 0.0321]。

说明书

说明书一种客观评价e-learning用户体验质量的方法
技术领域
本发明涉及一种用户体验质量评价方法，特别涉及一种客观评价e-learning用户体验质量的方法。
背景技术
随着服务经济的发展，用户体验成为网络服务能否被接受的关键。对用户体验质量的评价越来越受到研究者的重视，成为人机交互领域的研究热点。当前研究也取得了显著的成就，通过建立合适的评价指标体系对用户进行抽样问卷调查，对回收的问卷进行数据分析，从网站的角度评价整个用户群的整体用户体验质量，从而为网络服务的改进和完善提供帮助。使用问卷调查评价用户体验质量的方法存在费时费力等问题，并且不能从用户的角度评价单用户的用户体验质量。目前评价用户体验质量的方法如下：
第一种常见的用户体验质量评价方法是使用因子分析或结构方程模型对抽样问卷调查的数据进行分析。因子分析和结构方程模型可以分析影响用户体验质量的关键要素，从而指导网络服务的改进，但对于问卷调查结果的准确性要求较高。
另外一种常见的评价方法是抽样问卷调查结合用户行为日志，通过分析用户行为日志对部分影响要素进行评价，结合问卷调查对其它影响要素进行评价，进而评价用户体验质量。
上述现有的用户体验质量评价方法存在以下三方面的问题：
一、不能从用户的角度评价单用户的用户体验质量；
二、评价过程依赖主观问卷调查，人力物力消耗大；
三、不能定量的评价用户体验质量。
发明内容
本发明的目的在于提供一种客观评价e-learning用户体验质量的方法，是解决现有评价方法依赖主观问卷调查的问题，依据用户日志、为达到以上目的，本发明采用的技术方案包括以下步骤：
1）从用户日志中提取影响要素的特征值并进行定量计算，包括如下步骤：
1.1）日志预处理：对原始用户日志进行预处理，生成含有用户标识信息、学习对象信息以及学习动作发生时间信息的用户学习日志数据集；
1.2）用户学习序列识别：对用户学习日志数据集中每条日志记录进行用户学习序列识别，生成含有学习对象信息、学习动作发生时间信息的用户学习序列数据集；
1.3）提取用户回访特征信息并计算用户回访率：遍历考查时间段内的用户学习序列数据集，统计用户有效访问系统的次数ny以及总计应访次数ny，按照式1）计算该用户回访率Rre；
其中，用户回访率表征用户再次使用e-learning系统服务的回访意愿强烈程度；用户回访率定义为用户在考查的时间段内用户有效访问系统的次数与总计应访次数的比值，用户回访率用符号Rre表示，量化方法如式1）所示：
Rre=100%,(nv-1)&GreaterEqual;nynv-1ny,(nv-1)<ny---1)]]>
式1）中：nv——用户有效访问系统的次数；ny——为总计应访次数；
1.4）提取响应时间特征信息并计算响应速度：遍历考查时间段内的用户访问序列数据集，统计从用户请求到系统将响应页面呈现给用户的时长之和t，同时记录用户请求的总次数N，计算响应时间的均值然后利用式2）计算响应速度Dr；
其中，响应速度表征用户感觉到的系统响应快慢程度；响应速度定义为系统响应用户请求的快慢程度,响应速度用符号Dr表示，量化方法如式2）所示：
Dr=11+tr&OverBar;---2)]]>
式2）中：——响应时间的均值；t为从用户请求到系统将响应页面呈现给用户的时长之和；N为用户请求的总次数；
1.5）提取导航清晰度特征信息并计算导航清晰度：遍历考查时间段内的用户访问序列数据集，提取学习对象信息，并判定学习对象信息是否为目标单元或下一步要学习的知识单元，然后通过判定结果统计用户所访问的有效导航特征和无效导航特征，计算是否达到成功完成学习，当计算结果显示成功完成学习，则利用式3）计算导航清晰度Cn；
其中，导航清晰度表征用户在使用系统服务过程中对系统导航是否清晰的感受；导航清晰度定义为用户在一次任务过程中，成功完成任务时用户所访问的目标知识单元个数和用户所访问的下一步要学习的知识单元个数的总和与用户访问的所有知识单元个数的比值，导航清晰度用符号Cn表示，量化方法如式3）所示：
Cn=naim+nrelnt---3)]]>
式3）中：naim——用户所访问的目标知识单元个数；nrel——用户所访问的下一步要学习的知识单元个数；nt——用户访问的所有知识单元个数；
1.6）提取正确点击特征信息并计算正确点击率；遍历考查时间段内的用户访问序列数据集，从学习日志的学习对象信息以及学习动作发生信息中提取正确点击特征，利用式4）计算该用户的正确点击率Rn；
其中，正确点击率表征用户与系统进行人机交互过程中，系统设计符合用户使用习惯的特性以及容易学习的特性；正确点击率定义为用户在一次任务过程中正确点击次数占总点击次数的比例，正确点击率用符号Rn表示，量化方法如式4）所示：
Rn=1-nmnc---4)]]>
式4）中：nm——为错误点击次数；nc——为总点击次数；
2）使用Delphi方法确定影响要素的权重，按照权重对影响要素进行加权求和，计算出e-learning用户体验质量Qe。
步骤1.1）中日志预处理的方法如下：
a）从用户日志的一条日志记录中提取出用户标识信息、学习对象信息以及学习动作发生时间信息；然后判断提取的用户标识信息是否为已有的用户，如果是，则将用户标识信息记录到相应的用户标识中；如果否，则建立新的用户标识；将提取的学习对象信息记录到相应的用户标识所在的数据记录中，将提取的学习动作发生时间信息记录到相应的用户标识所在的数据记录中；
b）将用户标识中的信息记入到用户学习日志数据集；
c）在完成该条日志记录的预处理后，判断该条日志记录是否为最后一条，如果是，则完成日志预处理；如果否，则返回步骤a）读取下一条日志。
所述的步骤a）中提取的学习动作发生时间信息经过时间格式转换后记录到相应的用户标识中。
步骤1.2）中用户学习序列识别的方法如下：
a）从用户学习日志数据集中读取一条日志记录，然后分别提取学习对象信息和学习动作发生时间信息，将提取的学习对象信息记录到学习序列中，判断学习动作发生时间信息是否属于同一学习序列，如果是，将提取的学习动作发生时间信息记录到学习序列中，如果不是，将提取的学习动作发生时间信息所对应的学习序列设置为新的学习序列并记录到学习序列中；
b）从提取的学习动作发生时间信息中提取学习时长信息，判断学习时长信息中的学习时长是否超过学习时长阈值；如果是，则将该学习时长设置为平均学习时长，然后记录到学习序列；如果否，则将该学习时长记录到学习序列；
c）将学习序列中的信息记入用户学习序列数据集；然后判断日志记录是否为最后一条，如果是，则完成用户学习序列识别；如果否，则返回步骤a）读取下一条日志记录。
步骤1.4）从学习日志的学习动作发生时间信息中统计从用户请求到系统将响应页面呈现给用户的时长之和t，同时记录用户请求的总次数N，计算响应时间的均值然后利用式2）计算响应速度Dr的方法为：
a）从用户学习序列数据集中读取一个用户学习序列；
b）从该用户学习序列中读取一条学习日志，提取响应时间特征信息；
c）判断学习日志是否为最后一条；如果是，利用式2）计算该条学习日志的响应速度Dr并将该响应速度Dr记录到响应速度数据库，然后转到步骤d）；如果否，则返回步骤b）读取下一条学习日志；
d）判断用户学习序列是否为最后一条；如果是，则结束响应速度Dr的计算；如果否，则返回步骤a）读取下一条用户学习序列。
步骤1.3）从学习日志的学习动作发生时间信息中统计用户的有效来访次数nv以及总计应访次数ny，按照式1）计算该用户回访率Rre的方法为：
a)从用户学习序列数据集中读取一个用户学习序列；
b）从该用户学习序列中读取一条学习日志，提取用户有效回访特征信息；
c）判断学习日志是否为最后一条；如果是，则利用式1）计算用户回访率Rre并将该用户回访率Rre记录到用户回访率数据库中，然后转到步骤d）；如果否，则返回步骤b）读取下一条学习日志；
如果否，则返回步骤b）读取下一条学习日志；
d）判断用户学习序列是否为最后一条，如果是，则结束用户回访率Rre的计算；如果否，则返回步骤a）读取下一条用户学习序列。
步骤1.5）中从学习日志的学习对象信息中提取知识单元，并判定知识单元是否为目标或下一步要学习的知识单元，通过判定结果统计用户所访问的目标知识单元个数naim和用户所访问的下一步要学习的知识单元个数nrel，利用式3）计算导航清晰度Cn的方法为：
a）从用户学习序列数据集中读取一个用户学习序列；
b）从该用户学习序列中读取一条学习日志，提取学习对象信息；
c)判断提所提取的学习对象信息是否为目标单元或下一步要学习的知识单元；如果是，则将该学习对象信息记录为有效导航特征,然后转到步骤d）；如果否，则将该学习对象信息记录为无效导航特征；然后转到步骤d）；
d）判断记录的有效导航特征或无效导航特征是否成功完成学习；
如果是，则利用式3）计算导航清晰度Cn并记录到导航清晰度数据库中，然后转到步骤f）；如果否，则转到步骤e）；
e）判断学习日志是否为最后一条，如果是，则利用式3）计算计算导航清晰度Cn并记录到导航清晰度数据库中，然后转到步骤f）；如果否，则读取下一条学习日志，返回步骤b）读取下一条学习日志；
f）判断用户学习序列是否为最后一条；如果是，则结束导航清晰度Cn的计算；如果否，则返回步骤a）读取下一个用户学习序列。
步骤1.6）中从学习日志的学习对象信息以及学习动作发生信息中判断正确点击特征，并统计错误点击次数nm，利用式4）计算该用户的正确点击率Rn的方法为：
a）从用户学习序列数据集中读取一个用户学习序列；
b）从该用户学习序列中读取一条学习日志，提取学习对象信息和点击时间信息；
c）判断点击时间信息是否符合正确点击特征；如果是，则记录为正确点击，转入步骤d）；如果否，则记录为错误点击，则转入步骤d）；
d）判断学习日志是否为最后一条，如果是，则利用式4）计算正确点击率Rn并记录到正确点击率数据库，然后转入步骤e）；如果否，则返回步骤b）读取下一条学习日志；
e）判断用户学习序列是否为最后一条，如果是，则结束正确点击率Rn的计算，如果否，则返回步骤a）读取下一个用户学习序列。
所述的步骤2）中权重对影响要素进行加权求和的方法如式5）所示：
Qe=RreDrCnRnW=RreDrCnRn0.750.14890.06900.0321---5)]]>
式5）中，W——权重向量，且WΤ=[0.75 0.1489 0.0690 0.0321]。
与现有技术相比，本发明的有益效果为：
1、本发明针对当前信息服务系统的用户体验评价多采用问卷调查、访谈等方式，存在费时费力、主观期许性偏差等问题，本发明以信息服务的典型系统e-Learning为应用背景，提出一种根据用户的日志数据、客观评价用户体验质量的自动化方法，该方法最终将e-learning用户体验质量量化，以定量的方式评价e-learning用户体验质量，解决了采用问卷调查、访谈等方式依赖主观问卷调查，人力物力消耗大的问题，具有更高的计算效率、精度和自动化程度。
2、本发明提出的客观评价e-learning用户体验质量的方法涵盖了用户体验的评价指标体系、特征选择和量化计算多个重要环节，具有强的系统性，指标体系定义客观、简洁、实用，特征选择和量化计算方法可操作性强、便于实施。
3、本发明提出的客观评价用户体验质量的方法中的用户体验评价指标体系，是基于信息服务系统的共同特征构建的，包含有信息系统的典型用户体验评价指标，具有通用性，可移植性高，针对不同的信息服务系统的用户体验评价，可以灵活地进行领域定制。
附图说明
图1为本发明方法的整体框架图；
图2为本发明建立的e-learning用户体验质量评价指标体系层次图；
图3为本发明影响要素特征提取和定量计算框架图；
图4为本发明方法中日志预处理流程图；
图5为本发明方法中用户学习序列识别流程图；
图6为本发明方法中用户回访特征提取和计算流程图；
图7为本发明方法中响应速度特征提取和计算流程图；
图8为本发明方法中导航清晰度特征提取和计算流程图；
图9为本发明方法中正确点击特征提取和计算流程图。
具体实施方式
为了更清楚的理解本发明，以下结合附图对本发明作进一步的详细描述。
如图1所示，分析影响e-learning用户体验质量的要素，建立用户体验质量评价指标体系，提出影响要素的定义；其次是分析用户日志，提取影响要素的特征信息进行定量计算，确定影响要素的权重，定量计算用户体验质量。
下面分步骤结合附图对本发明做进一步详细说明。
1）建立e-learning用户体验质量评价指标体系：
参见图2，本发明的e-learning用户体验质量评价指标体系分为目标层、指标层以及要素层，其中，目标层为e-learning用户体验质量；分析影响e-learning用户体验质量的指标和要素进行分析，将影响e-learning用户体验质量的指标分为有用性指标和易用性指标，有用性指标和易用性指标构了指标层，使用有用性指标和易用性指标来评价目标层的e-learning用户体验质量，有用性指标是指系统提供的知识资源和学习服务对于用户来说是有用的；易用性指标是指这些服务对于用户来说容易获取，简单易用。有用性指标和易用性指标可以再细分成e-learning用户体验质量的影响要素，例如用户回访率、响应速度、导航清晰度和正确点击率；用户回访率、响应速度、导航清晰度和正确点击率构成了e-learning用户体验质量的要素层；其中，使用用户回访率来评价有用性指标，使用响应速度、导航清晰度、正确点击率来评价易用性指标；
2)对用户回访率、响应速度、导航清晰度以及正确点击率分别进行定义和量化；
a）本发明方法使用用户回访率表征用户再次使用e-learning系统服务的回访意愿强烈程度，用以度量有用性指标。用户回访率定义为用户在考查的时间段内用户有效访问系统的次数与总计应访次数的比值，用户回访率用符号Rre表示，量化方法如式1）所示：
Rre=100%,(nv-1)&GreaterEqual;nynv-1ny,(nv-1)<ny---1)]]>
式式1）中：nv——用户有效访问系统的次数；ny——为总计应访次数；另外，用户有效访问系统的次数中的“有效”是指若当前的点击学习动作与上次的点击不是在同一天，则认为是“有效”的。
b）本发明方法使用响应速度表征用户感觉到的系统响应快慢程度，响应速度定义为系统响应用户请求的快慢程度，响应速度用符号Dr表示，量化方法如式2）所示：
Dr=11+tr&OverBar;---2)]]>
式2）中，——响应时间的均值；t为从用户请求到系统将响应页面呈现给用户的时长之和；N为用户请求的总次数；响应时间的均值可以从用户日志中提取和计算。
c）本发明方法使用导航清晰度表征用户在使用系统服务过程中对系统导航是否清晰的感受；导航清晰度定义为用户在一次任务过程中，成功完成任务时所访问的目标和下一步要学习的知识单元总数与访问的所有知识单元数的比值，导航清晰度用符号Cn表示，量化方法如式3）所示：
Cn=naim+nrelnt---3)]]>
式3）中：naim——用户所访问的目标知识单元个数；nrel——用户所访问的下一步要学习的知识单元个数；nt——用户访问的所有知识单元个数；另外，成功完成任务是指完成规定的学习任务。
d）本发明方法使用正确点击率表征用户与系统进行人机交互过程中，系统设计符合用户使用习惯的特性以及容易学习的特性。正确点击率定义为用户在一次任务过程中正确点击次数占总点击次数的比例，正确点击率用符号Rn表示，量化方法如式4）所示：
Rn=1-nmnc---4)]]>
式4）中：nm——为错误点击次数；nc——为总点击次数；另外，正确点击率是指针对点击动作是针对学习对象信息而发生的。
3）从用户日志中提取影响要素的特征值并进行定量计算（参见图3），包括如下步骤：
3.1）日志预处理：
本发明方法中日志预处理的目的是过滤大量的用户日志，从中提取有效的信息，然后将所提取的有效信息按照用户表示归类，形成用户日志数据集；所提取的有效的信息主要包括：1.学习者自身信息，例如用户标识信息；2.学习对象信息，例如学习者在e-learning系统中所进行的登录、退出、点击页面链接等操作以及学习者所学习知识单元的信息（如知识单元的名称）；3、学习动作发生的时间。
从原始用户日志中提取的有效信息只是所需信息的一部分，其它信息需要对原始日志进行处理而获取，日志预处理流程图如图4所示，具体包括以下步骤：
a）从用户日志的一条日志记录中提取出用户标识信息、学习对象信息以及学习动作发生时间信息；然后判断提取的用户标识信息是否为已有的用户，如果是，则将用户标识信息记录到相应的用户标识中；如果否，则建立新的用户标识；将提取的学习对象信息记录到相应的用户标识所在的数据记录中，将提取的学习动作发生时间信息息经过时间格式转换记录到相应的用户标识所在的数据记录中；
b）将用户标识中的信息记入到用户学习日志数据集；
c）在完成该条日志记录的预处理后，判断该条日志记录是否为最后一条，如果是，则完成日志预处理；如果否，则返回步骤a）读取下一条日志。
3.2）用户学习序列识别：对用户学习日志数据集中每条日志记录进行用户学习序列识别，生成含有学习对象信息、学习动作发生时间信息的用户学习序列数据集；用户学习序列识别的流程图如图5所示，具体步骤如下所示：
a）从用户学习日志数据集中读取一条日志记录，然后分别提取学习对象信息和学习动作发生时间信息，将提取的学习对象信息记录到学习序列中，判断学习动作发生时间信息是否属于同一学习序列，如果是，将提取的学习动作发生时间信息记录到学习序列中，如果不是，将提取的学习动作发生时间信息所对应的学习序列设置为新的学习序列并记录到学习序列中；具体的，从用户学习序列数据集中提取学习对象信息为知识单元标识；另外，一天时间段内发生的所有动作为同一学习序列；
b）从提取的学习动作发生时间信息中提取学习时长信息，判断学习时长信息中的学习时长是否超过学习时长阈值；如果是，则认为该用户的学习过程中有中断，该知识单元的学习时长不可知，将该学习时长设置为平均学习时长，然后记录到学习序列；如果否，则将该学习时长记录到学习序列；其中，学习时长阈值为600s；学习时长信息是指相邻两次动作发生时间的时间差；
c）将学习序列中的信息记入用户学习序列数据集；然后判断日志记录是否为最后一条，如果是，则完成用户学习序列识别；如果否，则返回步骤a）读取下一条日志记录。
3.3）提取用户回访特征信息并计算用户回访率：
本发明提取用户回访率的特征信息需要遍历考查时间段内的用户学习序列，统计用户有效访问系统的次数nv以及总计应访次数ny，按照式1）计算用户回访率Rre。用户回访率特征提取和计算流程图如图6所示，其具体方法如下：
a)从用户学习序列数据集中读取一个用户学习序列；
b）从该用户学习序列中读取一条学习日志，提取用户有效回访特征信息；
c）判断学习日志是否为最后一条；如果是，则利用式1）计算用户回访率Rre并将该用户回访率Rre记录到用户回访率数据库中，然后转到步骤d）；如果否，则返回步骤b）读取下一条学习日志；
d）判断用户学习序列是否为最后一条，如果是，则结束用户回访率Rre的计算；如果否，则返回步骤a）读取下一条用户学习序列。
3.4）提取响应时间特征信息并计算响应速度：
本发明提取响应速度的特征，要遍历用户访问序列数据集，统计从用户请求到系统将响应页面完全呈现给用户的时长之和t，同时记录用户请求的总次数N，然后计算响应时间的均值响应速度的特征提取和计算流程图如图7所示，具体方法如下：
a）从用户学习序列数据集中读取一个用户学习序列；
b）从该用户学习序列中读取一条学习日志，提取响应时间特征信息；
c）判断学习日志是否为最后一条；如果是，利用式2）计算该条学习日志的响应速度Dr并将该响应速度Dr记录到响应速度数据库，然后转到步骤d）；如果否，则返回步骤b）读取下一条学习日志；
d）判断用户学习序列是否为最后一条；如果是，则结束响应速度Dr的计算；如果否，则返回步骤a）读取下一条用户学习序列。
3.5）提取导航清晰度特征信息并计算导航清晰度：
本发明提取导航清晰度的特征需要遍历考查时间段内的用户访问序列数据集，提取导航清晰度的特征主要包括导航特征提取和有效性判定，任务成功判定，则进行导航清晰度计算和记录，当用户一次学习任务完成后，用户进行的其它学习行为不计入导航特征。
具体的，遍历考查时间段内的用户访问序列数据集，提取学习对象信息，并判定学习对象信息是否为目标单元或下一步要学习的知识单元，然后通过判定结果统计用户所访问的有效导航特征和无效导航特征，计算是否达到成功完成学习，当计算结果显示成功完成学习，则利用式3）计算导航清晰度Cn；导航清晰度的特征提取和计算流程如图8所示，具体方法如下：
a）从用户学习序列数据集中读取一个用户学习序列；
b）从该用户学习序列中读取一条学习日志，提取学习对象信息；
c)判断提所提取的学习对象信息是否为目标单元或下一步要学习的知识单元；如果是，则将该学习对象信息记录为有效导航特征,然后转到步骤d）；如果否，则将该学习对象信息记录为无效导航特征；然后转到步骤d）；
d）判断记录的有效导航特征或无效导航特征是否成功完成学习；
如果是，则利用式3）计算导航清晰度Cn并记录到导航清晰度数据库中，然后转到步骤f）；如果否，则转到步骤e）；
e）判断学习日志是否为最后一条，如果是，则利用式3）计算计算导航清晰度Cn并记录到导航清晰度数据库中，然后转到步骤f）；如果否，则读取下一条学习日志，返回步骤b）读取下一条学习日志；
f）判断用户学习序列是否为最后一条；如果是，则结束导航清晰度Cn的计算；如果否，则返回步骤a）读取下一个用户学习序列。
3.6）提取正确点击特征信息并计算正确点击率；
本发明提取正确点击特征信息需要遍历考查时间段内的用户访问序列数据集，提取的正确点击率的特征主要包括正确点击特征的判断和统计，利用式4）计算该用户的正确点击率Rn；
具体的，遍历考查时间段内的用户访问序列数据集，从学习日志的学习对象信息以及学习动作发生信息中提取正确点击特征，利用式4）计算该用户的正确点击率Rn；正确点击率的特征提取和计算流程如图9所示,具体方法如下：
a）从用户学习序列数据集中读取一个用户学习序列；
b）从该用户学习序列中读取一条学习日志，提取学习对象信息和学习动作发生信息；
c）判断点击时间信息是否符合正确点击特征；如果是，则记录为正确点击，转入步骤d）；如果否，则记录为错误点击，则转入步骤d）；
d）判断学习日志是否为最后一条，如果是，则利用式4）计算正确点击率Rn并记录到正确点击率数据库，然后转入步骤e）；如果否，则返回步骤b）读取下一条学习日志；
e）判断用户学习序列是否为最后一条，如果是，则结束正确点击率Rn的计算，如果否，则返回步骤a）读取下一个用户学习序列。
4）使用Delphi方法确定影响要素的权重，按照权重对影响要素进行加权求和，计算出e-learning用户体验质量Qe，根据计算的Qe的大小评价e-learning用户体验质量；
e-learning用户体验质量Qe的计算公式如式5）所示：
Qe=RreDrCnRnW=RreDrCnRn0.750.14890.06900.0321---5)]]>
式5）中，W——权重向量，且WΤ=[0.75 0.1489 0.0690 0.0321]。
本发明是从单个用户的角度出发的，还没有研究到整体用户群的情况，因此，本发明计算出的各个影响要素是单个用户的情况,不需要累加，最后的e-learning用户体验质量Qe也是指单个用户的。

资源描述

《一种客观评价ELEARNING用户体验质量的方法.pdf》由会员分享，可在线阅读，更多相关《一种客观评价ELEARNING用户体验质量的方法.pdf（20页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 103577535 A (43)申请公布日 2014.02.12 CN 103577535 A (21)申请号 201310393210.7 (22)申请日 2013.09.02 G06F 17/30(2006.01) (71)申请人西安交通大学地址 710049 陕西省西安市咸宁西路 28 号 (72)发明人吴茜媛张云强郑庆华曾彬 (74)专利代理机构西安通大专利代理有限责任公司 61200 代理人徐文权 (54) 发明名称一种客观评价 e-learning 用户体验质量的方法 (57) 摘要本发明公开了一种客观评价 e-learning 用。

2、户体验质量的方法，建立 e-learning 用户体验质量评价指标体系，提出指标体系中影响要素的量化方法，通过 e-learning 系统的用户日志数据，提取影响要素的特征值并进行量化评价，确定影响要素的权重，对影响要素进行加权求和，客观的评价用户体验质量。本发明基于客观日志数据，重点解决了 e-learning 用户体验质量影响要素的定量分析、要素权重的确定等关键技术。与当前用户体验质量评价中普遍依赖问卷调查的主观评价方法相比，本发明可以评价单用户的 e-learning 用户体验质量，避免了组织主观问卷调查，可以依据用户日志数据客观的评价 e。

3、-learning 用户体验质量。 (51)Int.Cl. 权利要求书 4 页说明书 9 页附图 6 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请权利要求书4页说明书9页附图6页 (10)申请公布号 CN 103577535 A CN 103577535 A 1/4 页 2 1. 一种客观评价 e-learning 用户体验质量的方法，其特征在于，包括以下步骤： 1）从用户日志中提取影响要素的特征值并进行定量计算，包括如下步骤： 1.1）日志预处理：对原始用户日志进行预处理，生成含有用户标识信息、学习对象信息以及学习动作发生时间信息的用户学。

4、习日志数据集； 1.2）用户学习序列识别：对用户学习日志数据集中每条日志记录进行用户学习序列识别，生成含有学习对象信息、学习动作发生时间信息的用户学习序列数据集； 1.3）提取用户回访特征信息并计算用户回访率：遍历考查时间段内的用户学习序列数据集，统计用户有效访问系统的次数 ny以及总计应访次数 ny，按照式 1）计算该用户回访率 Rre；其中，用户回访率表征用户再次使用 e-learning 系统服务的回访意愿强烈程度；用户回访率定义为用户在考查的时间段内用户有效访问系统的次数与总计应访次数的比值，用户回访率用符号 Rre表示，量化方法如式 1）。

5、所示：式 1）中： nv用户有效访问系统的次数； ny为总计应访次数； 1.4）提取响应时间特征信息并计算响应速度：遍历考查时间段内的用户访问序列数据集，统计从用户请求到系统将响应页面呈现给用户的时长之和 t，同时记录用户请求的总次数 N，计算响应时间的均值然后利用式 2）计算响应速度 Dr；其中，响应速度表征用户感觉到的系统响应快慢程度；响应速度定义为系统响应用户请求的快慢程度 , 响应速度用符号 Dr表示，量化方法如式 2）所示：式 2）中：响应时间的均值；t 为从用户请求到系统将响应页面呈现给用户的时长之和； N 为用户请求的。

6、总次数； 1.5）提取导航清晰度特征信息并计算导航清晰度：遍历考查时间段内的用户访问序列数据集，提取学习对象信息，并判定学习对象信息是否为目标单元或下一步要学习的知识单元，然后通过判定结果统计用户所访问的有效导航特征和无效导航特征，计算是否达到成功完成学习，当计算结果显示成功完成学习，则利用式 3）计算导航清晰度 Cn；其中，导航清晰度表征用户在使用系统服务过程中对系统导航是否清晰的感受；导航清晰度定义为用户在一次任务过程中，成功完成任务时用户所访问的目标知识单元个数和用户所访问的下一步要学习的知识单元个数的总和与用户访问的所有知识单元个数的比值，。

7、导航清晰度用符号 Cn表示，量化方法如式 3）所示：权利要求书 CN 103577535 A 2 2/4 页 3 式 3）中： naim用户所访问的目标知识单元个数； nrel用户所访问的下一步要学习的知识单元个数； nt用户访问的所有知识单元个数； 1.6）提取正确点击特征信息并计算正确点击率；遍历考查时间段内的用户访问序列数据集，从学习日志的学习对象信息以及学习动作发生信息中提取正确点击特征，利用式 4）计算该用户的正确点击率 Rn；其中，正确点击率表征用户与系统进行人机交互过程中，系统设计符合用户使用习惯的特性以及容易学习的特性；正确。

8、点击率定义为用户在一次任务过程中正确点击次数占总点击次数的比例，正确点击率用符号 Rn表示，量化方法如式 4）所示：式 4）中： nm为错误点击次数； nc为总点击次数； 2）使用 Delphi 方法确定影响要素的权重，按照权重对影响要素进行加权求和，计算出 e-learning 用户体验质量 Qe。 2. 根据权利要求 1 所述的客观评价 e-learning 用户体验质量方法，其特征在于，步骤 1.1）中日志预处理的方法如下： a）从用户日志的一条日志记录中提取出用户标识信息、学习对象信息以及学习动作发生时间信息；然后判断提取的用户标识信息是否为。

9、已有的用户，如果是，则将用户标识信息记录到相应的用户标识中；如果否，则建立新的用户标识；将提取的学习对象信息记录到相应的用户标识所在的数据记录中，将提取的学习动作发生时间信息记录到相应的用户标识所在的数据记录中； b）将用户标识中的信息记入到用户学习日志数据集； c）在完成该条日志记录的预处理后，判断该条日志记录是否为最后一条，如果是，则完成日志预处理；如果否，则返回步骤 a）读取下一条日志。 3. 根据权利要求 2 所述的客观评价 e-learning 用户体验质量方法，其特征在于：所述的步骤 a）中提取的学习动作发生时间信息经过时间格。

10、式转换后记录到相应的用户标识中。 4. 根据权利要求 1 或 2 所述的客观评价 e-learning 用户体验质量方法，其特征在于，步骤 1.2）中用户学习序列识别的方法如下： a）从用户学习日志数据集中读取一条日志记录，然后分别提取学习对象信息和学习动作发生时间信息，将提取的学习对象信息记录到学习序列中，判断学习动作发生时间信息是否属于同一学习序列，如果是，将提取的学习动作发生时间信息记录到学习序列中，如果不是，将提取的学习动作发生时间信息所对应的学习序列设置为新的学习序列并记录到学习序列中； b）从提取的学习动作发生时间信息中提取学习时长信息，判断学。

11、习时长信息中的学习时长是否超过学习时长阈值；如果是，则将该学习时长设置为平均学习时长，然后记录到学习序列；如果否，则将该学习时长记录到学习序列； c）将学习序列中的信息记入用户学习序列数据集；然后判断日志记录是否为最后一条，如果是，则完成用户学习序列识别；如果否，则返回步骤 a）读取下一条日志记录。 5. 根据权利要求 4 所述的客观评价 e-learning 用户体验质量方法，其特征在于，步骤 1.4）从学习日志的学习动作发生时间信息中统计从用户请求到系统将响应页面呈现给用权利要求书 CN 103577535 A 3 3/4 页 4 户。

12、的时长之和 t，同时记录用户请求的总次数 N，计算响应时间的均值然后利用式 2）计算响应速度 Dr的方法为： a）从用户学习序列数据集中读取一个用户学习序列； b）从该用户学习序列中读取一条学习日志，提取响应时间特征信息； c）判断学习日志是否为最后一条；如果是，利用式 2）计算该条学习日志的响应速度 Dr 并将该响应速度 Dr记录到响应速度数据库，然后转到步骤 d）；如果否，则返回步骤 b）读取下一条学习日志； d）判断用户学习序列是否为最后一条；如果是，则结束响应速度 Dr的计算；如果否，则返回步骤 a）读取下一条用户学习序列。。

13、 6. 根据权利要求 1 或 2 所述的客观评价 e-learning 用户体验质量方法，其特征在于，步骤 1.3）从学习日志的学习动作发生时间信息中统计用户的有效来访次数 nv以及总计应访次数 ny，按照式 1）计算该用户回访率 Rre的方法为： a) 从用户学习序列数据集中读取一个用户学习序列； b）从该用户学习序列中读取一条学习日志，提取用户有效回访特征信息； c）判断学习日志是否为最后一条；如果是，则利用式 1）计算用户回访率 Rre并将该用户回访率 Rre记录到用户回访率数据库中，然后转到步骤 d）；如果否，则返回步骤 b）读取下一条学习。

14、日志；如果否，则返回步骤 b）读取下一条学习日志； d）判断用户学习序列是否为最后一条，如果是，则结束用户回访率 Rre的计算；如果否，则返回步骤 a）读取下一条用户学习序列。 7. 根据权利要求 1 或 2 所述的客观评价 e-learning 用户体验质量方法，其特征在于，步骤 1.5）中从学习日志的学习对象信息中提取知识单元，并判定知识单元是否为目标或下一步要学习的知识单元，通过判定结果统计用户所访问的目标知识单元个数 naim和用户所访问的下一步要学习的知识单元个数 nrel，利用式 3）计算导航清晰度 Cn的方法为： a）从用户学习序列数。

15、据集中读取一个用户学习序列； b）从该用户学习序列中读取一条学习日志，提取学习对象信息； c) 判断提所提取的学习对象信息是否为目标单元或下一步要学习的知识单元；如果是，则将该学习对象信息记录为有效导航特征 , 然后转到步骤 d）；如果否，则将该学习对象信息记录为无效导航特征；然后转到步骤 d）； d）判断记录的有效导航特征或无效导航特征是否成功完成学习；如果是，则利用式 3）计算导航清晰度 Cn并记录到导航清晰度数据库中，然后转到步骤 f）；如果否，则转到步骤 e）； e）判断学习日志是否为最后一条，如果是，则利用式 3）计算计算导航。

16、清晰度 Cn并记录到导航清晰度数据库中，然后转到步骤 f）；如果否，则读取下一条学习日志，返回步骤 b）读取下一条学习日志； f）判断用户学习序列是否为最后一条；如果是，则结束导航清晰度 Cn的计算；如果否，则返回步骤 a）读取下一个用户学习序列。 8. 根据权利要求 1 或 2 所述的客观评价 e-learning 用户体验质量方法，其特征在于，步骤 1.6）中从学习日志的学习对象信息以及学习动作发生信息中判断正确点击特征，并统权利要求书 CN 103577535 A 4 4/4 页 5 计错误点击次数 nm，利用式 4）计算该用户的正。

17、确点击率 Rn的方法为： a）从用户学习序列数据集中读取一个用户学习序列； b）从该用户学习序列中读取一条学习日志，提取学习对象信息和点击时间信息； c）判断点击时间信息是否符合正确点击特征；如果是，则记录为正确点击，转入步骤 d）；如果否，则记录为错误点击，则转入步骤 d）； d）判断学习日志是否为最后一条，如果是，则利用式 4）计算正确点击率 Rn并记录到正确点击率数据库，然后转入步骤 e）；如果否，则返回步骤 b）读取下一条学习日志； e）判断用户学习序列是否为最后一条，如果是，则结束正确点击率 Rn的计算，如果否，则返回步。

18、骤 a）读取下一个用户学习序列。 9. 根据权利要求 1 所述的客观评价 e-learning 用户体验质量方法，其特征在于：所述的步骤 2）中权重对影响要素进行加权求和的方法如式 5）所示：式 5）中， W权重向量，且 W=0.75 0.1489 0.0690 0.0321。权利要求书 CN 103577535 A 5 1/9 页 6 一种客观评价 e-learning 用户体验质量的方法技术领域 0001 本发明涉及一种用户体验质量评价方法，特别涉及一种客观评价 e-learning 用户体验质量的方法。背景技术 0002 随着服务经济的发展，用户。

19、体验成为网络服务能否被接受的关键。对用户体验质量的评价越来越受到研究者的重视，成为人机交互领域的研究热点。当前研究也取得了显著的成就，通过建立合适的评价指标体系对用户进行抽样问卷调查，对回收的问卷进行数据分析，从网站的角度评价整个用户群的整体用户体验质量，从而为网络服务的改进和完善提供帮助。使用问卷调查评价用户体验质量的方法存在费时费力等问题，并且不能从用户的角度评价单用户的用户体验质量。目前评价用户体验质量的方法如下： 0003 第一种常见的用户体验质量评价方法是使用因子分析或结构方程模型对抽样问卷调查的数据进行分析。因子分析和结构方程模型可以分析影响用户体验质量的。

20、关键要素，从而指导网络服务的改进，但对于问卷调查结果的准确性要求较高。 0004 另外一种常见的评价方法是抽样问卷调查结合用户行为日志，通过分析用户行为日志对部分影响要素进行评价，结合问卷调查对其它影响要素进行评价，进而评价用户体验质量。 0005 上述现有的用户体验质量评价方法存在以下三方面的问题： 0006 一、不能从用户的角度评价单用户的用户体验质量； 0007 二、评价过程依赖主观问卷调查，人力物力消耗大； 0008 三、不能定量的评价用户体验质量。发明内容 0009 本发明的目的在于提供一种客观评价 e-learning 用户体验质量的方法，是解决。

21、现有评价方法依赖主观问卷调查的问题，依据用户日志、为达到以上目的，本发明采用的技术方案包括以下步骤： 0010 1）从用户日志中提取影响要素的特征值并进行定量计算，包括如下步骤： 0011 1.1）日志预处理：对原始用户日志进行预处理，生成含有用户标识信息、学习对象信息以及学习动作发生时间信息的用户学习日志数据集； 0012 1.2）用户学习序列识别：对用户学习日志数据集中每条日志记录进行用户学习序列识别，生成含有学习对象信息、学习动作发生时间信息的用户学习序列数据集； 0013 1.3）提取用户回访特征信息并计算用户回访率：遍历考查时间段内的。

22、用户学习序列数据集，统计用户有效访问系统的次数 ny以及总计应访次数 ny，按照式 1）计算该用户回访率 Rre； 0014 其中，用户回访率表征用户再次使用 e-learning 系统服务的回访意愿强烈程度；用户回访率定义为用户在考查的时间段内用户有效访问系统的次数与总计应访次数的比说明书 CN 103577535 A 6 2/9 页 7 值，用户回访率用符号 Rre表示，量化方法如式 1）所示： 0015 0016 式 1）中： nv用户有效访问系统的次数； ny为总计应访次数； 0017 1.4）提取响应时间特征信息并计算响应速度：遍历考查时间。

23、段内的用户访问序列数据集，统计从用户请求到系统将响应页面呈现给用户的时长之和 t，同时记录用户请求的总次数 N，计算响应时间的均值然后利用式 2）计算响应速度 Dr； 0018 其中，响应速度表征用户感觉到的系统响应快慢程度；响应速度定义为系统响应用户请求的快慢程度 , 响应速度用符号 Dr表示，量化方法如式 2）所示： 0019 0020 式 2）中：响应时间的均值；t 为从用户请求到系统将响应页面呈现给用户的时长之和； N 为用户请求的总次数； 0021 1.5）提取导航清晰度特征信息并计算导航清晰度：遍历考查时间段内的用户访问序列数据集，。

24、提取学习对象信息，并判定学习对象信息是否为目标单元或下一步要学习的知识单元，然后通过判定结果统计用户所访问的有效导航特征和无效导航特征，计算是否达到成功完成学习，当计算结果显示成功完成学习，则利用式 3）计算导航清晰度 Cn； 0022 其中，导航清晰度表征用户在使用系统服务过程中对系统导航是否清晰的感受；导航清晰度定义为用户在一次任务过程中，成功完成任务时用户所访问的目标知识单元个数和用户所访问的下一步要学习的知识单元个数的总和与用户访问的所有知识单元个数的比值，导航清晰度用符号 Cn表示，量化方法如式 3）所示： 0023 0024 式 3）中： n。

25、aim用户所访问的目标知识单元个数； nrel用户所访问的下一步要学习的知识单元个数； nt用户访问的所有知识单元个数； 0025 1.6）提取正确点击特征信息并计算正确点击率；遍历考查时间段内的用户访问序列数据集，从学习日志的学习对象信息以及学习动作发生信息中提取正确点击特征，利用式 4）计算该用户的正确点击率 Rn； 0026 其中，正确点击率表征用户与系统进行人机交互过程中，系统设计符合用户使用习惯的特性以及容易学习的特性；正确点击率定义为用户在一次任务过程中正确点击次数占总点击次数的比例，正确点击率用符号 Rn表示，量化方法如式 4）所示：。

26、0027 0028 式 4）中： nm为错误点击次数； nc为总点击次数；说明书 CN 103577535 A 7 3/9 页 8 0029 2）使用 Delphi 方法确定影响要素的权重，按照权重对影响要素进行加权求和，计算出 e-learning 用户体验质量 Qe。 0030 步骤 1.1）中日志预处理的方法如下： 0031 a）从用户日志的一条日志记录中提取出用户标识信息、学习对象信息以及学习动作发生时间信息；然后判断提取的用户标识信息是否为已有的用户，如果是，则将用户标识信息记录到相应的用户标识中；如果否，则建立新的用户标识；将提取。

27、的学习对象信息记录到相应的用户标识所在的数据记录中，将提取的学习动作发生时间信息记录到相应的用户标识所在的数据记录中； 0032 b）将用户标识中的信息记入到用户学习日志数据集； 0033 c）在完成该条日志记录的预处理后，判断该条日志记录是否为最后一条，如果是，则完成日志预处理；如果否，则返回步骤 a）读取下一条日志。 0034 所述的步骤 a）中提取的学习动作发生时间信息经过时间格式转换后记录到相应的用户标识中。 0035 步骤 1.2）中用户学习序列识别的方法如下： 0036 a）从用户学习日志数据集中读取一条日志记录，然后分别提取学习对象信息和学。

28、习动作发生时间信息，将提取的学习对象信息记录到学习序列中，判断学习动作发生时间信息是否属于同一学习序列，如果是，将提取的学习动作发生时间信息记录到学习序列中，如果不是，将提取的学习动作发生时间信息所对应的学习序列设置为新的学习序列并记录到学习序列中； 0037 b）从提取的学习动作发生时间信息中提取学习时长信息，判断学习时长信息中的学习时长是否超过学习时长阈值；如果是，则将该学习时长设置为平均学习时长，然后记录到学习序列；如果否，则将该学习时长记录到学习序列； 0038 c）将学习序列中的信息记入用户学习序列数据集；然后判断日志记录是否为最后。

29、一条，如果是，则完成用户学习序列识别；如果否，则返回步骤 a）读取下一条日志记录。 0039 步骤 1.4）从学习日志的学习动作发生时间信息中统计从用户请求到系统将响应页面呈现给用户的时长之和 t，同时记录用户请求的总次数 N，计算响应时间的均值然后利用式 2）计算响应速度 Dr的方法为： 0040 a）从用户学习序列数据集中读取一个用户学习序列； 0041 b）从该用户学习序列中读取一条学习日志，提取响应时间特征信息； 0042 c）判断学习日志是否为最后一条；如果是，利用式 2）计算该条学习日志的响应速度 Dr并将该响应速度 Dr记录到响应速。

30、度数据库，然后转到步骤 d）；如果否，则返回步骤 b）读取下一条学习日志； 0043 d）判断用户学习序列是否为最后一条；如果是，则结束响应速度 Dr的计算；如果否，则返回步骤 a）读取下一条用户学习序列。 0044 步骤 1.3）从学习日志的学习动作发生时间信息中统计用户的有效来访次数 nv以及总计应访次数 ny，按照式 1）计算该用户回访率 Rre的方法为： 0045 a) 从用户学习序列数据集中读取一个用户学习序列； 0046 b）从该用户学习序列中读取一条学习日志，提取用户有效回访特征信息； 0047 c）判断学习日志是否为最后一条；。

31、如果是，则利用式 1）计算用户回访率 Rre并将说明书 CN 103577535 A 8 4/9 页 9 该用户回访率 Rre记录到用户回访率数据库中，然后转到步骤 d）；如果否，则返回步骤 b）读取下一条学习日志； 0048 如果否，则返回步骤 b）读取下一条学习日志； 0049 d）判断用户学习序列是否为最后一条，如果是，则结束用户回访率 Rre的计算；如果否，则返回步骤 a）读取下一条用户学习序列。 0050 步骤 1.5）中从学习日志的学习对象信息中提取知识单元，并判定知识单元是否为目标或下一步要学习的知识单元，通过判定结果统计用。

32、户所访问的目标知识单元个数 naim 和用户所访问的下一步要学习的知识单元个数 nrel，利用式 3）计算导航清晰度 Cn的方法为： 0051 a）从用户学习序列数据集中读取一个用户学习序列； 0052 b）从该用户学习序列中读取一条学习日志，提取学习对象信息； 0053 c) 判断提所提取的学习对象信息是否为目标单元或下一步要学习的知识单元；如果是，则将该学习对象信息记录为有效导航特征 , 然后转到步骤 d）；如果否，则将该学习对象信息记录为无效导航特征；然后转到步骤 d）； 0054 d）判断记录的有效导航特征或无效导航特征是否成功完成学习； 00。

33、55 如果是，则利用式 3）计算导航清晰度 Cn并记录到导航清晰度数据库中，然后转到步骤 f）；如果否，则转到步骤 e）； 0056 e）判断学习日志是否为最后一条，如果是，则利用式 3）计算计算导航清晰度 Cn并记录到导航清晰度数据库中，然后转到步骤 f）；如果否，则读取下一条学习日志，返回步骤 b）读取下一条学习日志； 0057 f）判断用户学习序列是否为最后一条；如果是，则结束导航清晰度 Cn的计算；如果否，则返回步骤 a）读取下一个用户学习序列。 0058 步骤 1.6）中从学习日志的学习对象信息以及学习动作发生信息中判断正确。

34、点击特征，并统计错误点击次数 nm，利用式 4）计算该用户的正确点击率 Rn的方法为： 0059 a）从用户学习序列数据集中读取一个用户学习序列； 0060 b）从该用户学习序列中读取一条学习日志，提取学习对象信息和点击时间信息； 0061 c）判断点击时间信息是否符合正确点击特征；如果是，则记录为正确点击，转入步骤 d）；如果否，则记录为错误点击，则转入步骤 d）； 0062 d）判断学习日志是否为最后一条，如果是，则利用式 4）计算正确点击率 Rn并记录到正确点击率数据库，然后转入步骤 e）；如果否，则返回步骤 b）读取下一条学。

35、习日志； 0063 e）判断用户学习序列是否为最后一条，如果是，则结束正确点击率 Rn的计算，如果否，则返回步骤 a）读取下一个用户学习序列。 0064 所述的步骤 2）中权重对影响要素进行加权求和的方法如式 5）所示： 0065 0066 式 5）中， W权重向量，且 W=0.75 0.1489 0.0690 0.0321。说明书 CN 103577535 A 9 5/9 页 10 0067 与现有技术相比，本发明的有益效果为： 0068 1、本发明针对当前信息服务系统的用户体验评价多采用问卷调查、访谈等方式，存在费时费力、主观期许性偏差等问题，。

36、本发明以信息服务的典型系统 e-Learning 为应用背景，提出一种根据用户的日志数据、客观评价用户体验质量的自动化方法，该方法最终将 e-learning 用户体验质量量化，以定量的方式评价 e-learning 用户体验质量，解决了采用问卷调查、访谈等方式依赖主观问卷调查，人力物力消耗大的问题，具有更高的计算效率、精度和自动化程度。 0069 2、本发明提出的客观评价 e-learning 用户体验质量的方法涵盖了用户体验的评价指标体系、特征选择和量化计算多个重要环节，具有强的系统性，指标体系定义客观、简洁、实用，特征选择和量化计算方法可操作性强、。

37、便于实施。 0070 3、本发明提出的客观评价用户体验质量的方法中的用户体验评价指标体系，是基于信息服务系统的共同特征构建的，包含有信息系统的典型用户体验评价指标，具有通用性，可移植性高，针对不同的信息服务系统的用户体验评价，可以灵活地进行领域定制。附图说明 0071 图 1 为本发明方法的整体框架图； 0072 图 2 为本发明建立的 e-learning 用户体验质量评价指标体系层次图； 0073 图 3 为本发明影响要素特征提取和定量计算框架图； 0074 图 4 为本发明方法中日志预处理流程图； 0075 图 5 为本发明方法中用户学习序列识别流程图；。

38、0076 图 6 为本发明方法中用户回访特征提取和计算流程图； 0077 图 7 为本发明方法中响应速度特征提取和计算流程图； 0078 图 8 为本发明方法中导航清晰度特征提取和计算流程图； 0079 图 9 为本发明方法中正确点击特征提取和计算流程图。具体实施方式 0080 为了更清楚的理解本发明，以下结合附图对本发明作进一步的详细描述。 0081 如图 1 所示，分析影响 e-learning 用户体验质量的要素，建立用户体验质量评价指标体系，提出影响要素的定义；其次是分析用户日志，提取影响要素的特征信息进行定量计算，确定影响要素的权重，定量计算用户体验质量。

39、。 0082 下面分步骤结合附图对本发明做进一步详细说明。 0083 1）建立 e-learning 用户体验质量评价指标体系： 0084 参见图 2，本发明的 e-learning 用户体验质量评价指标体系分为目标层、指标层以及要素层，其中，目标层为 e-learning 用户体验质量；分析影响 e-learning 用户体验质量的指标和要素进行分析，将影响 e-learning 用户体验质量的指标分为有用性指标和易用性指标，有用性指标和易用性指标构了指标层，使用有用性指标和易用性指标来评价目标层的 e-learning 用户体验质量，有用性指标是指系统提供的。

40、知识资源和学习服务对于用户来说是有用的；易用性指标是指这些服务对于用户来说容易获取，简单易用。有用性指标和易用性指标可以再细分成 e-learning 用户体验质量的影响要素，例如用户回访率、响说明书 CN 103577535 A 10 6/9 页 11 应速度、导航清晰度和正确点击率；用户回访率、响应速度、导航清晰度和正确点击率构成了 e-learning 用户体验质量的要素层；其中，使用用户回访率来评价有用性指标，使用响应速度、导航清晰度、正确点击率来评价易用性指标； 0085 2) 对用户回访率、响应速度、导航清晰度以及正确点击率分别。

41、进行定义和量化； 0086 a）本发明方法使用用户回访率表征用户再次使用 e-learning 系统服务的回访意愿强烈程度，用以度量有用性指标。用户回访率定义为用户在考查的时间段内用户有效访问系统的次数与总计应访次数的比值，用户回访率用符号 Rre表示，量化方法如式 1）所示： 0087 0088 式式 1）中： nv用户有效访问系统的次数； ny为总计应访次数；另外，用户有效访问系统的次数中的 “有效” 是指若当前的点击学习动作与上次的点击不是在同一天，则认为是 “有效” 的。 0089 b）本发明方法使用响应速度表征用户感觉到的系统响应快慢程度，响应速。

42、度定义为系统响应用户请求的快慢程度，响应速度用符号 Dr表示，量化方法如式 2）所示： 0090 0091 式2）中，响应时间的均值；t为从用户请求到系统将响应页面呈现给用户的时长之和； N 为用户请求的总次数；响应时间的均值可以从用户日志中提取和计算。 0092 c）本发明方法使用导航清晰度表征用户在使用系统服务过程中对系统导航是否清晰的感受；导航清晰度定义为用户在一次任务过程中，成功完成任务时所访问的目标和下一步要学习的知识单元总数与访问的所有知识单元数的比值，导航清晰度用符号 Cn表示，量化方法如式 3）所示： 0093 0094 式 3）。

43、中： naim用户所访问的目标知识单元个数； nrel用户所访问的下一步要学习的知识单元个数； nt用户访问的所有知识单元个数；另外，成功完成任务是指完成规定的学习任务。 0095 d）本发明方法使用正确点击率表征用户与系统进行人机交互过程中，系统设计符合用户使用习惯的特性以及容易学习的特性。正确点击率定义为用户在一次任务过程中正确点击次数占总点击次数的比例，正确点击率用符号 Rn表示，量化方法如式 4）所示： 0096 0097 式 4）中： nm为错误点击次数； nc为总点击次数；另外，正确点击率是指针对点击动作是针对学习对象信息而发生的。。

44、说明书 CN 103577535 A 11 7/9 页 12 0098 3）从用户日志中提取影响要素的特征值并进行定量计算（参见图 3），包括如下步骤： 0099 3.1）日志预处理： 0100 本发明方法中日志预处理的目的是过滤大量的用户日志，从中提取有效的信息，然后将所提取的有效信息按照用户表示归类，形成用户日志数据集；所提取的有效的信息主要包括： 1. 学习者自身信息，例如用户标识信息； 2. 学习对象信息，例如学习者在 e-learning 系统中所进行的登录、退出、点击页面链接等操作以及学习者所学习知识单元的信息（如知识单元的名称）。

45、； 3、学习动作发生的时间。 0101 从原始用户日志中提取的有效信息只是所需信息的一部分，其它信息需要对原始日志进行处理而获取，日志预处理流程图如图 4 所示，具体包括以下步骤： 0102 a）从用户日志的一条日志记录中提取出用户标识信息、学习对象信息以及学习动作发生时间信息；然后判断提取的用户标识信息是否为已有的用户，如果是，则将用户标识信息记录到相应的用户标识中；如果否，则建立新的用户标识；将提取的学习对象信息记录到相应的用户标识所在的数据记录中，将提取的学习动作发生时间信息息经过时间格式转换记录到相应的用户标识所在的数据记录中； 0103 。

46、b）将用户标识中的信息记入到用户学习日志数据集； 0104 c）在完成该条日志记录的预处理后，判断该条日志记录是否为最后一条，如果是，则完成日志预处理；如果否，则返回步骤 a）读取下一条日志。 0105 3.2）用户学习序列识别：对用户学习日志数据集中每条日志记录进行用户学习序列识别，生成含有学习对象信息、学习动作发生时间信息的用户学习序列数据集；用户学习序列识别的流程图如图 5 所示，具体步骤如下所示： 0106 a）从用户学习日志数据集中读取一条日志记录，然后分别提取学习对象信息和学习动作发生时间信息，将提取的学习对象信息记录到学习序列中，。

47、判断学习动作发生时间信息是否属于同一学习序列，如果是，将提取的学习动作发生时间信息记录到学习序列中，如果不是，将提取的学习动作发生时间信息所对应的学习序列设置为新的学习序列并记录到学习序列中；具体的，从用户学习序列数据集中提取学习对象信息为知识单元标识；另外，一天时间段内发生的所有动作为同一学习序列； 0107 b）从提取的学习动作发生时间信息中提取学习时长信息，判断学习时长信息中的学习时长是否超过学习时长阈值；如果是，则认为该用户的学习过程中有中断，该知识单元的学习时长不可知，将该学习时长设置为平均学习时长，然后记录到学习序列；如果否，。

48、则将该学习时长记录到学习序列；其中，学习时长阈值为 600s ；学习时长信息是指相邻两次动作发生时间的时间差； 0108 c）将学习序列中的信息记入用户学习序列数据集；然后判断日志记录是否为最后一条，如果是，则完成用户学习序列识别；如果否，则返回步骤 a）读取下一条日志记录。 0109 3.3）提取用户回访特征信息并计算用户回访率： 0110 本发明提取用户回访率的特征信息需要遍历考查时间段内的用户学习序列，统计用户有效访问系统的次数 nv以及总计应访次数 ny，按照式 1）计算用户回访率 Rre。用户回访率特征提取和计算流程图如图 6 所示，。

49、其具体方法如下： 0111 a) 从用户学习序列数据集中读取一个用户学习序列；说明书 CN 103577535 A 12 8/9 页 13 0112 b）从该用户学习序列中读取一条学习日志，提取用户有效回访特征信息； 0113 c）判断学习日志是否为最后一条；如果是，则利用式 1）计算用户回访率 Rre并将该用户回访率 Rre记录到用户回访率数据库中，然后转到步骤 d）；如果否，则返回步骤 b）读取下一条学习日志； 0114 d）判断用户学习序列是否为最后一条，如果是，则结束用户回访率 Rre的计算；如果否，则返回步骤 a）读取下一条用户学习序列。 0115 。

展开阅读全文