基于用户操作的APP改进方法和系统技术领域
本发明涉及互联网技术领域，具体而言，本发明涉及一种基于用户操
作的APP改进方法和系统。
背景技术
随着互联网的飞速发展，手机、电脑等智能终端的使用越来越普及，
智能终端所提供的智能服务也越来越丰富，“人-机互动”也不断增加。
比如，当光线发生变化时，手机可以自动调节屏幕的亮度，给用户提供更
舒适的屏幕体验。
人与人之间的交流和沟通是自然而富有感情的，因此，人们对人机交
互技术提出了更高的要求，期望与之交互的设备也具有类似于人的观察、
理解和生成情感特征的能力。
目前，已经出现了很多方法来捕捉用户的情绪，比如，通过分析手机
被震动了多少次、输入的文字和表情符号、输入文字时有多少次错误使用
退格键消除、每一句话结尾处有多少个感叹号、接听电话时的语音语调，
使用手机时的人脸信息等内容，以此来推断用户是生气、惊讶、高兴、悲
伤、恐惧、或反感等情绪。
实际应用中，智能终端通常通过非常丰富的APP(Application，应用)
来为用户提供各种智能服务，例如，系统提供的各类工具APP，或者第三
方提供的各类APP(如地图、天气、购物、游戏等)。
用户在使用不同的APP时往往具有不同的情绪。因此，通过捕捉用
户对APP的体验情绪，有利于针对用户不喜欢的APP作出改进，提高用
户体验。
目前，现有提供了一种基于情绪的APP改进方法，其基于用户在使
用APP时的情绪，得到用户针对APP的反馈信息。这样，应用开发者后
续可以根据用户针对APP的反馈信息，对APP的交互界面进行改进并反
馈给用户，以此提高用户的满意度。
然而，本发明的发明人发现，通过现有的这种基于情绪的APP改进
方法，改进APP的交互界面后，用户对改进后的APP的使用体验并没有
得到很好的改善。
因此，有必要提供一种能够更加准确、全面的方法获取用户对APP
的反馈信息，从而更为准确、全面反映用户对APP的使用体验。
发明内容
本发明针对现有技术存在的缺陷，提供了一种基于用户操作的APP
改进方法和系统，用以更加准确、全面地获取用户针对APP的操作体验
的反馈信息，并以此对APP进行改进，提高用户对改进后的APP的使用
体验。
本发明的技术方案根据一个方面，还提供了一种基于用户操作的APP
改进方法，包括：
在用户对智能终端中的应用APP进行操作时，获取用户的情绪信息、
和操作信息；
显示已修改结构的APP，其中，所述APP的结构是根据获取的所述
用户的情绪信息和操作信息进行修改的。
根据本发明的另一方面，还提供了一种基于用户操作的APP改进系
统，包括：
信息采集模块，用于在用户对智能终端中的应用APP进行操作时，
获取用户的情绪信息、和操作信息；
应用反馈模块，用于显示已修改结构的APP，其中，所述APP的结
构是根据获取的所述用户的情绪信息和操作信息进行修改的。
本发明技术方案中，可以基于用户在对智能终端中的APP进行操作
时用户的情绪信息、以及操作时的操作信息，得到用于改进APP的反馈
信息。相比现有仅基于用户的情绪对APP进行改进，本发明方案中基于
用户在操作APP时对应的情绪信息和操作信息所得到的反馈信息，能够
更加全面，且直接地反映用户与APP的关系，有利于APP的开发者基于
反馈信息对APP的结构和呈现内容作出更加有效地改进，提高用户体验。
而且，基于本发明提供的反馈信息可以对APP进行针对性的深层次改进，
而不仅仅是APP的交互界面的浅层次改进。
进一步地，本发明的方案中，还可以基于用户每次对智能终端中的应
用APP进行操作时的操作行为信息，分析出用户的使用习惯信息；继而，
可以将用户的使用习惯信息的加入到用户针对APP的反馈信息中。由于
操作行为信息是在用户使用APP过程中获取的，即直接针对当前使用的
APP，因此，可以更为直接地反映出用户对APP的使用体验，包括：使用
习惯信息。因此，相比现有基于可能受其他事务影响的用户的情绪来得到
用于APP改进的反馈信息，本发明基于在使用APP过程中的使用习惯信
息、以及情绪信息得到用户针对APP的反馈信息更加准确、全面，从而
可以更加准确、全面地反映用户对APP的使用体验。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面
的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描
述中将变得明显和容易理解，其中：
图1a、1b为本发明方案中基于用户操作的APP改进方法的流程示意
图；
图2为本发明方案中用户在进行操作时的心率图；
图3为本发明方案中一中分级树状的APP结构示意图；
图4为本发明方案中另一种基于用户操作的APP改进方法的流程示
意图；
图5为本发明方案中一组操作行为信息的示意图；
图6为本发明方案中另一种基于用户操作的APP改进方法的流程示
意图；
图7为本发明方案中一种APP改进前后的结构示意图；
图8为本发明方案中一种APP排序前后的示意图；
图9为本发明方案中各种类型的表情示意图；
图10为本发明方案中表情分类器训练方法的流程示意图；
图11为本发明方案中用户表情的识别方法的流程示意图；
图12a、12b为本发明方案中基于用户操作的APP改进系统的结构示
意图；
图12c、12d、12e为本发明方案中应用反馈模块的结构示意图；
图13为本发明方案中反馈信息获取单元的内部结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其
中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似
功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本
发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式
“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，
本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操
作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整
数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件
被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或
者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线
连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出
项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语
(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员
的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术
语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除
非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本发明的发明人考虑，可以基于用户在对智能终端中的APP
(APPLICATION，应用)进行操作时，获取用户的情绪信息、和操作信
息；继而，显示已修改结构的APP，其中，APP的结构是根据获得的信息
进行修改的。也就是说，可以基于获取的操作时用户的情绪信息和操作信
息，得到反映用户对APP的使用体验的反馈信息；继而，根据得到的反
馈信息可以针对APP的结构进行改进。
相比现有仅基于用户的情绪得到的反馈信息，本发明方案中基于用户
在操作APP时对应的情绪信息和操作信息所得到的反馈信息更加全面，
且更能直接地反映用户对APP中各功能模块和呈现内容的使用体验，使
得之后对APP的呈现内容、以及结构中的功能模块的修改更有针对性，
提高用户体验。
进一步地，本发明的发明人发现，用户在体验APP(Application，应
用)时的情绪变化针对的并不一定是APP的操作，而有可能是因为受到
其他事务的影响，比如，在用户体验APP时周边有人吵闹、讲笑话等，
都可能会影响用户的情绪，而此情绪并非是用户使用APP导致的，由此
导致通过现有的基于情绪的APP改进方法得到的反馈信息准确度不高。
进一步地，本发明的发明人还发现，用户在体验APP时的操作往往
存在一些使用习惯，而用户的使用习惯在一定程度上能够反映出用户的性
格、偏好等信息，即反映出用户的使用体验。
因此，本发明的发明人考虑，可以基于用户在使用APP过程中操作
时的情绪信息，以及使用习惯信息，得到用于改进APP的反馈信息。其
中，用户的使用习惯信息可以由用户使用APP过程中的操作行为信息分
析得到。由于操作行为信息是在用户使用APP过程中获取的，即直接针
对当前使用的APP，因此，可以更为直接地反映出用户对APP的使用体
验，包括：使用习惯、态度等。相比基于可能受其他事务影响的用户的情
绪来得到用于APP改进的反馈信息，本发明基于用户在使用APP过程中
的使用习惯信息、以及情绪信息，得到的反馈信息更加准确、全面，从而
可以更加准确、全面地反映用户对APP的使用体验。
下面结合附图详细说明本发明的技术方案。
本发明提供了一种基于用户操作的APP改进方法，其具体流程如图
1a所示，可以包括如下步骤：
S101：在用户对智能终端中的应用APP进行操作时，获取用户的情
绪信息、和操作信息。
具体地，用户每次对智能终端中的应用APP进行操作时，可以获取
操作时用户的情绪信息、以及操作信息。其中，获取的操作信息中可以包
括：操作涉及的操作界面信息。
实际应用中，用户在使用智能终端上的APP时，往往需要进行点击
操作，而点击操作可以是通过手敲击触摸屏的方式进行操作，也可以是通
过键盘或者鼠标的方式进行操作，也可以是通过触控笔的方式进行操作
等。
本发明实施例中，在用户对智能终端中的应用APP进行操作时，智
能终端中的界面信息采集子单元在接收到操作指令时，可以对用户当前进
行操作的交互界面进行截取，并记录当前操作在该交互界面上的具体操作
位置，以此得到操作涉及的操作界面信息。
智能终端中的情绪信息采集子单元在接收到操作指令时，可以对用户
操作时的面部进行拍摄，得到用户操作时的面部信息，并根据用户操作时
的面部信息，识别出用户的表情，作为操作时用户的情绪信息。
进一步地，情绪信息采集子单元在接收到操作指令时，还可以通过设
置在不同位置出的传感器检测得到用户在操作时的皮肤出汗程度、手指的
颤抖情况、肌肉收缩程度、心率、脉搏等情绪信息。图2示出了某个用户
在进行某项操作时的心率图。
实际应用中，在用户每次对智能终端中的应用APP进行操作时，智
能终端在获取用户的情绪信息、操作涉及的操作信息之后，可以将获取的
信息对应记录；进一步地，还可以将获取的信息上传至服务器，以便后续
服务器根据智能终端获取的信息得到用户针对APP的反馈信息。
进一步地，服务器也可以获取其他智能终端上传的其它用户使用同一
APP时的各操作对应的用户的情绪信息、以及各操作涉及的操作信息。这
样，后续服务器可以综合从各智能终端获取的不同用户在使用APP过程
中的信息得到不同用户针对同一个APP的反馈信息。
S102：显示已修改结构的APP；其中，APP的结构是根据获取的用户
的情绪信息和操作信息进行修改的。
本发明的方案中，可以基于获取的用户的情绪信息和操作信息，得到
用户使用APP的反馈信息，进而根据反馈信息进行APP的改进。
实际应用中，根据步骤S101获取的操作信息中的操作涉及的操作界
面信息，可以确定出该操作涉及的是APP的呈现内容，还是结构。这样，
后续可以根据针对结构的操作对应的情绪信息和/或针对结构的操作信
息，修改APP的结构，并显示已修改结构的APP。
进一步地，本发明技术方案中基于用户操作的APP改进方法还可以
包括：显示已修改呈现内容的APP。其中，APP的呈现内容是根据获取的
用户的情绪信息和操作信息进行修改的。
本发明的方案中，可以基于获取的用户的情绪信息和操作信息中的操
作界面信息，得到用户使用APP的反馈信息，进而，根据反馈信息修改
APP的呈现内容，或APP结构中的功能模块。
本发明实施例中，在获取用户的情绪信息、和操作信息之后，基于用
户操作的APP改进方法，如图1b所示，可以通过如下步骤对APP的结构
进行改进：
S111：根据获取的各操作涉及的操作界面信息，确定各操作涉及的
APP结构中的功能模块。
实际应用中，智能终端中的APP通常是由若干个功能模块所组成的，
各功能模块分布在各个层级各个功能节点上。如图3所示，APP的整体结
构是一种分级树状的结构图，每一级的每个功能节点对应有相应的功能模
块。
因此，本发明的方案中，可以预先针对智能终端中安装的APP，存储
APP的各种交互界面，包括：交互界面的主页面、交互界面中每个位置的
按钮、每个按钮对应的功能模块、功能模块对应的交互界面，以及功能模
块各自对应的交互界面之间的结构关联等等。
这样，可以根据操作涉及的操作界面信息中用户进行操作的交互界
面，以及在该交互界面上的操作位置，确定出用户进行的操作所涉及的功
能模块。
S112：根据各操作涉及的功能模块，以及操作时用户的情绪信息，得
到用于改进APP结构中的功能模块的反馈信息。
具体地，可以根据操作时用户的情绪信息，以及操作所涉及的功能模
块，建立APP结构中的功能模块与情绪信息的对应关系，并根据建立的
对应关系得到反馈信息。
具体地，可以根据各操作涉及的功能模块，以及操作时用户的情绪信
息，得到反映用户针对APP的使用体验的反馈信息，以便可以基于用户
针对APP的反馈信息，对APP结构中的功能模块做出改进，比如，对功
能模块的参数等的改进。
本发明的方案中，智能终端或服务器，可以根据操作时用户的情绪信
息，以及操作所涉及的功能模块，建立APP的功能模块与情绪信息的对
应关系，并根据建立的APP的功能模块与情绪信息的对应关系得到用户
使用该APP的反馈信息。进而，可以根据反馈信息中的APP的功能模块
与情绪信息的对应关系，分析出用户与APP之间的交互性能。基于分析
得到的交互性能，修改基于功能模块的APP结构。
这样，通过反馈信息中功能模块与情绪信息的对应关系，可清楚地了
解用户在运用APP的各功能模块时的状态，有助于后续对APP的功能模
块进行针对性的改进，或者有针对性地给用户提供最有效的解决方案。
比如，可以根据功能模块与情绪信息的对应关系，确定出在操作各种
功能模块时的情绪；再结合各功能模块的使用频次，确定出需要改进的功
能模块，并制定出APP的功能模块改进方案。例如，确定某一功能模块
的情绪值低于一定阈值，且该功能模块使用频次少于一定数量时，可以考
虑将该功能模块从APP的结构节点中删除。
实际应用中，在对APP的结构中的功能模块进行修改之后，可以显
示已修改结构的APP。
更优地，考虑到，实际应用中，用户在使用APP的过程中，进行某
项操作之后，智能终端的屏幕上会相应显示一些内容。比如，在使用视频
播放类APP的过程中，用户进行暂停操作后，在暂停界面中呈现一些广
告内容。而用户对于暂停后的呈现内容会存在一定的主观情绪。
因此，本发明的技术方案中，在根据操作涉及的操作界面信息，确定
该操作涉及的是APP的呈现内容后，可以根据基于操作涉及的呈现内容
得到的反馈信息修改APP的呈现内容。具体地，可以根据操作涉及的操
作界面信息，在确定出操作所涉及的呈现内容后，可以根据操作时用户的
情绪信息，以及操作所涉及的呈现内容，建立APP的呈现内容与情绪信
息的对应关系。并将APP的呈现内容与情绪信息的对应关系综合到反馈
信息中，用以修改APP的呈现内容，提高用户体验。
进一步地，考虑到用户的操作作为用户与智能终端之间进行交互的方
式，能够体现用户的一种主观习惯。因此，通过分析用户在操作时的操作
行为信息、操作涉及的操作界面信息，可以得到用户在行为上的客观反映；
同时，结合操作时的情绪信息，可以得到用户对智能终端上APP的一个
综合反应，从而有助于形成更加准确、全面的反馈信息。
因此，基于上述用户使用APP的反馈信息获取方法基于用户操作的
APP改进方法，本发明的技术方案中，可以通过用户的使用习惯来丰富用
户针对智能终端上APP的反馈信息。
如图4所示，上述基于用户操作的APP改进方法用户使用APP的反
馈信息的获取方法进一步包括如下步骤：
S113：在用户对智能终端中的APP进行操作时，获取操作行为信息。
本发明的方案中，步骤S113与步骤S101没有先后顺序，可以先S101
后S113、或先S113后S101、或S113与S101同时执行。例如，在用户
每次对智能终端中的APP进行操作时，获取用户的情绪信息、该操作涉
及的操作界面信息的同时，还可以获取用户对APP进行操作时的操作行
为信息。其中，该操作涉及的操作界面信息、以及操作行为信息均属于操
作时的操作信息。
这样，可以将获取的操作行为信息，与操作界面信息、用户的情绪信
息对应记录。在通过步骤S113获取各操作的操作行为信息后，执行步骤
S114，可以分析出用户的使用习惯信息。
具体地，智能终端中的行为信息采集子单元在接收到操作指令时，可
以对用户操作时的操作坐标、操作力度，并对操作的操作频度进行统计，
以此得到用户的操作行为信息，图5示出了一组操作行为信息的示意图。
S114：基于获取的各操作的操作行为信息、各操作涉及的APP结构
中的功能模块，分析出用户的使用习惯信息。
实际应用中，智能终端可以基于获取的各操作的操作行为信息、各操
作涉及的APP结构中的功能模块，分析出用户的使用习惯信息。
或者，在智能终端将获取的信息上传至服务器后，服务器可以基于获
取的各操作的操作行为信息、各操作涉及的APP结构中的功能模块，分
析出用户的使用习惯信息。
具体地，智能终端或服务器，可以通过如下三种方案分析得到用户的
使用习惯信息。
方案一、根据获取的各操作的操作行为信息，以及各操作所涉及的功
能模块，统计出各功能模块被使用的频次；根据统计结果分析出用户的使
用习惯信息。
例如，根据统计出的各功能模块被使用的频次，对功能模块进行排序，
并将被使用的频次最多的功能模块确定为用户最习惯使用的功能模块，即
分析出用户的使用习惯信息。
这样，后续可以根据反馈信息中用户的使用习惯信息，以及用户在操
作各功能模块时的情绪信息，对APP结构中各功能模块的设置参数进行
调整。比如，将用户最习惯使用的功能模块在APP的结构中的位置进行
调整，以便后续用户使用改进后的APP时能够便捷地操作该功能模块。
方案二、根据获取的各操作所涉及的功能模块、以及各操作的操作行
为信息中的操作力度或操作频度，确定出用户使用各功能模块时的情感强
烈程度信息；依据用户使用各功能模块时的情感强烈程度信息，分析出用
户的使用习惯信息。
或者，根据操作行为信息中的操作力度和操作频度，以及操作所涉及
的功能模块，来确定用户使用各功能模块时的情感强烈程度信息；并依据
用户使用各功能模块时的情感强烈程度信息，分析出用户的使用习惯信
息。
考虑到用户在不同的情感强烈程度下，其操作时的力度和频度往往是
不同的，比如，在其情感较为平和时，其操作力度和操作频度均属于正常
数值范围内，而在其情感较为急躁激动时，其操作力度和操作频度可能会
超过正常数值范围内。
例如，游戏类APP内的某个怪物需要在3次攻击操作下死亡，情感
较为平静的用户可能只进行3次攻击操作，且每次操作时采用较小的操作
力度；而情感较为急躁激动的用户则会出现连续多频次(超过3次)的攻
击操作；且操作时会采用较为较大的操作力度。
因此，本发明的方案中，可以依据用户使用APP结构中的各功能模
块时的情感强烈程度信息，分析出用户的使用习惯信息。比如，分析出用
户属于习惯性格平和的人群；或分析出用户属于性格急躁的人群。这样，
后续可以针对不同的用户人群，对APP结构中的各功能模块进行改进。
方案三、根据获取的各操作涉及的操作界面信息，各操作涉及的APP
结构中的功能模块以及各操作的操作行为信息，统计出操作涉及的交互内
容，以及APP中功能模块被使用的顺序、频次信息；根据统计结果分析
出用户的使用习惯信息。
考虑到，用户在使用APP的过程中，进行操作时，操作所涉及的内
容，以及操作的流程也能够在一定程度上反映用户的使用习惯。例如，对
于购物类APP，根据用户在使用该类APP时的操作流程和操作涉及的交
互内容，可以确定出该用户的浏览习惯。比如，根据用户在使用购物类
APP时的操作流程和操作涉及的交互内容，可以确定出有些用户通常是直
接搜索并浏览某一品类的物品，然后在该品类中选择购买所需物品；而有
些用户则是随机性的浏览各种品类的物品。
因此，本发明的技术方案中，在获取用户使用APP过程中的操作行
为信息、操作涉及的操作界面信息之后，可以根据操作行为信息、操作涉
及的操作界面信息，统计出操作涉及的交互内容，以及功能模块被使用的
顺序、频次信息；并根据统计出的操作涉及的交互内容、以及功能模块被
使用的顺序、频次信息，分析出用户的使用习惯信息。
本发明的技术方案中，分析出用户的使用习惯信息后，在得到用于改
进APP结构中的功能模块的反馈信息过程中，可以结合分析出的用户的
使用习惯信息，得到反馈信息。即根据各操作涉及的功能模块，操作时用
户的情绪信息，以及分析出的用户的使用习惯信息，得到APP的反馈信
息。也就是说，根据操作时用户的情绪信息，以及操作所涉及的功能模块，
建立APP的功能模块与情绪信息的对应关系，并根据对应关系，以及分
析出的用户的使用习惯信息，得到包括了用户的使用习惯信息的反馈信
息。
实际应用中，智能终端可以基于获取各操作对应的用户的情绪信息、
各操作所涉及的功能模块，以及分析出的用户的使用习惯信息，得到更加
全面、更能反映用户针对APP的使用体验的反馈信息，以便可以基于用
户针对APP的反馈信息，对APP的功能模块、交互界面、运行性能等等
做出改进。
本发明的技术方案中，获取用户针对APP的反馈信息的主要目的在
于对APP进行改进。因此，在得到用户针对APP的反馈信息之后，如图
6所示，基于用户操作的APP改进方法中，在得到用于改进APP结构中
的功能模块的反馈信息之后，还进一步包括如下步骤：
S115：根据获取的用户的情绪信息、和操作信息，确定向用户反馈的
解决方案。
具体地，在根据获取的用户的情绪信息、和操作信息，通过步骤
111-112，得到反映用户针对APP的使用体验的反馈信息后，可以根据反
馈信息，确定如下至少一个方案：APP的呈现内容改进方案；APP的参数
或设置调整方案；APP的智能程度调整方案；APP的运行时间调整方案；
APP的内部关联调整方案；向用户提示的解决方案。
例如，可以根据呈现内容与情绪信息的对应关系，确定出用户在面对
各种呈现内容时的情绪，进而确定出需改进的呈现内容，以及改进的方向，
从而制定APP的呈现内容改进方案。
或者，也可以根据本次使用APP的情况所建立的功能模块与情绪信
息的对应关系，确定出用户不满意的功能模块，继而，对APP的结构进
行调整，比如，对用户不满意的功能模块的参数或设置进行调整。或者，
也可以根据之前使用该APP的情况所建立的功能模块与情绪信息的对应
关系，确定出能够使功能模块满足用户需求的参数或设置，从而对APP
的参数或设置进行调整，以得到用户满意的APP。如图7所示，改进前的
APP结构中包括用户不满意的功能模块，而改进后的APP结构中调整了
用户不满意的功能模块。
或者，也可以根据功能模块与情绪信息的对应关系，呈现内容与情绪
信息的对应关系，记录下用户的情绪较为高兴、快乐的功能模块和呈现内
容，以便后续能够在检测到用户情绪比较低落时，能够确定出向用户提示
的解决方案，以此改善用户的情绪，提高用户体验。
例如，根据用户对智能终端中的应用APP进行操作时的情绪信息，
向用户推荐其它APP，比如，根据情绪信息，判断出对APP不满意时，
可以推荐用户满意的其它APP，或者(比如，与该APP同属于同一类的
其它APP)。
或者，也可以根据用户对智能终端中的应用APP进行操作时的情绪
信息，向用户推荐APP的历史版本或历史参数。比如，用户对当前桌面
应用提供的桌面不满意时，可以向用户推荐其曾经使用的桌面，或者标记
为用户曾经喜欢的桌面。
更优地，本发明的技术方案中，还可以针对智能终端上属于同一分类
的其它APP(比如信息类APP：短信、微信、备忘录、邮件等)，获取用
户在使用其它APP的过程中的操作涉及的内容、操作时的情绪信息、以
及APP的使用频次，以便后续分析出用户对各APP的偏好程度。例如，
对于情绪信息为高兴，使用频次超过预设的偏好程度阈值的APP，其偏好
程度高；对于情绪信息为正常，使用频次一般的APP，其偏好程度中等；
对于情绪信息为讨厌，使用频次少于预设的偏好程度阈值的APP，其偏好
程度低。
继而，根据偏好程度来调整智能终端中各APP的顺序。图8示出了
一种根据偏好程度对智能终端中的APP排序前后的示意图。
具体地，可以获取用户在使用其它APP时浏览或发送的内容，以及
用户浏览或发送内容时的情绪信息；并根据获取的情绪信息分析用户对各
APP的偏好程度。继而，根据分析出的偏好程度，对各APP进行优先级
排序或调整相关APP的操作便捷设置参数。其中，用户浏览或发送内容
时的情绪信息，可以根据浏览或发送的内容分析得到。
进一步地，还可以统计用户对属于同一分类的各APP的使用频率，
这样，可以根据用户在使用其它APP过程中浏览或发送内容时的情绪信
息，以及统计出的各APP的使用频率，分析出用户对各APP的偏好程度。
这样，后续可根据分析出的偏好程度，调整相关APP的操作便捷设
置参数。例如，根据各APP的偏好程度，对APP进行排序，并根据排序
调整各APP在智能终端的显示界面中的位置。比如，将偏好程度排序较
为靠前的APP的应用图标增设到智能终端的界面首页，以便用户的快捷
使用。
本发明的技术方案中，关于步骤S101中在用户每次对智能终端中的
APP进行操作时，用户的情绪信息中的用户表情可以通过操作时用户的面
部信息来识别出。其中，操作时用户的面部信息可以通过摄像头捕捉。
实际应用中，通过心理学的研究发现，如图9所示，人主要有7种类
型的表情：愤怒、轻蔑、讨厌、恐惧、高兴、悲伤、惊讶。每一种表情都
和人脸上对应位置的不同特征表现相关联，因此，可以利用现有的识别技
术来进行表情识别。
具体地，可以预先离线训练用于识别表情的表情分类器，然后，利用
离线训练得到的分类器从操作时用户的面部信息中识别出用户的表情。
关于用于识别表情的表情分类器，如图10所示，可以通过如下方法
来训练：
S201：针对各种表情下的面部信息，提取特征点。
具体地，对于预先采集不同表情下的每张人脸的面部信息，通过特征
点匹配技术找到人脸上能代表表情变化特征的特征点。例如，可以通过变
形模板，计算最优化位置得到特征点。
S202：对提取的特征点进行特征描述。
具体地，当得到对于每一张人脸的面部信息中特征点的位置之后，对
特征点进行描述。
实际应用中，在识别时将人脸的各个部位分开，各个部位的重要性是
不一样的，比如说在表情识别时，最典型的部位就是眼睛、嘴、眉毛等；
这些地方的不同运动表示了丰富的面部表情；而鼻子的运动就较少。因此，
在识别时可以尽量少对鼻子进行描述，能加快速度和提高准确性。
关于特征点的描述，可以根据特征点处的几何特征，提取特征矢量来
描述，如灰度特征和转换到频率域的特征。
S203：利用各种表情下的面部信息的特征点的特征描述，训练出表情
分类器。
具体地，当得到某个表情下的面部信息中特征点的描述之后，将它送
入分类器，采用某种模式识别的分类模型来进行训练，如支持向量机模型、
神经网络模型等，得到训练好的表情分类器。
之后，如11所示，可以利用如下方法识别出操作时用户的表情：
S204：捕捉操作时用户的面部信息。
具体地，可以利用智能终端的摄像头捕捉用户在操作时的面部信息。
S205：对捕捉到的操作时用户的面部信息进行特征点提取。
S206：对提取的操作时用户的面部信息的特征点进行特征描述。
S207：利用训练好的表情分类器、以及操作时用户的面部信息的特征
点的特征描述，识别出用户的表情。
这样，在识别出用户的表情后，可以将识别出的表情加入到操作时用
户的情绪信息。
基于上述基于用户操作的APP改进方法，本发明还提供了一种基于
用户操作的APP改进系统，如图12a所示，具体可以包括：信息采集模
块3001、应用反馈模块3002。
其中，信息采集模块3001用于在用户对智能终端中的应用APP进行
操作时，获取用户的情绪信息、和操作信息。
具体地，信息采集模块3001用于在用户每次对智能终端中的应用APP
进行操作时，获取用户的情绪信息、该操作涉及的操作界面信息，并对应
记录。
本发明的方案中，信息采集模块3001具体可以包括：界面信息采集
子单元、以及情绪信息采集子单元。
其中，界面信息采集子单元在接收到操作指令时，可以对用户当前进
行操作的交互界面进行截取，并记录当前操作在该交互界面上的具体操作
位置，以此得到操作涉及的操作界面信息。其中，操作涉及的操作界面信
息属于用户操作时的一种操作信息。
情绪信息采集子单元在接收到操作指令时，可以对用户操作时的面部
进行拍摄，得到用户操作时的面部信息，并根据用户操作时的面部信息，
识别出用户的表情，作为操作时用户的情绪信息。
进一步地，情绪信息采集子单元在接收到操作指令时，还可以通过设
置在不同位置出的传感器检测得到用户在操作时的皮肤出汗程度、手指的
颤抖情况、肌肉收缩程度、心率、脉搏等情绪信息。
应用反馈模块3002用于显示已修改结构的APP。其中，APP的结构
是根据获取的用户的情绪信息和操作信息进行修改的。
更优地，应用反馈模块3002还用于显示已修改呈现内容的APP。其
中，APP的呈现内容是根据获取的用户的情绪信息和操作信息进行修改
的。
实际应用中，基于用户操作的APP改进系统中的各模块可以都设置
于智能终端中。
或者，如图12b所示，信息采集模块3001设置于智能终端中；反馈
方案确定单元3002设置于服务器中。
本发明的方案中，如图12c所示，应用反馈模块3002可以包括：模
块操作对应单元302、以及反馈信息获取单元303。
模块操作对应单元302用于根据获取的各操作涉及的操作界面信息，
确定各操作涉及的APP结构中的功能模块。
继而，反馈信息获取单元303可以基于信息采集模块3001记录获取
的在用户每次对智能终端中的应用APP进行操作时用户的情绪信息、以
及模块操作对应单元302确定出的各操作涉及的功能模块，得到用于改进
APP的功能模块的反馈信息。
进一步地，本发明的方案中，信息采集模块3001还用于在用户每次
对智能终端中的应用APP进行操作时还获取各操作的操作行为信息。其
中，操作的操作行为信息属于用户操作时的另一种操作信息。
具体地，信息采集模块3001中还可以进一步包括：行为信息采集子
单元。其中，操作行为信息采集子单元在接收到操作指令时，可以对用户
操作时的操作坐标、操作力度，并对操作的操作频度进行统计，以此得到
用户的操作行为信息。
相应地，如图12d所示，应用反馈模块3002还可以进一步包括：习
惯信息分析单元304。
其中，习惯信息分析单元304用于基于信息采集模块3001获取的各
操作的操作行为信息、模块操作对应单元302确定的各操作涉及的APP
的功能模块，分析出用户的使用习惯信息。
具体地，习惯信息分析单元304具体用于根据获取的各操作的操作行
为信息，以及各操作所涉及的功能模块，统计出各功能模块被使用的频次；
根据统计结果分析出用户的使用习惯信息。
或者，习惯信息分析单元304具体用于根据获取的各操作的操作行为
信息中的操作力度和/或操作频度，以及各操作所涉及的功能模块，确定
出用户使用各功能模块时的情感强烈程度信息；依据用户使用各功能模块
时的情感强烈程度信息，分析出用户的使用习惯信息。
或者，习惯信息分析单元304具体用于根据获取的各操作涉及的操作
界面信息、各操作涉及的APP结构中的功能模块，以及各操作的操作行
为信息，统计出操作涉及的交互内容，以及APP中操作所涉及的各功能
模块被使用的顺序、频次信息；根据统计结果分析出用户的使用习惯信息。
继而，反馈信息获取单元303可以根据模块操作对应单元302确定的
各操作涉及的功能模块，信息采集模块3001获取的操作时用户的情绪信
息，以及习惯信息分析单元304分析出的用户的使用习惯信息，得到APP
的反馈信息。
进一步地，本发明的技术方案中，如图12e所示，应用反馈模块3002
还可以包括：反馈方案确定单元305。
反馈方案确定单元305用于根据用户的情绪信息、和操作信息，确定
如下至少一个方案：APP的呈现内容改进方案；APP的参数或设置调整方
案；APP的智能程度调整方案；APP的运行时间调整方案；APP的内部关
联调整方案；向用户提示的解决方案。
本发明的技术方案中，如图13所示，反馈信息获取单元303可以包
括：对应关系构建子单元401、反馈信息确定子单元402。
其中，对应关系构建子单元401用于根据信息采集模块3001获取的
操作时用户的情绪信息，以及模块操作对应单元302确定的各操作所涉及
的功能模块，建立APP的功能模块与情绪信息的对应关系。
反馈信息确定子单元402用于综合对应关系构建子单元401建立的
APP的功能模块与情绪信息的对应关系，以及习惯信息分析单元304分析
出用户的使用习惯信息，得到用户使用APP的反馈信息。
进一步地，对应关系构建子单元401还用于根据信息采集模块3001
获取的各操作涉及的操作界面信息，确定操作所涉及的呈现内容；并根据
信息采集模块3001获取的操作时用户的情绪信息，以及反馈方案确定单
元305确定的操作所涉及的呈现内容，建立APP的呈现内容与情绪信息
的对应关系。
相应地，反馈信息确定子单元402还用于将APP的呈现内容与情绪
信息的对应关系也综合到反馈信息中。
本发明的技术方案中，基于用户操作的APP改进系统中的各模块、
各单元、以及单元下的各子单元的具体功能实现，可以参照上述基于用户
操作的APP改进方法的具体步骤，在此不再详述。
本发明的技术方案中，可以基于用户在对智能终端中的APP进行操
作时用户的情绪信息、以及操作时的操作信息，得到用于改进APP的反
馈信息，并显示已修改结构的APP，或已修改呈现内容的APP。相比现有
仅基于用户的情绪对APP进行改进，本发明方案基于用户在操作APP时
对应的情绪信息和操作信息所得到的反馈信息，直接地反映了APP与用
户的关系，有利于APP的开发者能够针对用户，对APP的结构和呈现内
容作出针对性地、有效地改进，以提高用户对改进后的APP的使用体验。
而且，基于本发明提供的反馈信息可以对APP中的功能模块进行针对性
的深层次改进，而不仅仅是APP的交互界面的浅层次改进。
进一步地，本发明的方案中，还可以基于用户每次对智能终端中的应
用APP进行操作时的操作行为信息，分析出用户的使用习惯信息；继而，
可以将用户的使用习惯信息的加入到用户针对APP的反馈信息中。由于
操作行为信息是在用户使用APP过程中获取的，即直接针对当前使用的
APP，因此，可以更为直接地反映出用户对APP的使用体验，包括：使用
习惯信息。因此，相比基于可能受其他事务影响的用户的情绪来得到用于
APP改进的反馈信息，基于在使用APP过程中的使用习惯信息、以及情
绪信息得到用户针对APP的反馈信息更加准确、全面，从而可以更加准
确、全面地反映用户对APP的使用体验。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的
普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进
和润饰，这些改进和润饰也应视为本发明的保护范围。