基于语义理解和回答集编程的服务机器人自主售货方法.pdf

本发明提出了一种基于语义理解和回答集编程的服务机器人自主售货方法，主要包括，第一，基于机器学习的grounding技术。Grounding问题在学术用词上简单概括为机器人怎么把用户的语言对应到真实环境。具体方法分为三步：第一步就是语言的语义解析，技术要点是对数线性模型和PCCG结合。第二步就是环境的获取，技术要点是linemod物体识别和空间关系的计算。第三步就是将这前两步的结果结合利用lambda规则运算得出最终用户语言所指的商品。第二，物体操作任务规划。以前的规划技术大部分使用的是语言处理生成的语言学知识库，这样当处理不同环境设置的情况下会减弱规划的能力。所以这部分技术方案将会引入grounding结果中的环境状态，同时采用ASP推理机制计算得出行动系列。

1.  一种基于语义理解和回答集编程的服务机器人自主售货方法，其特征在于包括如下步骤：
步骤1、基于机器学习大数据的语义理解
(1.1)：预处理1：通过网上获取已经标注的训练集，在此训练集上，用对数线性模型训练并通过PCCG生成语义树得出训练集的语义词典；
(1.2)预处理2：标注大量所要出售物体，用linemod模型训练得出物体识别模型；
(1.3)语义理解grounding的技术步骤：获取用户的请求，机器人生成该请求的语义，机器人获取当前的环境，机器人计算出该用户所需的物体；
步骤2、物体操作任务规划
机器人知道用户需要的物体时，如果机器人无法抓取到这个物体，机器人就会调用操作任务规划模块来为用户抓取该物体并递交给用户；具体步骤如下：
(2.1)预处理：编写规划程序；
(2.2)机器人获取当前的状态，获取柜台上摆放的物体以及位置关系；机器人获取当前的目标，即用户所需的物体，然后用iclingo执行规划程序以及机器人获取的信息，从而得出行动序列。

2.  根据权利要求1所述的方法，其特征在于所述Grounding具体如下：实现自然语言句子内容和真实环境的连接，使用规则对视觉的结果和语义理解的结果进行匹配得出句子指代的物体；第一步是句子的语义解析，第二步是环境的获取；环境的获取是通过机器人传感器得到并对物体进行识别和计算每两物体间的空间关系；第三步就是把前两步得到的结果结合起来，生成最终句子的grounding；结合的规则根据lambda演算的变量来用环境获取得到的数据库替代。

基于语义理解和回答集编程的服务机器人自主售货方法
技术领域
本发明属于通用智能型服务机器人领域，涉及到基于语义理解和回答集编程的服务机器人自主售货方法。该方法适用于室内购物场所动态环境下的机器人自主与购物者对话、了解其购物需求、最后操作物体。特别适用于购物者不知道商品名字但是能够描述商品的类型和形状等环境下机器人的自主理解以及售货服务。为了达到最大程度的智能，机器人实现了基于机器学习的自然语言语义理解，基于回答集编程的规划，以及机器人基本的自主导航，避障，物体识别，抓取动作。本发明与其相关的基础技术，是一种通用方法，能用于所有购物场所动态环境下的自主售货服务。包括但不限于家用服务机器人，助老助残机器人，自主售货机器人，导购机器人，以及帮助文化程度低的语言理解机器人。
背景技术
人工智能最大的目标就是提高机器人的智能化程度，而怎么体现机器人的智能化程度最大的因素来源于能够自主不加干预的理解用户的需求同时帮助用户实现需求。在我们机器人自主售货方法里面，实现机器人智能化有两个方面：一个是自然语言的语义理解来理解用户，一个是任务的规划来实现用户的需求。
机器人的语义理解，是智能型服务机器人的核心技术之一，这是机器人理解用户的必备手段。特别应用于老弱病残的服务机器人。根据用户的指令，机器人把这些指令翻译成机器人内部的形式表达。有了这个形式表达，机器人能够利用数学符号推理规划的方式来进行下一步的对话或者机器人的某个动作的发生。
机器人的任务规划，是智能型服务机器人的另外一个核心技术，这是描述用户任务怎么执行或者规划出一个行动序列来实现用户的任务。例如购物者需要一瓶饮料，假设饮料前面有一罐零食挡住了这瓶饮料，机器人这时候就得识别出饮料前面还有商品，任务规划的结果就是先移开前面的障碍物(零食)，然后再去获取购物者所需的饮料。本发明所用的任务规划实现方法采用回答集编程，使用该方法不仅简便而且快捷时效。
机器人的基本能力，如自主导航，避障，物体识别以及抓取，是智能服务型机器人的核心支撑技术。这些基本能力，构成了整个机器人底层控制，包括激光传感器，摄像头，手臂。
本发明基于语义理解和回答集编程，在机器人基本能力基础上，提出并实现了当购物者 不知道商品名字但是能够描述商品的类型和形状等环境下机器人的自主理解以及售货服务。
现有的自动售货机器人都是在用户确定商品的名字环境下查找式的根据商品名给用户，例如自动售货机以及其它的远程控制机器人。这些机器人已经不属于智能服务机器人范畴，而且没有与用户语言对话和理解，任务规划，以及底层机器人物体识别等等技术。机器人只是简单的记录，然后传送信息给终端。
现有的售货机器人，不能在超市或者其他大型的购物中心进行自动导航，定位，抓取，更重要的是尚未有在购物者不知道商品名字但是能够描述商品的类型和形状等环境下机器人的自主理解以及售货服务。
本发明要解决的技术问题：要实现在购物者不知道商品名字但是能够描述商品的类型和形状等环境下机器人的自主理解以及售货服务，其技术上主要有如下几个问题：
1.基于机器学习大数据的语义理解，即使用大量的语料进行学习训练得出模型，然后把自然语言句子翻译成机器人内部语义表达。
2.实现自然语言句子内容和真实环境的连接，简称grounding，解决的问题是从内部语义表示中的符号对应到真实环境中的物体。该方法分为两步：首先，从视觉中得出环境中的物体以及物体对应的形状、类型、以及各个物体之间的方位等等；然后，结合语义理解的结果和视觉的结果利用一些规则得出句子代表所要具体的物体。例如：我要一瓶饮料，它是罐装的，而且在另外一瓶饮料的左边。这个时候，通过该方法就可以得出上面一句话中指代的到底是哪个物体。
3.物体操作任务规划，解决的问题是如何获取用户所需物体而不会碰到挡住它的物体，这样能够保证机器人安全的操作物体。为了避免障碍物，该方法采用回答集编程，使得机器人能够快速以及有效的规划出一个抓取动作序列。
发明内容
一种基于语义理解和回答集编程的服务机器人自主售货方法，针对需要解决的问题，主要分为如下几个部分：基于机器学习大数据的语义理解，grounding，基于回答集编程的任务规划。其中，语义理解是智能型服务机器人的基础技术，它的目标就是能够理解自然语言句子，与人进行交互。而任务规划是机器人执行前思考动作该按照什么顺序执行以便完成任务。
步骤1、基于机器学习大数据的语义理解
在语义理解的技术中，使用了概率组合范畴语法(PCCG)来对句子解析成一条句法树，同时使用lambda演算生成一条逻辑形式的表达式。具体事例如附图1所示。
询问：这个饮料所在的右边是一个食物(用户解释所要的这瓶饮料)
PCCG语法解析树的核心就是语义词典和规则。如图1所示，当询问“这个饮料所在的右边是一个食物”，机器人首先对中文句子分词的结果是“这个饮料所在的右边是一个食物”，然后在我们训练的词库里面都有每个词的词义，如饮料的语义就是N：lambda x.drink(x)；其中N代表词性，drink是饮料的词义，如图1的1～2行。当得到句子中每个词的语义之后，PCCG构成语法树的另一个核心就是合成规则，我们采用的是向前和向后合成规则。合成规则就是把句子中的独立词组逐步合并成一条语句，同时在合成的过程中运用lambda演算生成整条句子的语义，如图1的3～8行。
Grounding
实现自然语言句子内容和真实环境的连接，使用规则对视觉的结果和语义理解的结果进行匹配得出句子指代的物体。如附图2，3所示，附图2中的数字1～8代表环境中的物体，具体实现Grounding的框架如附图3.为了实现grounding，在图3的左边输入为真实环境和用户的询问请求，输出为图最后边的用户询问句子的grounding。我们首先把grounding问题的解决办法分为三步，第一步是句子的语义解析，第二步是环境的获取。其中，语义解析在图1中已经得到，环境的获取是通过机器人传感器得到并对物体进行识别和计算每两物体间的空间关系，如图3的中间图示。第三步就是把前两步得到的结果结合起来，生成最终句子的grounding。结合的规则根据lambda演算的变量来用环境获取得到的数据库替代。
步骤2、物体操作任务规划
为了给含有失败即否定的逻辑程序提供模型论语义，Gelfond and Lifschitz(1988)提出稳定模型语义(stable model semantics)，首次利用非单调推理领域的成果成功解释失败即否定。随着研究的深入，稳定模型语义不断被扩展，发现了很多良好的性质，它不光能解释逻辑程序中失败即否定，还与非单调推理中很多工作有密切联系，从而被认可为一个实用的非单调推理工具和可以表达常识知识的知识表示语言。称这个新领域为回答集编程(Answer Set Programming，ASP)。所以，在解决任务规划的方法中采用了回答集编程。在回答集编程中，首先定义“前面”这个名词的规则，如果A在B的前面，B在C的前面，那么A在C的前面。然后定义“可抓取”动作的规则，如果A的前面有物体，则A不可抓取，否则可抓取。根据上面的环境示例图，机器人要想获得物体8，则机器人应该得依次移开1、2、3、6、5。
本发明提出一种基于语义理解和回答集编程的服务机器人自主售货方法，该方法能够在购物者不知道商品名字但是能够描述商品的类型和形状等环境下机器人的自主理解以及售货服务，故此类的自主理解以及售货服务是本发明的关键。其基础核心是基于机器学习大数据底下的语义理解，使机器人能够开放式的与人进行对话，理解用户的语言。但是，仅仅理解用户的语言还不够，还得需要帮用户完成需求，这就需要任务规划，实现其完全可移动， 自主的去抓取物体，移开障碍物等售货服务。
具体实现如下：
预处理：编写规划程序(比如：如果有物体A挡住物体B，则先移开A，再抓取B)。
机器人获取当前的状态(比如：柜台上摆放的物体以及位置关系)＝＝＝＝》机器人获取当前的目标(用户所需的物体)＝＝＝＝》用iclingo执行规划程序以及机器人获取的信息＝＝＝＝》得出行动序列。
因此，在购物者不知道商品名字但是能够描述商品的类型和形状等环境下机器人的自主理解以及售货服务的方法是本发明的创新之处。
有益效果：
本发明提出一种基于语义理解和回答集编程的服务机器人自主售货方法，其主要优点是在于通用性，智能性，不局限于机器人；机器人可以是可移动，手臂可操作，更可以理解用户，实现深层的人机交互，任务规划。适用范围不仅仅是购物场所的柜台，还可以是购物场所的任何地点帮购物者通过人机对话获取其意图，然后采购商品。例如有许多人参观的大型展会以及购物商场等。在应用时，不需要对已有场景进行任何加工，例如加入地标，物体其他标记等，因此具有简单，智能，可靠，稳定，部署方面等优点。更加重要的是机器人完全可以在购物者不知道商品名字但是能通过一步步对话描述商品的类型和形状等环境下的自主理解以及售货服务。
附图说明
图1：基于PCCG构建的一棵语法树(包含语义)实例“这个饮料所在的右边是一个食物”；
图2：货架物体摆放的示意图，每个数字代表一个物体；
图3：grounding实现的框架。
图4：是经典的机器人实施装配方式。
具体实施方式
本发明提出的基于语义理解和回答集编程的服务机器人自主售货方法，其实施可以在任何机器人上，但是为了更好的运用此方法，可以运行在具有手臂可操作物体，可移动，拥有基本的物体识别功能的机器人，其他核心部分为运行在计算机上的软件系统。图4是经典的机器人实施装配方式。
具体应用过程：比如在超市货架上，摆放着一系列物体，假设如图2所示。以下是机器 人自主售货假设场景对话。
用户：机器人，我想要一瓶饮料
机器人：您好，我们这里有很多瓶饮料。请问，您需要哪个？
用户：那瓶饮料所在的右边是一个食物。你知道我说的是哪个饮料吗？
机器人：好的，我知道了。(这个时候，机器人已经计算得出用户句子的grounding，详细计算请看发明内容的步骤1)。假设机器人得出用户需要的是物体6，机器人就调用物体操作任务规划，规划出一系列行动序列。如：第一步，移开物体1；第二步，移开物体2；第三步，抓取物体6；第四步，给用户物体6。