用于在机器人烹饪厨房中制备食物的方法和系统相关申请的交叉引用
本申请要求以下申请的优先权,其公开内容通过整体引用而合并于此:2015年2月
16日提交的题为“Method and System for Food Preparation in a Robotic Cooking
Kitchen”的美国临时申请No.62/116,563、2015年2月8日提交的题为“Method and System
for Food Preparation in a Robotic Cooking Kitchen”的美国临时申请No.62/113,
516、2015年1月28日提交的题为“Method and System for Food Preparation in a
Robotic Cooking Kitchen”的美国临时申请No.62/109,051、2015年1月16日提交的题为
“Method and System for Robotic Cooking Kitchen”的美国临时申请No.62/104,680、
2014年12月10日提交的题为“Method and System for Robotic Cooking Kitchen”的美国
临时申请No.62/090,310、2014年11月22日提交的题为“Method and System for Robotic
Cooking Kitchen”的美国临时申请No.62/083,195、2014年10月31日提交的题为“Method
and System for Robotic Cooking Kitchen”的美国临时申请No.62/073,846、2014年9月
26日提交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请
No.62/055,799、2014年9月2日提交的题为“Method and System for Robotic Cooking
Kitchen”的美国临时申请No.62/044,677、2014年7月15日提交的题为“Method and System
for Robotic Cooking Kitchen”的美国临时申请No.62/024,948、2014年6月18日提交的题
为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.62/013,691、
2014年6月17日提交的题为“Method and System for Robotic Cooking Kitchen”的美国
临时申请No.62/013,502、2014年6月17日提交的题为“Method and System for Robotic
Cooking Kitchen”的美国临时申请No.62/013,190、2014年5月8日提交的题为“Method and
System for Robotic Cooking Kitchen”的美国临时申请No.61/990,431、2014年5月1日提
交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.61/
987,406、2014年3月16日提交的题为“Method and System for Robotic Cooking
Kitchen”的美国临时申请No.61/953,930、以及2014年2月20日提交的题为“Method and
System for Robotic Cooking Kitchen”的美国临时申请No.61/942,559。
技术领域
本发明总体上涉及机器人和人工智能的学科交叉领域,更特别地,涉及用于通过
使专业和非专业厨师菜肴的食物制备过程数字化,随后借助于实时电子调节来复现厨师的
烹饪动作、过程和技术而进行食物制备的计算机化机器人食物制备系统。
背景技术
机器人的研发已经进行了几十年,但是其取得的进展大多是在诸如汽车制造自动
化的重工业应用或者军事应用当中。尽管已经针对消费者市场设计出了简单的机器人系
统,但是到目前为止几乎看不到家庭消费机器人的广泛应用。随着技术进步和人民收入更
高,市场已经成熟到适于为技术进步创造机会以改善人们生活。机器人借助于增强的人工
智能以及对许多形式的人类技能和任务的仿真而不断地改进着自动化技术。
自从二十世纪七十年代首次开发机器人以来,在某些领域用机器人代替人类执行
通常由人类执行的任务的想法是一种不断演进的思想。制造业长期以来一直以教导重现
(teach-playback)模式使用机器人,其中通过控制台(pendant)或离线固定的轨迹生成和
下载对机器人进行教导,其持续复制一些动作而不存在变化或偏差。公司将计算机教导轨
迹的预编程轨迹运行以及机器人动作重现运用到诸如搅拌饮料、汽车焊接或喷漆等应用领
域。但是,所有这些常规应用均采用意在使机器人只忠实地执行动作命令的1:1计算机对机
器人或教导-重现原则,机器人将总是无偏差地遵循所教导的/预先计算的轨迹。
美食是一门吃的艺术,美食家的菜谱敏锐地将高质量的食材和味道融合起来,吸
引着我们的全部感官。美食家的烹饪所遵循的原则是以可能要非常细心、需要专门知识和
技术而且在一些情况下可能需要长期训练的技能为基础的。在过去的若干年里,由于收入
的快速提高以及烹饪意识的世代流传,对美味食物的需求也随之激增。但是,用餐者仍需去
特定餐厅或场所品尝其喜爱的厨师烹饪的美食。现场观看厨师制备您喜欢的菜肴或者体验
菜肴的制备是很有利的,这会让您想起儿时祖母为你精心制作的美味。
因此,希望有一种系统和方法,使消费者在自己家里就能够方便地制作、品尝厨师
的美味菜肴,而不必千里迢迢地走遍世界各地的每一家餐厅去品尝特定的美味。
发明内容
本公开的实施例涉及带有机器人指令的机器人设备的方法、计算机程序产品和计
算机系统,其以基本相同的结果复现食物菜肴,就像是厨师来制备了该食物菜肴一样。在第
一实施例中,标准化机器人厨房中的机器人设备包括两个机器臂和手,其基于先前记录的
厨师制备相同食物菜肴的精确动作的软件文件(菜谱脚本),按照相同的顺序(或基本相同
的顺序)和相同的时序(或基本相同的时序)复现厨师的精确动作以制备食物菜肴。在第二
实施例中,计算机控制的烹饪设备基于先前记录在软件文件中的感测曲线,例如随时间推
移的温度,来制备食物菜肴,其中厨师用带有传感器的烹饪设备制备相同的食物菜肴,当厨
师先前在配备有传感器的烹饪设备上制备食物菜肴时,由计算机记录随时间推移的传感器
值。在第三实施例中,厨房设备包括第一实施例中的机器臂和第二实施例中用于制备菜肴
的带有传感器的烹饪设备,其将机器臂与一条或多条感测曲线两者结合起来,其中机器臂
能够在烹饪过程期间对食物菜肴进行质量检查,质量检查所针对的特性诸如是味道、气味
和外观,由此允许对食物菜肴的制备步骤进行任何烹饪调整。在第四实施例中,厨房设备包
括采用计算机控制容器和容器标识的食物存放系统,用于存放食材以及为用户提供食材,
以遵循厨师的烹饪指令制备食物菜肴。在第五实施例中,机器人烹饪厨房包括具有臂的机
器人和厨房设备,其中机器人围绕厨房设备移动,从而通过模仿厨师的精确烹饪动作来制
备食物菜肴,其包括对菜谱脚本中定义的制备过程做出可能的实时修改/适应性调节。
一种机器人烹饪引擎包括检测、记录和模仿厨师烹饪活动,控制诸如温度和时间
之类的重要参数,以及处理借助于指定用具、设备和工具的执行,由此重现味道与厨师制备
的同种菜肴相同的美食家菜肴,并且在特定和方便的时间上菜。在一实施例中,机器人烹饪
引擎提供机器臂以用于采用相同的食材和技术复现厨师的相同动作,从而制作相同口味的
菜肴。
本公开的基础动机的核心在于,在人自然地执行活动的过程中采用传感器对其进
行监视,然后能够使用监视传感器、捕获传感器、计算机和软件来生成信息和命令,从而使
用一个或多个机器人和/或自动化系统复现人的活动。尽管可以设想多种这样的活动(例
如,烹饪、绘画、演奏乐器等),但是本公开的一个方面涉及烹饪膳食;其实质上是机器人膳
食制备应用。在仪器化应用特定的设置(本实例中为标准化厨房)中执行对人的监视,并且
对人的监视涉及采用传感器和计算机来观察、监视、记录和解释人类厨师的运动和动作,从
而开发出对环境中的变化和改变具有鲁棒性的可由机器人执行的命令集,能够允许机器人
厨房中的机器人或自动化系统制备出从标准和质量上与人类厨师制备的菜肴相同的菜肴。
多模态感测系统的使用是收集必要的原始数据的手段。能够收集和提供这样的数
据的传感器包括环境和几何传感器,例如,二维(摄像机等)和三维(激光、声纳等)传感器,
以及人类运动捕获系统(人佩戴的摄像机目标、仪器化外套/外骨架、仪器化手套等),以及
在菜谱创建和执行过程中采用的仪器化(传感器)和动力(致动器)设备(仪器化用具、烹饪
设备、工具、食材分配器等)。通过一个或多个分布式/中央计算机收集所有这些数据并且通
过各种软件过程对其进行处理。算法将对数据进行处理和抽象化,以达到人类和计算机控
制的机器人厨房能够理解人类采取的活动、任务、动作、设备、食材以及方法和过程,包括复
现特定厨师的关键技能的程度。通过一个或多个软件抽象化引擎对原始数据进行处理,从
而建立人可读的、并且通过进一步处理机器可理解和执行的菜谱脚本,其清楚说明机器人
厨房将执行的特定菜谱的所有步骤的所有动作和活动。这些命令的复杂性范围从控制各个
关节到随时间的特定关节运动概况,到与菜谱中的具体步骤相关联的、较低层级运动执行
命令嵌入在其中的命令抽象化层级。抽象化运动命令(例如,“将蛋磕到平底锅里”、“两面烤
成金黄色”等)可以从原始数据生成,并且通过大量迭代学习过程精炼和优化,现场和/或离
线地执行,从而允许机器人厨房系统成功处理测量不确定性、食材变化等,由此能够基于相
当抽象化/高层级的命令(例如,“通过把手抓取锅(pot)”、“倒出内容物”、“抓取台面上的汤
匙并且对汤进行搅拌”等),使用安装至机器臂和手腕上的带手指的手来实现复杂的(自适
应的)微操纵活动。
创建机器可执行命令序列(其现在容纳在允许共享/传输的数字文件内,允许任何
机器人厨房执行它们)的能力开辟了随时随地执行菜肴制备步骤的选项。因而,其允许在线
买/卖菜谱的选项,允许用户基于每次使用或订购来访问和分发菜谱。
通过机器人厨房执行人类制备的菜肴的复现,其实质上是对人类厨师在菜肴创造
过程中采用的仪器化厨房的标准化复制,除了现在是由受计算机监视的一组机器臂和手以
及计算机可控制的器具、装置、工具、分配器等执行人的动作之外。因而,菜肴复现的保真度
与机器人厨房对人类厨师在制备菜肴时受到观察所处的厨房(及其所有元件和食材)的复
制程度紧密相关。
广言之,可以提供一种对机器人设备进行操作的计算机实施的方法,其包括对一
种或多种食物菜肴的电子描述,包括厨师由食材制作每种食物菜肴的菜谱;对于每种食物
菜肴,随着厨师采用食材和厨房装置制备食物菜肴而通过多个机器人传感器感测厨师活动
的观测序列;在所述观测序列中检测对应于在制备特定食物菜肴的每一阶段内执行的活动
的序列的微操纵;将感测到的观测序列转换成用于对能够执行微操纵序列的机器人设备加
以控制的计算机可读指令;至少将用于微操纵的指令序列存储到用于每种食物菜肴的电子
介质上,其中用于每种食物菜肴的微操纵的序列存储为相应的电子记录;将用于食物菜肴
的相应电子记录传输至能够对应于厨师的厨师动作复现所存储的微操纵的序列的机器人
设备;以及通过机器人设备执行用于特定食物菜肴的微操纵的指令序列,由此获得基本上
与厨师制备的原始食物菜肴相同的结果,其中执行指令包括感测在制备食物菜肴时采用的
食材的属性。
有利地,标准化机器人厨房中的机器人设备具有通过全球网络和数据库访问制备
来自世界各地的种类繁多的美食的能力,与之相比厨师可能只擅长一种烹饪风格。标准化
机器人厨房还能够捕获并记录你最喜欢的食物菜肴之一,每当你想要享用这种菜肴时机器
人设备就可以进行复现,而不必一次一次地重复制备相同菜肴的劳作过程。
在下文的具体实施方式中公开了本发明的结构和方法。这一发明内容部分并非旨
在对本发明进行界定。本发明由权利要求界定。通过下述描述、所附权利要求和附图,本发
明的这些以及其他实施例、特征、方面和优点将变得更好理解。
附图说明
将参照附图就本发明的具体实施例对本发明予以描述,附图中:
图1是示出根据本发明的具有硬件和软件的总体机器人食物制备厨房的系统图。
图2是示出根据本发明的包括厨师工作室系统和家庭机器人厨房系统的机器人食
物烹饪系统的第一实施例的系统图。
图3是示出根据本发明的用于通过复现厨师菜谱的过程、技术和动作而制备菜肴
的标准化机器人厨房的一实施例的系统图。
图4是示出根据本发明的与厨师工作室系统和家庭机器人厨房系统中的计算机结
合使用的机器人食物制备引擎的一实施例的系统图。
图5A是示出根据本发明的厨师工作室菜谱创建过程的框图。
图5B是示出根据本发明的标准化教导/重现机器人厨房的一实施例的框图。
图5C是示出根据本发明的菜谱脚本生成和抽象化引擎的一实施例的框图。
图5D是示出根据本发明的用于标准化机器人厨房中的对象操纵的软件单元的框
图。
图6是示出根据本发明的多模态感测和软件引擎架构的框图。
图7A是示出根据本发明的厨师采用的标准化机器人厨房模块的框图。
图7B是示出根据本发明的具有一对机器臂和手的标准化机器人厨房模块的框图。
图7C是示出根据本发明的由厨师使用的标准化机器人厨房模块的物理布局的一
实施例的框图。
图7D是示出根据本发明的由一对机器臂和手使用的标准化机器人厨房模块的物
理布局的一实施例的框图。
图7E是描绘根据本发明的逐步流程和方法的框图,所述逐步流程和方法用于确保
在基于标准化机器人厨房执行菜谱脚本的菜谱复现过程中存在有控制或检验点。
图8A是示出根据本发明的厨师活动和机器人镜像活动之间的转换算法模块的一
实施例的框图。
图8B是示出由厨师49佩戴的用于捕获和传输厨师活动的一副具有传感器的手套
的框图。
图8C是示出根据本发明的基于来自厨师手套的捕获感测数据的机器人烹饪执行
的框图。
图8D是示出相对于平衡的动态稳定和动态不稳定曲线的曲线图。
图8E是示出根据本发明的需要被称为阶段的步骤的序列的食物制备过程的顺序
图。
图8F是示出根据本发明的作为制备食物菜肴的阶段的数量的函数的总体成功概
率的曲线图。
图8G是示出采用多阶段机器人食物制备的菜谱执行的框图,其中所述多阶段食物
制备采用微操纵和动作基元(primitive)。
图9A是示出根据本发明的用于检测和移动厨房工具、对象或一件厨房设备的具有
触觉振动、声纳和摄像机传感器的机器手和手腕的例子的框图。
图9B是示出根据本发明的耦合至一对用于标准化机器人厨房中的操作的机器臂
和手的、具有传感器摄像机的云台头的框图。
图9C是示出根据本发明的用于标准化机器人厨房内的操作的机器手腕上的传感
器摄像机的框图。
图9D是示出根据本发明的用于标准化机器人厨房中的操作的机器手上的手内眼
(eye-in-hand)的框图。
图9E-9I是示出根据本发明的机器手中的可形变手掌的各方面的图画示图。
图10A是示出厨师在机器人厨房环境内佩戴的用于在具体菜谱的食物制备过程中
记录和捕获厨师活动的厨师记录装置的例子的框图。
图10B是示出根据本发明的用机器人姿势、运动和力评估对厨师活动的捕获的过
程的一实施例的流程图。
图11是示出根据本发明的家庭机器人厨房系统中采用的机器臂实施例的侧视图
的框图。
图12A-12C是示出根据本发明的与具有手掌的机器手一起使用的厨房把手的一实
施例的框图。
图13是示出根据本发明的具有触觉传感器和分布式压力传感器的示例机器手的
图画示图。
图14是示出根据本发明的厨师在机器人烹饪工作室佩戴的感测服装的示例的图
画示图。
图15A-15B是示出根据本发明的用于厨师制备食物的具有传感器的三指触觉手套
的一实施例以及具有传感器的三指机器手的示例的图画示图。
图16是示出根据本发明的微操纵数据库的库(library)的创建模块和微操纵数据
库的库的执行模块的框图。
图17A是示出根据本发明的厨师用于执行标准化操作活动的感测手套的框图。
图17B是示出根据本发明的机器人厨房模块中的标准化操作活动的数据库的框
图。
图18A是示出根据本发明的包覆有人工的类似于人的柔软皮肤的手套的每个机器
手的示意图。
图18B是示出根据本发明的包覆有人工的类似于人的皮肤的手套以基于已经预定
义并且储存在库数据库中的微操纵库数据库执行高层级微操纵的机器手的框图。
图18C是示出根据本发明的用于食物制备的三种类型的操纵动作分类的示意图。
图18D是示出根据本发明的对用于食物制备的操纵动作所做的分类(taxonomy)的
一实施例的流程图。
图18E是示出根据本发明的机器臂和机器手之间的相互作用和相互配合的一示例
的框图。
图18F是示出根据本发明的采用可附接至炊具头的标准化厨房把手的机器手和可
附接至厨具的机器臂的框图。
图19是示出根据本发明的创建导致用刀敲裂鸡蛋的微操纵的框图。
图20是示出根据本发明的用于具有实时调整的微操纵的菜谱执行的示例的框图。
图21是示出根据本发明的在标准化厨房模块中捕获厨师的食物制备动作的软件
过程的流程图。
图22是示出根据本发明的机器人标准化厨房模块中的机器人设备实施的食物制
备的软件过程的流程图。
图23是示出根据本发明的建立、测试、验证和存储用于微操纵系统的各种参数组
合的软件过程的一实施例的流程图。
图24是示出根据本发明的用于创建微操纵系统的任务的软件过程的一实施例的
流程图。
图25是示出根据本发明的分配和利用标准化机器人厨房内的标准化厨房工具、标
准化对象和标准化装置的库的过程的流程图。
图26是示出根据本发明的借助于三维建模识别非标准化对象的过程的流程图。
图27是示出根据本发明的用于微操纵的测试和学习的过程的流程图。
图28是示出根据本发明的用于机器臂质量控制和对准功能的过程的流程图。
图29是示出根据本发明的供在标准化机器人厨房中使用的微操纵对象的数据库
库(library)结构的表格。
图30是示出根据本发明的供在标准化机器人厨房中使用的标准化对象的数据库
库结构的表格。
图31是示出根据本发明的用于进行鱼肉的质量检查的机器手的图画示图。
图32是示出根据本发明的用于进行碗内质量检查的机器人传感器的图画示图。
图33是示出根据本发明的用于确定食物新鲜度和质量的检测装置或具有传感器
的容器的图画示图。
图34是示出根据本发明的用于确定食物新鲜度和质量的在线分析系统的系统图。
图35是示出根据本发明的带有可编程分配器控制的预填充容器的框图。
图36是示出根据本发明的供在标准化机器人厨房中使用的菜谱系统结构的框图。
图37A-37C是示出根据本发明的供在标准化机器人厨房中使用的菜谱搜索菜单的
框图。
图37D是根据本发明的具有创建和提交菜谱选项的菜单的屏幕快照。
图37E-37M是示出具有功能能力的食物制备用户界面的一实施例的流程图,所述
功能能力包括菜谱过滤器、食材过滤器、设备过滤器、账号和社交网络访问、个人合作伙伴
页、购物车页以及有关购买的菜谱、注册设置、创建菜谱的信息。
图37N-37V是根据本发明的各种图形用户界面和菜单选项的屏幕快照。
图38是示出根据本发明的选择供在标准化机器人厨房中使用的字段的菜谱搜索
菜单的框图。
图39是示出根据本发明的具有用于三维跟踪和参考数据生成的增强型传感器的
标准化机器人厨房的框图。
图40是示出根据本发明的具有用于创建实时三维模型的多个传感器的标准化机
器人厨房的框图。
图41A-41L是示出根据本发明的标准化机器人厨房的各种实施例和特征的框图。
图42A是示出根据本发明的标准化机器人厨房的顶视平面图的框图。
图42B是示出根据本发明的标准化机器人厨房的透视平面图的框图。
图43A-43B是示出根据本发明的标准化机器人厨房中的具有自动透明门的厨房模
块框架的第一实施例的框图。
图43C-43F是示出根据本发明的标准化机器人厨房的屏幕快照和样本厨房模块规
格的框图。
图44A-44B是示出根据本发明的标准化机器人厨房中的具有自动透明门的厨房模
块框架的第二实施例的框图。
图45是示出根据本发明的具有可伸缩致动器的标准化机器人厨房的框图。
图46A是示出根据本发明的具有一对固定机器臂而没有移动轨道的标准化机器人
厨房的正视图的框图。
图46B是示出根据本发明的具有一对固定机器臂而没有移动轨道的标准化机器人
厨房的斜视图的框图。
图46C-46G是示出根据本发明的具有一对固定机器臂而没有移动轨道的标准化机
器人厨房中的各种尺寸的示例的框图。
图47是示出根据本发明的与标准化机器人厨房结合使用的可编程存储系统的框
图。
图48是示出根据本发明的与标准化机器人厨房结合使用的可编程存储系统的正
视图的框图。
图49是示出根据本发明的与标准化机器人厨房结合使用的食材获取容器的正视
图的框图。
图50是示出根据本发明的与标准化机器人厨房结合使用的与食材获取容器相关
联的食材质量监视仪表板的框图。
图51是示出根据本发明的菜谱参数的数据库库(database library)的表格。
图52是示出根据本发明的记录厨师的食物制备过程的一实施例的过程的流程图。
图53是示出根据本发明的机器人设备制备食物菜肴的一实施例的过程的流程图。
图54是示出根据本发明的在机器人获得与厨师相同或基本相同的食物菜肴制备
结果的过程中的质量和功能调整的一实施例的过程的流程图。
图55是示出根据本发明的机器人厨房通过复现来自机器人厨房中的记录软件文
件的厨师活动而制备菜肴的过程中的第一实施例的流程图。
图56是示出根据本发明的机器人厨房中的存储验入(check-in)和识别过程的流
程图。
图57是示出根据本发明的机器人厨房中的存储验出(check-out)和烹饪制备过程
的流程图。
图58是示出根据本发明的机器人厨房中的自动化烹饪前制备过程的一实施例的
流程图。
图59是示出根据本发明的机器人厨房中的菜谱设计和脚本化过程的一实施例的
流程图。
图60是示出根据本发明的供用户购买机器人食物制备菜谱的订购模型的流程图。
图61A-61B是示出根据本发明的从门户网站的菜谱商业平台进行菜谱搜索和购
买/订购的过程的流程图。
图62是示出根据本发明的在app平台上创建机器人烹饪菜谱app的流程图。
图63是示出根据本发明的用户对烹饪菜谱进行搜索、购买和订购的过程的流程
图。
图64A-64B是示出根据本发明的预定义菜谱搜索标准的示例的框图。
图65是示出根据本发明的机器人厨房中的一些预定义容器的框图。
图66是示出根据本发明的按照矩形布局配置的机器人餐馆厨房模块的第一实施
例的框图,该厨房具有多对机器手以用于同时进行食物制备处理。
图67是示出根据本发明的按照U形布局配置的机器人餐馆厨房模块的第二实施例
的框图,该厨房具有多对机器手以用于同时进行食物制备处理。
图68是示出根据本发明的具有感测炊具和曲线的机器人食物制备系统的第二实
施例的框图。
图69是示出根据本发明的第二实施例中的机器人食物制备系统的一些物理元件
的框图。
图70是示出根据本发明的在第二实施例中采用的具有实时温度传感器的(智能)
平底锅的感测炊具的框图。
图71是示出根据本发明的来自厨师工作室中的感测炊具的不同传感器的具有多
个数据点的记录温度曲线的曲线图。
图72是示出根据本发明的来自厨师工作室中的感测炊具的、用于传输给操作控制
单元的记录温度和湿度曲线的曲线图。
图73是示出根据本发明的感测炊具的框图,所述感测炊具用于基于来自平底锅上
的不同区域的温度曲线的数据进行烹饪。
图74是示出根据本发明的供在第二实施例中使用的具有实时温度和湿度传感器
的(智能)烤箱的感测炊具的框图。
图75是示出根据本发明的供在第二实施例中使用的具有实时温度传感器的(智
能)炭烤架的感测炊具的框图。
图76是示出根据本发明的供在第二实施例中使用的具有速度、温度和电源控制功
能的(智能)龙头(faucet)的感测炊具的框图。
图77是示出根据本发明的第二实施例中的具有感测炊具的机器人厨房的顶视平
面图的框图。
图78是示出根据本发明的第二实施例中的具有感测炊具的机器人厨房的透视图
的框图。
图79是示出根据本发明的机器人厨房根据在机器人厨房中的一条或多条先前记
录的参数曲线来制备菜肴的过程的第二实施例的流程图。
图80是示出根据本发明的用感测炊具捕获厨师烹饪过程的机器人食物制备系统
的第二实施例的流程图。
图81是示出根据本发明的用感测炊具复现厨师的烹饪过程的机器人食物制备系
统的第二实施例的流程图。
图82是示出根据本发明的具有烹饪操作控制模块以及命令和视觉监视模块的机
器人食物制备厨房的第三实施例的框图。
图83是示出根据本发明的具有机器臂和手活动的机器人食物制备厨房的第三实
施例的顶视平面图的框图。
图84是示出根据本发明的具有机器臂和手活动的机器人食物制备厨房的第三实
施例的透视图的框图。
图85是示出根据本发明的采用命令和视觉监视装置的机器人食物制备厨房的第
三实施例的顶视平面图的框图。
图86是示出根据本发明的采用命令和视觉监视装置的机器人食物制备厨房的第
三实施例的透视图的框图。
图87A是示出根据本发明的采用机器人的机器人食物制备厨房的第四实施例的框
图。
图87B是示出根据本发明的采用人形机器人的机器人食物制备厨房的第四实施例
的顶视平面图的框图。
图87C是示出根据本发明的采用人形机器人的机器人食物制备厨房的第四实施例
的透视平面图的框图。
图88是示出根据本发明的机器人的人类模拟器电子知识产权(IP)库的框图。
图89是示出根据本发明的机器人的人类情感识别引擎的框图。
图90是示出根据本发明的机器人的人类情感引擎的处理的流程图。
图91A-91C是示出根据本发明的用激素、信息素和其他参数将人的情感概况与情
感概况族群进行比较的过程的流程图。
图92A是示出根据本发明的通过监视一组激素、一组信息素以及其他关键参数而
对人的情感状态进行情感检测和分析的框图。
图92B是示出根据本发明的机器人对人的情感行为进行评估和学习的框图。
图93是示出根据本发明的人体内植入的检测和记录人的情感概况的端口装置的
框图。
图94A是示出根据本发明的机器人人类智能引擎的框图。
图94B是示出根据本发明的机器人人类智能引擎的处理的流程图。
图95A是示出根据本发明的机器人绘画系统的框图。
图95B是示出根据本发明的机器人绘画系统的各种部件的框图。
图95C是示出根据本发明的机器人人类绘画技巧复现引擎的框图。
图96A是示出根据本发明的绘画工作室中对艺术家的记录过程的流程图。
图96B是示出根据本发明的机器人绘画系统的复现过程的流程图。
图97A是示出根据本发明的音乐家复现引擎的实施例的框图。
图97B是示出根据本发明的音乐家复现引擎的处理的框图。
图98是示出根据本发明的护理复现引擎的实施例的框图。
图99A-99B是示出根据本发明的护理复现引擎的处理的流程图。
图100是示出计算机装置的示例的框图,在该计算机装置上可以安装并运行用于
执行这里论述的机器人方法的计算机可执行指令。
具体实施方式
将参考图1-100提供对本发明的结构性实施例和方法的描述。应理解,无意将本发
明限制到具体公开的实施例,而是本发明可以采用其他特征、元件、方法和实施例来实践。
在各实施例中,通常采用类似的附图标记来表示类似的元件。
下述定义适用于文中描述的元件和步骤。这些术语可类似地进行扩展。
抽象化数据——是指对机器运行而言实用的抽象化菜谱,其具有机器需要知晓以
用于正确运行和重现的很多其他数据元素。这种所谓的元数据或对应于烹饪过程中的特定
步骤的附加数据,不管是直接的传感器数据(时钟时间、水温度、摄像机图像、所使用的用具
或食材(ingredient)等)还是通过对更大数据集进行解释或抽象化而产生的数据(例如,来
自用于提取图像中的对象的位置和类型的激光器的、覆盖有来自摄像机照片的纹理和颜色
图的三维范围云等)都带有时间戳,并且由机器人厨房用于随着其逐步完成菜谱中的步骤
序列,在每个时间点上设置、控制和监视所有过程和相关方法以及所需设备。
抽象化菜谱——是指对厨师菜谱的表示,人类将其认识为通过如下来表示:使用
特定食材,按特定顺序,通过一系列过程和方法以及人类厨师的技巧来进行制备和组合。机
器用来以自动化方式运行的抽象化菜谱需要不同类型的分类和顺序。尽管所执行的总体步
骤与人类厨师采取的步骤相同,但是机器人厨房实用的抽象化菜谱要求额外的元数据作为
菜谱中的每一步骤的一部分。这样的元数据包括烹饪时间、诸如温度(及其随时间的变化)
之类的变量、烤箱设置、所采用的工具/设备等。基本上,机器可执行的菜谱脚本需要具有所
有可能的与时间相关的对于烹饪过程具有重要性的测量变量(所有的都是当人类厨师在厨
师工作室内制备菜谱时测得并储存的),这些变量既包括总体的,也包括处于烹饪序列的每
个处理步骤内的。因此,抽象化菜谱是映射到机器可读的表示或域的烹饪步骤的表示,其通
过一组逻辑抽象化步骤将来自人类域的所需过程变为机器可理解且机器可执行域的过程。
加速度——是指机器臂可绕轴或沿短距离上的空间轨迹加速的最大速度变化速
率。
精确度——是指机器人能够在怎样的接近程度上达到所命令的位置。精确度由机
器人的绝对位置对照命令位置之间的差确定。可以借助于外部感测,例如机器手上的传感
器或利用多个(多模)传感器的实时三维模型来对精确度进行改善、调整或校准。
动作基元——在一实施例中,该术语是指不可分的机器人动作,例如,将机器人设
备从位置X1移动到位置X2,或者感测离用于食物制备的对象的距离而不必获得功能结果。
在另一实施例中,该术语是指由用于完成微操纵(mini-manipulation)的一个或多个这样
的单元的序列中的不可分机器人动作。这些是同一定义的两个方面。
自动化剂料(dosage)系统——是指标准化厨房模块中的剂料容器,在其中根据应
用释放特定量的食物化学化合物(例如,盐、糖、胡椒粉、香料、任何种类的液体,诸如水、油、
香精、番茄酱等)。
自动化存储和输送系统——是指标准化厨房模块中的存储容器,其维持所存储食
物的特定温度和湿度;每个存储容器分配有代码(例如,条形码),使机器人厨房能够识别并
检索出特定的存储容器将其中存储的食物内容输送到何处。
数据云——是指按照特定间隔收集并且基于多重关系,例如时间、位置等汇总的
来自特定空间的基于传感器或数据的数值测量结果(三维激光/声程测量、来自摄像机图像
的RGB值等)的集合。
自由度(DOF)——是指机械装置或系统能够按照其移动的定义模式和/或方向。自
由度数量等于独立位移或运动方面的总数。对于两个机器臂而言,自由度总数加倍。
边缘检测——是指能够识别多个对象的边缘的基于软件的计算机程序,所述多个
对象可在摄像机的二维图像中重叠,但仍能成功识别其边界以辅助对象识别以及抓取和操
纵的规划。
平衡值——是指诸如机器臂之类的机器人附件的目标位置,在该处作用于该附件
上的力处于平衡,即,没有净作用力,因而没有净移动。
执行序列规划器——是指能够为诸如臂、分配器、器具等的能够被计算机控制的
一个或多个元件或系统建立运行脚本或命令的序列的基于软件的计算机程序。
食物执行保真度——是指机器人厨房,其旨在通过通过观察、测量和理解人类厨
师的步骤、变量、方法和过程,由此尝试模仿其技术和技巧,来复现在厨师工作室中生成的
菜谱脚本。通过机器制备的菜肴与人类制备的菜肴的接近程度(通过各种主观元素,例如,
一致性、颜色、味道等衡量)衡量菜肴制备的执行与厨师的菜肴制作的接近程度,即保真度。
这一概念表明,机器人厨房制备的菜肴与人类厨师制备的菜肴越接近,复现过程的保真度
就越高。
食物制备阶段(又称为“烹饪阶段”)——是指一项或多项微操纵(包括动作基元)
和用于控制标准化厨房模块中的厨房设备和器具的计算机指令的顺序或并行组合;一个或
多个食物制备阶段共同表示特定菜谱的整个食物制备过程。
几何推理——是指能够采用二维(2D)/三维(3D)表面和/或体积数据对特定体积
的实际形状和尺寸做出相关推理的基于软件的计算机程序;确定或利用边界信息的能力还
允许对特定几何元件的起始端以及所存在的数量(在图像或模型中)做出相关推断。
抓取推理——是指能够依赖几何和物理推理来规划机器人末端执行器(夹钳、联
杆等)乃至末端执行器所持工具/器具之间的多接触(点/面/体积)接触交互,从而成功并且
稳定地接触、抓取和保持对象,以便在三维空间内对其进行操纵的基于软件的计算机程序。
硬件自动化装置——是指能够连续执行预编程步骤但不具备对其中的任何步骤
加以修改的能力的固定处理装置;这样的装置用于不需要任何调整的重复运动。
食材管理和操纵——是指详细地定义每种食材(包括大小、形状、重量、外形尺寸、
特性和属性),与特定食材有关的变量的一项或多项实时调整,其可不同于先前储存的食材
细节(例如,鱼片的大小、蛋的外形尺寸等),以及执行对食材的操纵活动的不同阶段当中的
处理。
厨房模块(或厨房体积)——是指具有标准化的厨房设备集合、标准化厨房工具集
合、标准化厨房把手(handle)集合、以及标准化厨房容器集合的标准化完整厨房模块,其具
有预定义的空间和尺寸,用于存储、获取和操作标准化完整厨房模块中的每个厨房元件。厨
房模块的一个目标在于对厨房设备、工具、把手、容器等进行尽可能多的预定义,从而为机
器臂和机器手的活动提供相对固定的厨房平台。厨师厨房工作室中的厨师和在家使用机器
人厨房的人(或餐馆里的人)采用标准化厨房模块来最大化厨房硬件的可预测性,同时将厨
师厨房工作室和家庭机器人厨房之间存在差异、变化和偏差的风险降至最低。厨房模块有
可能具有不同的实施例,包括独立厨房模块和集成厨房模块。将集成厨房模块匹配到典型
房屋的常规厨房区域内。厨房模块至少按照两种模式工作,即,机器人模式和正常(手动)模
式。
机器学习——是指软件部件或程序基于经验和反馈提高其性能的技术。一种机器
学习是机器人中经常采用的强化学习(reinforcement learning),其中将对符合要求的动
作予以奖励,对不合乎要求的动作予以惩罚。另一种是基于实例的学习(case-based
learning),其中记住先前的解决方案,例如人类教导者或机器人本身的动作序列,连同用
于解决方案的任何约束或原因,然后在新设置中应用或重新使用。还有其他种类的机器学
习,例如,诱导法和转导法。
微操纵——是指以最高水平的概率的阈值(阈值的例子如处于最佳值的0.1、
0.001或0.001以内)完成基本功能结果的一个或多个步骤的组合(或序列)。每一步骤可以
是动作基元或另一(更小的)微操纵,类似于计算机程序由基本编码步骤以及可以独立或充
当子例程的其他计算机程序构成。例如,微操纵可以是抓住鸡蛋,其由伸出机器臂,将机器
手指移动为具有正确配置,并且施加正确精巧的力量进行抓取——所有这些基元动作所需
的电动机操作构成。另一微操纵可以是用刀打开鸡蛋,包括用一只机器手进行的抓取微操
纵,随后是用另一只手抓取刀的微操纵,继而是用刀以预定力打破鸡蛋的基元动作。
模型元素和分类——是指能够将某一场景内的元素理解为在任务的不同部分使
用或需要的项的一个或多个基于软件的计算机程序;诸如用于混合的碗和对进行搅拌的汤
匙的需要等。可以将场景或全局模型内的多个元素分为若干组,从而允许更快的规划和任
务执行。
运动基元——是指定义详细动作步骤的不同水平/域的运动动作,例如,高层级运
动基元是抓取杯子,低层级运动基元是将手腕旋转五度。
多模态感测单元——是指由能够以多个模式或多个电磁波段或波谱进行感测和
检测的多个传感器构成的感测单元,所述多个传感器尤其能够捕获三维位置和/或运动信
息;电磁波谱可以具有从低频到高频的范围,而不必局限于可被人类感知到。额外模式可包
括但不限于其他物理感知,例如,触摸、气味等。
轴数量——需要三个轴以达到空间内的任何点。为了对臂的末端(即腕部)的取向
进行完全控制,需要三个额外的旋转轴(偏航(yaw)、俯仰(pitch)、滚转(roll)。
参数——是指可取数值或数值范围的变量。三种参数尤其相关:机器人装置的指
令中的参数(例如,臂移动的力或距离)、用户可设置的参数(例如,喜欢肉做得更熟一些还
是中等熟)、以及厨师定义参数(例如,将烤箱温度设为350F)。
参数调整——是指基于输入改变参数的值的过程。例如,可基于但不限于食材的
属性(例如,尺寸、形状、取向)、厨房工具的位置/取向、设备、用具、微操纵的速度和持续时
间改变机器人装置的指令的参数。
有效载荷或承载能力——是指机器臂能够对抗重力承载和保持多大重量(甚至对
其加速),其为机器臂的端点位置的函数。
物理推理——是指能够依赖几何推理数据并且采用物理信息(密度、纹理、典型几
何结构和形状)帮助推理引擎(程序)来更好地模拟对象并且还预测其在现实世界中的行为
(尤其是在抓取和/或操纵/处理时)的基于软件的计算机程序。
原始数据——是指在观察/监视人类厨师制备菜肴时作为厨师工作室菜谱生成过
程的一部分收集到的所有测量和推断的感测数据和表示信息。原始数据的范围可以从简单
的数据点,例如时钟时间,到烤箱温度(随时间推移的)、摄像机图像、三维激光生成场景表
示数据,再到所采用的器具/设备、所采用的工具、所分配的食材(类型和量)以及何时等。将
工作室厨房由其内置传感器收集的并按照原始的带时间戳形式存储的所有信息都看作是
原始数据。之后,其他软件过程采用原始数据来生成更高层次的理解和菜谱过程理解,将原
始数据转化为其他的带时间戳的经处理/解释的数据。
机器人设备——是指机器人传感器和执行器(effector)的集合。执行器包括一个
或多个机器臂以及一个或多个机器手,用于标准化机器人厨房中的操作。传感器包括摄像
机、距离传感器、力传感器(触觉传感器),它们将其信息发送至控制执行器的处理器或处理
器集合。
菜谱烹饪过程——是指含有用于可编程硬自动化装置集合的抽象和详细层级的
指令的机器人脚本,所述指令允许计算机可控制装置在其环境(例如,充分配备了食材、工
具、器具和设备的厨房)内执行有序的操作。
菜谱脚本——是指作为时间序列的菜谱脚本,含有结构以及命令和执行基元(简
单到复杂的命令软件)的列表,其在由机器人厨房元件(机器臂、自动化设备、器具、工具等)
按照既定顺序执行时,将实现对人类厨师在工作室厨房内制备的相同菜肴的复现和产生。
这样的脚本是时间有序的,等同于人类厨师产生该菜肴所采取的顺序,但是其具有适于机
器人厨房内的计算机控制元件并被其所理解的表现形式。
菜谱速度执行——是指在通过复现厨师活动进行食物菜肴制备的菜谱步骤执行
当中对时间线进行管理,其中菜谱步骤包括标准化食物制备操作(例如,标准化炊具、标准
化设备、厨房处理器等)、微操作和对非标准化对象的烹饪。
可重复性——是指机器臂/手能够在多高的精确度上可重复地返回到编程位置的
可接受预设裕量。如果控制存储器中的技术规范要求机器手移动到特定X-Y-Z位置并且处
于该位置的+/-0.1mm内,那么测量该机器手返回到所教导的预期/命令位置的+/-0.1mm内
的可重复性。
机器人菜谱脚本——是指与机器人/硬自动化执行步骤的适当序列有关的计算机
生成的机器可理解指令序列,其中,所述步骤用以对菜谱中的所需烹饪步骤进行镜像从而
获得就像厨师做出来的那样的相同最终产物。
机器人服装——厨师工作室中采用的外部仪器化装置或衣物,例如,关节外骨架、
具有摄像机可跟踪标记的衣物、手套等,其用以监视和跟踪厨师在菜谱烹饪过程的所有方
面当中的活动和动作。
场景建模——是指能够查看一个或多个摄像机的视场内的场景并且能够检测和
识别出对于特定任务而言重要的对象的基于软件的计算机程序。这些对象可以是预先教导
的,和/或可以是计算机库的一部分,其具有已知的物理属性和使用意图。
智能厨房炊具/设备——是指一项厨房炊具(例如,锅或平底锅)或一项厨房设备
(例如,烤箱、烤架或龙头),其具有一个或多个传感器并且基于一个或多个图形曲线(例如,
温度曲线、湿度曲线等)制备食物菜肴。
软件抽象食物引擎——是指定义为软件环(software loop)或程序的集合的软件
引擎,其协调工作从而对输入数据进行处理,并且通过某种形式的文本或图形输出界面创
建供其他软件引擎或终端用户使用的特定期望的输出数据集。抽象软件引擎是一种软件程
序,其致力于从特定域内的已知源取得巨大量的输入数据(例如,三维范围测量结果,其形
成一个或多个传感器检测到的三维测量结果的数据云),之后对所述数据进行处理,从而获
得对不同域中的数据的解释(例如,基于具有相同的竖直数据值的数据在数据云中检测并
识别出台表面等),从而识别、检测、划分出与三维空间内的对象(例如,台顶、烹饪锅等)相
关的数据读数。抽象过程基本定义为从一个域取得大数据集并且推断出在更高级空间内的
结构(例如,几何结构)(抽象出数据点),之后对所述推断做进一步抽象,并从抽象数据集中
识别出对象(锅等),以识别出图像中的现实世界元素,其然后可被其他软件引擎用来做出
附加决策(对关键对象的处理/操纵决策等)。在本申请中“软件抽象引擎”的同义词可以是
“软件解释引擎”,乃至“计算机软件处理和解释算法”。
任务推理——是指能够分析任务描述并且将其分解成一系列的多个机器可执行
(机器人或硬自动化系统)步骤以实现任务描述中定义的特定最终结果的基于软件的计算
机程序。
三维世界对象建模和理解——是指能够采用感测数据建立所有表面和体积的时
变三维模型,使得能够检测、识别和分类其中的对象,并且理解它们的用法和意图的基于软
件的计算机程序。
转矩向量——是指作用于机器人附件上的扭转力,包括其方向和大小。
体积对象推断(引擎)——是指能够采用几何数据和边缘信息以及其他感测数据
(颜色、形状、纹理等)实现对一个或多个对象的三维识别,以辅助对象识别和分类过程的基
于软件的计算机程序。
图1是示出具有机器人硬件12和机器人软件14的总体机器人食物制备厨房10的系
统图。总体机器人食物制备厨房10包括机器人食物制备硬件12和机器人食物制备软件14,
它们共同运转以执行机器人食物制备功能。机器人食物制备硬件12包括控制标准化厨房模
块18(其一般在具有一个或多个传感器的仪表化环境中操作)、多模态三维传感器20、机器
臂22、机器手24和捕捉手套26的各种操作和移动的计算机16。机器人食物制备软件14与机
器人食物制备硬件12一起操作以捕获厨师在食物菜肴的制备过程中的动作,并通过机器臂
和机器手复现厨师的动作以获得该食物菜肴的相同或基本相同的结果(例如,品尝起来一
样、闻起来一样等),即品尝起来和人类厨师做的相同或基本相同。
机器人食物制备软件14包括多模态三维传感器20、捕获模块28、校准模块30、转换
算法模块32、复现模块34、具有三维视觉系统的质量检查模块36、相同结果模块38和学习模
块40。捕获模块28随着厨师进行食物菜肴的制备而捕捉厨师的动作。校准模块30在烹饪过
程之前、之中和之后对机器臂22和机器手24进行校准。转换算法模块32配置为将来自厨师
工作室中收集的厨师活动的记录数据转换为菜谱修改数据(或变换数据)以供在机器人厨
房中使用,在机器人厨房中,机器手将复现厨师菜肴的食物制备。复现模块34配置为在机器
人厨房内复现厨师的动作。质量检查模块36配置为在食物制备过程当中、食物制备过程之
前或之后执行对机器人厨房制备的食物菜肴的质量检查功能。相同结果模块38配置为判断
由机器人厨房内的一对机器臂和机器手制备的食物菜肴品尝起来是否与厨师制备的一样
或基本一样。学习模块40配置为向操作机器臂和机器手的计算机16提供学习能力。
图2是示出机器人食物烹饪系统的第一实施例的系统图,该系统包括厨师工作室
系统和家庭机器人厨房系统,以用于通过复现厨师的菜谱过程和动作来制备菜肴。机器人
厨房烹饪系统42包括厨师厨房44(又称为“厨师工作室厨房”),其将一个或多个软件记录菜
谱文件46传送给机器人厨房48(又称为“家庭机器人厨房”)。在一实施例中,厨师厨房44和
机器人厨房48采用相同的标准化机器人厨房模块50(又称为“机器人厨房模块”、“机器人厨
房体积”或者“厨房模块”或“厨房体积”),从而最大化制备食物菜肴的精确复现,这样做可
以减少可能在厨师厨房44制备的食物菜肴和机器人厨房46制备的菜肴之间导致偏差的变
数。厨师52佩戴机器人手套或服装,其具有外部传感器装置以用于捕获和记录厨师的烹饪
动作。标准化机器人厨房50包括用于控制各种计算功能的计算机16,其中计算机16包括存
储器52和机器人烹饪引擎(软件)56,存储器52用于存储来自用于捕获厨师动作的手套或服
装54的传感器的一个或多个菜谱软件文件。机器人烹饪引擎56包括动作分析以及菜谱抽象
化和排序模块58。机器人厨房48通常用一对机器臂和机器手进行操作,由任意用户60负责
开启机器人厨房46或对其进行编程。机器人厨房48中的计算机16包括用于操作机器臂和机
器手的硬自动化模块62以及用于根据软件菜谱(食材、顺序、过程等)文件复现厨师动作的
菜谱复现模块64。
标准化机器人厨房50设计为检测、记录和模拟厨师的烹饪动作,控制诸如随时间
的温度之类的重要参数以及机器人厨房站中采用指定用具、设备和工具实施的过程执行。
厨师厨房44提供计算厨房环境16,其具有带传感器的手套或带传感器的服装以用于记录和
捕获厨师50对于具体菜谱在食物制备中的动作。在针对特定菜肴将厨师49的动作和菜谱过
程记录到存储器52中的软件菜谱文件中时,将软件菜谱文件从厨师厨房44经由包括连接至
因特网的无线网络和/或有线网络的通信网络46传送至机器人厨房48,从而使用户(任选
的)60能够购买一个或多个软件菜谱文件,或者用户能够订购厨师厨房44的会员以接收新
的软件菜谱文件或者现有软件菜谱文件的定期更新。在家庭住所、餐馆以及其他为用户60
建立厨房以供其制备食物的地方,家庭机器人厨房系统48起着机器人计算厨房环境的作
用。家庭机器人厨房系统48包括具有一个或多个机器臂和硬自动化装置的机器人烹饪引擎
56,其用于基于从厨师工作室系统44接收到的软件菜谱文件复现厨师的烹饪动作、过程和
活动。
厨师工作室44和机器人厨房48代表存在着复杂联系的教导重现系统,其具有多个
级别的执行保真度。厨师工作室44生成有关如何制备专业烹饪菜肴的高保真过程模型,而
机器人厨房48则是用于通过厨师在厨师工作室中工作而建立的菜谱脚本的执行/复现引
擎/过程。机器人厨房模块的标准化是提高性能保真度以及成功/保证的手段。
菜谱执行的不同保真度级别取决于厨师工作室44和机器人厨房48之间的传感器
和设备(当然除了食材以外)的相关性。可以将保真度定义为在一范围的一端(完美复现/执
行)菜肴品尝起来与厨师制备的相同(不可分辨),而在相反端菜肴可能具有一项或多项相
当大的或致命的缺陷,其隐含着质量缺陷(烹饪过度的肉或意大利面)、味道缺陷(原料烧
糊)、可食性缺陷(不正确的一致性),甚至隐含着健康方面的缺陷(未烹熟的肉,例如鸡肉/
猪肉携带着沙门氏菌等)。
具有能够复现出与厨师在厨师工作室烹饪过程中记录的活动和过程类似的活动
和过程的相同硬件、传感器和致动系统的机器人厨房更有可能得到更高保真度的结果。这
里的含意是设施需要相同,其隐含着成本和体积两方面。但是,仍然可以采用更加标准化的
非计算机控制或计算机监视元件(具有传感器的锅、联网用具,例如烤箱等)实施机器人厨
房48,其需要基于更多传感器的理解以允许更复杂的运行监视。由于关于关键元素(正确的
食材量、烹饪温度等)和过程(在机器人家庭厨房没有混和器的情况下采用搅拌器/捣碎器)
的不确定性现在已经增大,所以毫无疑问具有与厨师相同结果的保证将更低。
本公开的一重点在于,与机器人厨房耦接的厨师工作室44的概念是一般概念。机
器人厨房48的水平是可变的,其从配备有一组臂和环境传感器的家庭厨房一直到工作室厨
房的相同复制而不等,在相同复制的情况下一组臂和关节活动、工具、器具和食材供给能够
按照几乎无异的方式复制出厨师的菜谱。唯一要满足的变量是最终结果或菜肴的质量水
平,所述质量水平是从质量、外观、味道、可食性和健康的角度衡量的。
一种可能的对机器人厨房中的菜谱结果和输入变量之间的这种关联进行数学描
述的方法可以通过下面的函数得到最佳描述:
Frecipe-outcome=Fstudio(I,E,P,M,V)+FRobKit(Ef,I,Re,Pmf)
其中,Fstudio=厨师工作室的菜谱脚本保真度
FRobKit=机器人厨房的菜谱脚本执行
I=食材
E=设备
P=过程
M=方法
V=变量(温度、时间、压力等)
Ef=设备保真度
Re=复现保真度
Pmf=过程监视保真度
上面的公式将机器人制备的菜谱结果与人类厨师制备和上菜的结果的匹配程度
(Frecipe-outcome)与厨师工作室44基于所采用的食材(I)、可用于执行厨师的过程(P)的设备
(E)以及在烹饪过程中适当捕获所有关键变量(V)的方法(M)正确捕获和表示菜谱的水平
(Fstudio)联系起来;并且将该匹配程度与机器人厨房如何能够通过一函数(FRobKit)表示机器
人菜谱脚本的复现/执行过程联系了起来,其中该函数主要由下述内容驱动:适当食材(I)
的使用、与厨师工作室中的相比机器人厨房中的设备保真度(Ef)水平、在机器人厨房中能
够对菜谱脚本进行复现的水平(Re)以及在何种程度上存在监视和执行校正动作从而实现
尽可能最高的过程监视保真度(Pmf)的能力和需求。
函数(Fstudio)和(FRobKit)可以是具有常数、变量以及任何形式的算法关系的线性和
非线性函数式的任何组合。这两种函数的此类代数表示的示例可以是:
Fstudio=I(fct.sin(Temp))+E(fct.Cooptiop1*5)+P(fct.Circle(spoon)+V
(fct.0.5*time)
描绘出制备过程的保真度与作为正弦函数的冰箱中食材随时间变化的温度相关,
与食材能在特定站台上的灶口上以特定升温速率加热的速度相关,以及与汤匙能够多好地
按照具有特定幅度和周期的圆形路径移动有关,还描绘出必须以不低于人类厨师速度的1/
2执行所述过程,以保持制备过程的保真度。
FRobKit=Ef,(Cooktop2,Size)+I(1.25*Size+Linear(Temp))+Re(Motion-Profile)
+Pmf(Sensor-Suite Correspondence)
描绘出机器人厨房中的复现过程的保真度与特定烹饪区域的用具类型和布局以
及加热元件的尺寸有关,与正受烧炙和烹饪的食材的尺寸和温度情况有关(较厚的牛排需
要更长的烹饪时间),同时还保留特定步骤(例如,烧炙或慕斯搅打)的任何搅动和浸浴活动
的活动概况,还与机器人厨房和厨师工作室内的传感器之间的对应性是否充分高从而能够
信任所监视到的传感器数据精确并且详细到了能够在菜谱的所有步骤当中提供机器人厨
房内的烹饪过程的适当监视保真度有关。
菜谱的结果不仅是厨师工作室以怎样的保真度捕获人类厨师的烹饪步骤/方法/
过程/技巧的函数,还是机器人厨房能够以怎样的保真度执行这些烹饪步骤/方法/过程/技
巧的函数,其中,它们当中的每个都具有影响它们相应的子系统性能的关键元素。
图3是示出用于通过在厨师制备食物菜肴的过程中记录厨师的动作并通过机器臂
和机器手复现食物菜肴而进行食物制备的标准化机器人厨房50的一实施例的系统图。在该
上下文中,术语“标准化”(或“标准”)是指部件或特征的规格是预先设置的,下文将对此予
以解释。计算机16通信耦接到标准化机器人厨房50中的多个厨房元件,包括三维视觉传感
器66、可缩回安全挡板(例如,玻璃、塑料或其他类型的防护材料)68、机器臂70、机器手72、
标准化烹饪用具/设备74、具有传感器的标准化炊具76、标准化炊具78、标准化把手和用具
80、标准化硬自动化分配器82(又称为“机器人硬自动化模块”)、标准化厨房处理器84、标准
化容器86和冰箱88内的标准化食物储存室。
标准化硬自动化分配器82是可通过烹饪计算机16编程和/或控制的装置或一系列
装置,其用以为烹饪过程馈送或提供预封装(已知)量的关键材料或者提供专用的关键材料
用料,例如,所述材料为香料(盐、胡椒粉等)、液体(水、油等)、或者其他干材料(面粉、糖
等)。标准化硬自动化分配器82可位于特定站台处或能够通过机器人访问和触发从而根据
菜谱序列进行分发。在其他实施例中,可以使机器人硬自动化模块与其他这样的模块或机
器臂或烹饪用具结合或者串行或并行地序列化。在这一实施例中,标准化机器人厨房50包
括机器臂70和机器手72,它们由机器人食物制备引擎56根据存储器52中存储的软件菜谱文
件加以控制,以用于在菜肴制备中复现厨师的精确动作,由此得到尝起来就像厨师亲手所
做的相同味道的菜肴。三维视觉传感器66提供实现对对象的三维建模,提供厨房活动的可
视三维模型,以及对厨房体积进行扫描以评估标准化机器人厨房50内的尺寸和对象的能
力。可缩回安全玻璃68包括机器人厨房50上的透明材料,其在处于开启状态时使安全玻璃
绕机器人厨房伸展以保护周围的人不受机器臂70和机器手72的移动、热水和其他液体、蒸
汽、火以及其他危险影响因素的伤害。机器人食物制备引擎56通信耦接至电子存储器52,以
检索先前从厨师工作室系统44发送的软件菜谱文件,针对软件菜谱文件,机器人食物制备
引擎56配置为执行制备和复现软件菜谱文件中指示的厨师烹饪方法和过程的过程。机器臂
70和机器手72的结合用于在菜肴制备过程中复现厨师的精确动作的作用,从而所得食物菜
肴具有与厨师制备的相同食物菜肴相同(或基本相同)的味道。标准化烹饪设备74包括被包
括为机器人厨房50的一部分的各种烹饪用具46,其包括但不限于炉/感应/灶口(电灶口、天
然气灶口、感应灶口)、烤箱、烤架、烹饪蒸箱和微波炉。标准化炊具和传感器76被用作基于
炊具上的传感器记录食物制备步骤以及基于具有传感器的炊具烹饪食物菜肴的实施例,带
传感器的炊具包括具有传感器的锅、具有传感器的平底锅、具有传感器的烤箱和具有传感
器的炭烤架。标准化炊具78包括煎锅、炒锅、烤锅、多锅、烘烤器、铁锅和蒸锅。机器臂70和机
器手72在烹饪过程中操作标准化把手和用具80。在一实施例中,机器手72之一配备有标准
化把手,其附连至叉头(fork head)、刀头和汤匙头,可以根据需要加以选择。标准化硬自动
化分配器82被包括到机器人厨房50中以提供合宜的(既通过机器臂70又通过人的使用)关
键性常用/重复食材,该食材是易于度量/按计量分配的或者是预封装的。标准化容器86是
在室温下存放食物的储存位置。标准化冰箱容器88是指但不限于带有标识容器的冰箱,其
用于存放鱼、肉、蔬菜、水果、牛奶以及其他易腐食品。可以采用容器标识符对标准化容器86
或者标准化储存器88中的容器进行编码,机器人食物制备引擎56能够基于容器标识符确定
容器内的食物的类型。标准化容器86为诸如盐、胡椒粉、糖、油和其他香料之类的非易腐食
品提供存放空间。具有传感器的标准化炊具76和炊具78可以存放在架子上或橱柜内以供机
器臂70选择制备菜肴的烹饪工具之用。典型地,将生鱼、生肉和蔬菜预先切好并存放在带标
识的标准化储存器88内。厨房工作台面90为机器臂70提供了根据需要处理肉或蔬菜的平
台,所述处理可以包括或不包括切或剁动作。厨房龙头92提供了用于在菜肴制备时清洗或
清洁所用食物的厨房水槽空间。在机器臂70完成了制备菜肴的菜谱过程并且制备好上菜
时,将菜肴放在上菜台90上,其还允许通过用机器臂70调整环境设置来增强就餐环境,例如
摆放用具、酒杯,选择与膳食搭配的酒。标准化机器人厨房模块50中的设备的一实施例是一
系列专业的设备以提高制备的各种类型的菜肴的普遍吸引力。
标准化机器人厨房模块50以厨房模块50以及厨房模块本身的各种部件的标准化
作为一个目标,从而确保厨师厨房44和机器人厨房48两者之间的一致性,由此使菜谱复现
的精确度最大化,同时将厨师厨房44和机器人厨房48之间的发生偏离菜谱菜肴的精确复现
的风险降至最低。使厨房模块50标准化的一个主要目的是在厨师制备的第一食物菜肴和通
过机器人厨房对相同的菜谱过程所做的随后复现之间获得相同的烹饪过程结果(或者相同
的菜肴)。在厨师厨房44和机器人厨房48之间构思标准化机器人厨房模块50中的标准化平
台具有若干关键的考虑事项:相同的时间线、相同的程序或模式、以及质量检查。厨师在厨
师厨房44制备食物菜肴以及机器手在机器人厨房48实施复现过程所采取的标准化机器人
厨房50中的相同时间线是指相同的操纵序列、每一操纵的相同起始和结束时间、以及处理
操作之间相同的对象移动速度。标准化机器人厨房50中的相同程序或模式是指在每一操纵
记录和执行步骤当中对标准化设备的使用和操作。质量检查涉及标准化机器人厨房50中的
三维视觉传感器,其对食物制备过程中的每一操纵动作进行实时监视和调整,以校正任何
偏差并且避免有瑕疵的结果。标准化机器人厨房模块50的采用降低并且最小化了在厨师制
备的食物菜肴和机器人厨房采用机器臂和手制备的食物菜肴之间得不到相同结果的风险。
如果没有机器人厨房模块以及机器人厨房模块内的部件的标准化,厨师厨房44和机器人厨
房48之间增大的变化将提高在厨师制备的食物菜肴和机器人厨房制备的食物菜肴之间无
法得到相同结果的风险,因为对于厨师厨房44和机器人厨房48之间不同的厨房模块、不同
的厨房设备、不同的厨房用具、不同的厨房工具和不同的食材,需要更加精细并且复杂的调
整算法。
标准化机器人厨房模块50包括很多方面的标准化。第一,标准化机器人厨房模块
50包括任何类型的厨房用具、厨房容器、厨房工具和厨房设备的标准化位置和取向(在XYZ
坐标面内)(借助于厨房模块和装置位置上的标准化固定孔)。第二,标准化机器人厨房模块
50包括标准化烹饪体积尺寸和架构。第三,标准化机器人厨房模块50包括标准化设备组,例
如烤箱、炉、洗碗机、龙头等。第四,标准化机器人厨房模块50包括标准化厨房用具、标准化
烹饪工具、标准化烹饪装置、标准化容器、以及冰箱中的标准化食物储存器,所述标准化是
就形状、尺寸、结构、材料、容量等而言的。第五,在一实施例中,标准化机器人厨房模块50包
括用于操纵任何厨房用具、工具、仪器、容器和设备的标准化通用把手,其使机器手能够仅
在一个正确的位置上握住标准化通用把手,同时避免任何不适当的抓取或不正确的取向。
第六,标准化机器人厨房模块50包括具有操纵库的标准化机器臂和手。第七,标准化机器人
厨房模块50包括用于标准化食材操纵的标准化厨房处理器。第八,标准化机器人厨房模块
50包括用于建立动态三维视觉数据的标准化三维视觉装置以及其他可能的用于菜谱记录、
执行跟踪和质量检查功能的标准传感器。第九,标准化机器人厨房模块50包括特定菜谱执
行期间的每种食材的标准化类型、标准化体积、标准化尺寸和标准化重量。
图4是示出与厨师工作室系统44和家庭机器人厨房系统48中的计算机16结合使用
的机器人烹饪引擎56(又称为“机器人食物制备引擎”)的一实施例的系统图。其他实施例可
具有厨师厨房44和机器人厨房48的机器人烹饪引擎16中的模块的修改、添加或改变。机器
人烹饪引擎56包括输入模块50、校准模块94、质量检查模块96、厨师动作记录模块98、炊具
传感器数据记录模块100、用于存储软件菜谱文件的存储器模块102、采用所记录的传感器
数据生成机器模块特定的顺序操作简档(profile)的菜谱抽象化模块104、厨师动作复现软
件模块106、采用一条或多条感测曲线的炊具感测复现模块108、机器人烹饪模块110(计算
机控制以操作标准化操作、微操纵和非标准化对象)、实时调整模块112、学习模块114、微操
纵库数据库模块116、标准化厨房操作库数据库模块117、以及这些模块通过总线120通信耦
接至的输出模块118。
输入模块50配置为接收另一计算装置发送的诸如软件菜谱文件之类的任何类型
的输入信息。校准模块94配置为用机器臂70、机器手72以及标准化机器人厨房模块50内的
其他厨房用具和设备部件校准其自身。质量检查模块96配置为在取得原料食物以用于烹饪
时确定生肉、生疏菜、与牛奶有关的食材以及其他原料食物的质量和新鲜度,以及在将食物
接收到标准化食物储存器88内时检查原料食物的质量。质量检查模块96还可配置为基于感
测进行质量检查,例如基于食物的气味、食物的颜色、食物的味道、以及食物的图像或外观。
厨师动作记录模块98配置为记录厨师制备食物菜肴时的顺序和精确动作。炊具传感器数据
记录模块100配置为记录来自配备有放到炊具内的不同区域中的传感器的炊具(例如,具有
传感器的平底锅、具有传感器的烤架或具有传感器的烤箱)的感测数据,由此生成一条或多
条感测曲线。结果是感测曲线的生成,例如温度(和/或湿度)曲线,其反映对于特定菜肴而
言烹饪用具随时间的温度波动。存储器模块102配置为用于存储软件菜谱文件的存储位置,
所述文件可以是用于厨师菜谱活动的复现的文件或者是包括感测数据曲线的其他类型的
软件菜谱文件。菜谱抽象化模块104配置为采用所记录的传感器数据生成机器模块特定的
有序操作简档。厨师动作复现模块106配置为基于存储器52内存储的软件菜谱文件复现厨
师在菜肴制备时的精确动作。炊具感测复现模块108配置为遵循一条或多条先前记录的感
测曲线的特征复现食物菜肴的制备,所述曲线是在厨师49采用具有传感器的标准化炊具76
制备菜肴时生成的。机器人烹饪模块110配置为控制和运行标准化厨房操作、微操纵、非标
准化对象、以及标准化机器人厨房50中的各种厨房工具和设备。实时调整模块112配置为对
与特定厨房操作或微操作相关的变量提供实时调整,从而生成作为厨师动作的精确复现或
感测曲线的精确复现的所得过程。学习模块114配置为向机器人烹饪引擎56提供学习能力,
从而优化机器臂70和机器手72对食物菜肴制备的精确复现,就像食物菜肴是厨师做出来的
一样,其可以采用诸如基于实例的(机器人)学习的方法。微操纵库数据库模块116配置为存
储微操纵的第一数据库的库。标准化厨房操作库数据库模块117配置为存储标准化厨房用
具以及如何操作标准化厨房用具的第二数据库的库。输出模块118配置为将输出计算机文
件或控制信号发送到机器人烹饪引擎之外。
图5A是示出厨师工作室菜谱创建过程的框图,其展示了几个主要功能块,它们支
持使用扩展多模态感测以建立用于机器人厨房的菜谱指令脚本。来自多个传感器,例如(但
不限于)嗅觉124、视频摄像机126、红外扫描仪和测距仪128、立体(乃至三目)摄像机130、触
觉手套132、关节式激光扫描仪134、虚拟世界眼镜136、麦克风138或外骨架运动套装140的
传感器数据,人语音142、触摸传感器144乃至其他形式的用户输入146被用于通过传感器接
口模块148收集数据。数据被获取和过滤150,包括可能的人类用户输入(例如,厨师;触摸屏
和语音输入)146,之后多个(并行)软件进程利用时间和空间数据生成用于充实机器特定的
菜谱创建过程的数据。传感器可以不限于捕获人的位置和/或运动,还可以捕获标准化机器
人厨房50内的其他对象的位置、取向和/或运动。
例如,这些各个软件模块(但并非因此仅局限于这些模块)生成的信息可以是(i)
厨师位置和烹饪站ID,其通过位置和配置模块152生成,(ii)臂的配置(通过躯干生成),
(iii)所运用的工具以及何时、如何运用,(iv)所采用的用具和在站台上的位置,其通过硬
件和变量抽象化模块154生成,(v)借助于它们执行的过程,以及(vi)需要监视的变量(温
度、盖子y/n,搅拌等),其通过过程模块B156生成,(vii)时间(开始/结束,类型)分配,
(viii)所应用的过程(搅动,调料调入等)的类型,以及(ix)所添加的食材(类型、量、预备的
状态等),其通过烹饪序列和过程抽象化模块158生成。
之后,所有这样的信息用于通过独立模块160建立一组机器特定的(不仅对于机器
臂而言,而且还对于食材分配器、工具和用具等而言)菜谱指令,这些指令被组织为所要执
行和监视的顺次/并行重叠任务的脚本。该菜谱脚本连同整个原始数据集(164)存储在数据
存储模块166中,并可由远程机器人烹饪站通过机器人厨房接口模块168访问或者由人类用
户170经由图形用户界面(GUI)172访问。
图5B是示出采用教导/重现过程176的标准化厨师工作室44和机器人厨房50的一
实施例的框图。教导/重现过程176描述了在厨师实施菜谱执行180的厨师工作室44内捕获
厨师的菜谱实施过程/方法/技巧49的步骤,其中厨师采用一组厨师工作室标准化设备72和
菜谱所需食材178来创造菜肴,同时被记录和监视182。原始传感器数据在182中被记录(以
供重现),并且还被处理以生成不同抽象层次的信息(所采用的工具/设备、所采用的技术、
开始/结束的时间/温度等),之后用于建立供机器人厨房48执行的菜谱脚本184。
机器人厨房48进行菜谱复现过程106,其概况取决于厨房是标准化类型还是非标
准化类型,这由过程186进行检查。
机器人厨房的执行依赖于用户可用的厨房类型。如果机器人厨房采用与厨师工作
室内相同/等同(至少在功能上)的设备,那么菜谱复现过程主要是采用原始数据并将其作
为菜谱脚本执行过程的一部分予以重现的过程。然而,如果该厨房不同于(理想的)标准化
厨房,那么执行引擎将必须依赖于抽象化数据以生成厨房特定的执行序列,从而尝试取得
一步步类似的结果。
由于烹饪过程通过监视过程194由机器人厨房内的所有传感器单元连续监视,因
而不管是正在使用已知的工作室设备196,还是正在使用混合/非典型的非厨师工作室设备
198,系统都能够依据菜谱进程检查200按需做出修改。在标准化厨房的一实施例中,通常采
用厨师工作室类型的装备通过执行模块188重现原始数据,预计唯独需要做出的调整就是
脚本执行过程中的调适202(重复某一步骤,回到某一步骤,使执行慢下来等),因为在教导
和重现数据集之间存在一对一对应关系。但是,就非标准化厨房而言,很可能系统必须通过
菜谱脚本修改模块204对实际菜谱本身及其执行进行修改和调适,以适应与厨师工作室44
中的工具/器具不同的可用工具/器具192或者与菜谱脚本的测量偏差(肉烹饪太慢,锅内的
热点烧糊了乳酷面粉糊等)。采用类似的过程206对总体菜谱脚本进程进行监视,所述类似
过程可能根据正在使用的是厨房工作室设备208还是混合/非典型厨房设备210而存在差
别。
与使用标准化机器人厨房相比,非标准化厨房获得接近人类厨师烹饪菜肴的可能
性更低,标准化机器人厨房具有反映工作室厨房内采用的设备和性能的那些设备和性能。
当然,最终主观判断是作为质量评估212的人(或厨师)的品尝所做的判断,其将得到(主观)
质量判断214。
图5C是示出菜谱脚本生成和抽象化引擎的一实施例216的框图,该引擎涉及作为
人类厨师完成的厨师工作室菜谱的一部分的菜谱脚本生成过程的结构和流程。第一步骤是
将可在厨师工作室44内测量的所有可用数据输入至中央计算机系统并由其进行过滤,并且
通过主进程218加上时间戳,不论所述数据是来自厨师的人机工程数据(臂/手位置和速度、
触觉手指数据等)、厨房用具(烤箱、冰箱、分配器等)的状态、具体变量(灶口温度、食材温度
等)、所采用的器具或工具(锅/平底锅、炒菜铲等),还是多谱感测设备(包括摄像机、激光
器、结构性光系统等)收集的二维和三维数据。
数据过程映射算法220采用更为简单(通常为单个单位)的变量判断过程动作正在
何处发生(灶口和/或烤箱、冰箱等),向正被使用的任何物品/器具/设备分配使用标签,不
论其被断续使用还是连续使用。其使烹饪步骤(烘焙、烧烤、食材添加等)与具体的时间段相
关联,并且跟踪何时、何地添加哪种以及多少食材。之后,使这一(带时间戳的)信息数据集
可在菜谱脚本生成过程222中被数据建模过程所用。
数据提取和映射过程224主要致力于取得二维信息(例如,来自单目/单镜头摄像
机)并从其提取关键信息。为了从每个连续图像提取重要且更抽象的描述信息,必须向这一
数据集应用若干算法处理。这样的处理步骤可包括(但不限于)边缘检测、颜色和纹理映射,
之后采用图像当中的畴域知识并结合以从数据简化和抽象过程226提取的对象匹配信息
(类型和尺寸)以允许对象(一件设备或食材等)的识别和定位,再次从数据简化和抽象过程
226提取出所述识别和定位,从而允许使图像中的状态(以及描述其的所有相关变量)和项
目与特定的过程步骤(煎炸、煮沸、切割等)相关联。一旦提取出了这一数据并使之与特定时
间点上的特定图像相关,就可以将其传送给菜谱脚本生成过程222,从而制定出菜谱内的序
列和步骤。
数据简化和抽象引擎(软件例程组)226旨在简化较大的三维数据集,并由其提取
关键的几何信息和相关信息。第一步骤是从大的三维数据点云中仅提取出在特定时间点上
对菜谱重要的具体工作空间区域。一旦完成了对所述数据集的剪裁(trim),就可以通过被
称为模板匹配的过程识别出关键几何特征;这允许识别出诸如水平台面、圆筒形锅和平底
锅、臂和手位置等的项目。一旦在数据集中确定了典型的已知(模板)几何条目,就进行对象
识别和匹配过程以区分出所有项目(普通锅对比平底锅等),并关联其正确的外形规格(锅
或平底锅的尺寸等)和取向,继而将其置入到正在通过计算机组建的三维世界模型中。之
后,所有的该抽象化/提取出的信息在被馈送至菜谱脚本生成引擎222之前,还与数据提取
和映射引擎224共享。
菜谱脚本生成引擎过程222负责将所有的可用数据和集合融合(混合/组合)成结
构化有序烹饪脚本,每一脚本内具有清楚的过程标识符(预备、预煮、油炸、清洗、涂覆等)和
过程特定的步骤,其然后可被转化为机器人厨房的机器可执行命令的脚本,这些脚本在过
程完成和总烹饪时间以及烹饪过程的基础上同步。数据融合至少涉及但不唯独地局限于取
得每个(烹饪)过程步骤的能力,以及采用适当相关的要素(食材、设备等)、将在过程步骤中
采用的方法和处理、以及为了检验适当的进度和执行而要保持和检查的相关的关键控制变
量(设定的烤箱/灶口温度/设置)和监视变量(水或肉温度等)来填充要执行的步骤的序列。
之后,将融合数据结合到结构化有序烹饪脚本中,该脚本将类似于一组最小描述性步骤(近
于杂志上的菜谱),但是在流程中的任何一点上都具有与烹饪过程的每一元素(设备、食材、
处理、方法、变量等)相关的大得多的变量组。最终步骤是取得这一有序烹饪脚本并将其变
换成具有等价结构的有序脚本,其可通过机器人厨房48内的一组机械/机器人/设备来转
换。机器人厨房48正是采用这一脚本执行自动化菜谱执行和监视步骤的。
所有原始的(未处理的)和处理了的数据以及相关脚本(既包括结构有序烹饪序列
脚本又包括机器可执行烹饪序列脚本)存储到数据和简档存储单元/过程228中并加上时间
戳。用户能够通过GUI从这一数据库进行选择并使机器人厨房通过自动化执行和监视引擎
230执行所期望的菜谱,其受自己内部的自动化烹饪过程的连续监视,并由其生成对所述脚
本的必要调适和修改,所述调适和修改由机器人厨房元件实施,这样做的目的在于获得完
整装盘、可供上菜的菜肴。
图5D是示出用于标准化机器人厨房中的对象操纵的软件元素的框图,其采用与微
操纵步骤耦合或者借助于微操纵步骤的运动复现概念示出了机器人脚本的机器人厨房执
行的对象操纵部分的结构和流程250。为了使基于机器臂/手的自动化烹饪可行,简单地监
视臂和手/手指中的每一单个关节是不够的。在很多情况下只知道手/腕的位置和取向(并
且能够复制),但是之后操纵对象(识别位置、取向、姿势、抓取位置、抓取策略和任务执行)
需要采用手和手指的局部感测以及习得的行为和策略来成功地完成抓取/操纵任务。这些
运动简档(基于传感器的/受传感器驱动的)、行为和序列存储在机器人厨房系统的微小手
操纵库软件仓库(repository)中。人类厨师可以穿戴完整的臂外骨架或仪器化/目标适配
运动背心,允许计算机通过内置传感器或通过摄像机跟踪来随时确定手和腕部的确切3D位
置。即使双手的十个手指都设置了关节仪器(双手超过30个DoF(自由度),很难佩戴和使用,
因而不太可能使用),对所有关节位置的简单的基于运动的重现也不能保证成功的(交互
式)对象操纵。
微操纵库是命令软件仓库,在该仓库中基于离线学习过程存储运动行为和过程,
其中将存储成功完成特定抽象任务(抓取刀,之后切片;抓取汤匙之后搅动;一只手抓锅,之
后用另一只手抓取炒菜铲,并将其放到肉的下面,使肉在平底锅内翻面;等等)的臂/腕/手
指运动和序列。该仓库被构建为含有手/腕部的成功传感器驱动运动概况和顺序行为的习
得序列(有时也包含臂位置校正),从而确保成功地完成以更加抽象的语言(例如,“握刀并
将蔬菜切片”、“将鸡蛋打到碗里”、“将平底锅中的肉翻面”等等)描述的对象(器具、设备、工
具)和食材操纵任务。学习过程是迭代式的,并且基于来自厨师工作室的厨师教导运动概况
的多次尝试,其然后被离线学习算法模块执行和迭代地修改,直到表明获得了令人满意的
执行序列为止。意在用所有必要的元素来充实(先验地和离线地)微操纵库(命令软件仓
库),从而允许机器人厨房系统能够成功地与所有设备(器具、工具等)和烹饪过程中需处理
(超出了仅做分配范畴的步骤)的主要食材进行交互。在人类厨师佩戴的手套具有嵌入的针
对手指和手掌的触觉传感器(接近度、触摸、接触位置/力)时,为机器手在各个位置上配备
类似类型的传感器,从而允许采用这些传感器的数据建立、修改和调适运动概况,由此成功
地执行预期运动概况和处理命令。
下文将进一步详述机器人厨房烹饪过程(用于厨房环境中的对象的交互式操纵和
处理的机器人菜谱脚本执行软件模块)的对象操纵部分252。菜谱脚本执行器模块256采用
机器人菜谱脚本数据库254(其含有原始形式、抽象化烹饪序列形式和机器可执行脚本形式
的数据)逐步完成具体的菜谱执行步骤。配置重现模块258选择配置命令,并将其传送至机
器臂系统(躯干、臂、腕和手)控制器270,然后所述控制器270控制物理系统模拟所需的配置
(关节位置/速度/转矩等)值。
借助于(i)3D世界建模以及(ii)微操纵通过实时过程检验,使得能够忠实地执行
正确的环境交互操纵和处理任务的想法成为了可能。通过添加机器人腕和手配置修改器
260执行检验和操纵步骤。该软件模块采用来自3D世界配置模拟器262(其在每一采样步骤
由多模态传感器单元提供的感测数据建立新的3D世界模型)的数据查实机器人厨房系统和
过程的配置与菜谱脚本(数据库)的要求相匹配;不然的话,其将对所命令的系统配置值制
定修改以确保成功地完成任务。此外,机器人腕和手配置修改器260还采用来自微操纵运动
概况执行器264的配置修改输入命令。馈送至配置修改器260的手/腕(以及可能的臂)配置
修改数据是以微操纵运动概况执行器264知道来自258的预期配置重现应是什么为基础,但
是之后修改它是基于其3D对象模型库266和来自配置和排序库268(其基于用于所有主要对
象操纵和处理步骤的多个迭代式学习步骤而建立)的先验习得(并且存储的)数据。
尽管配置修改器260持续不断地向机器臂系统控制器270馈送经修改的命令配置
数据,但是其依赖于处理/操纵检验软件模块272验证不仅所述操作是否正被正确地进行,
而且验证是否需要后续操纵/处理。就后一种情况(判定的答案为“否”)而言,配置修改器
260向世界模拟器262和微操纵概况执行器264两者重新请求配置修改(针对腕、手/手指以
及可能的臂乃至躯干)更新。目标仅是验证已经成功地完成了操纵/处理步骤或序列。处理/
操纵检验软件模块272通过采用对菜谱脚本数据库F2和3D世界配置模拟器262的了解检验
菜谱脚本执行器256当前命令的烹饪步骤的适当进展而执行这一检查。一旦认为进展成功,
那么菜谱脚本索引递增过程274就通知菜谱脚本执行器256进行至菜谱脚本执行中的下一
步骤。
图6是示出根据本发明的多模态感测及软件引擎架构300的框图。实现对机器人烹
饪脚本的规划、执行和监视的自主烹饪主要特征之一要求采用多模态感测输入302,其被多
个软件模块用于生成下述操作所需的数据:(i)理解所述世界,(ii)对场景和材料建模,
(iii)规划机器人烹饪序列中的接下来的步骤,(iv)执行所生成的规划,以及(v)对所述执
行进行监视,从而检验正确的操作,所有这些步骤都是按照连续/重复的闭环样式进行的。
多模态传感器单元302,包括但不限于视频摄影机304、IR摄像机和测距仪306、立
体(乃至三目)摄像机308和多维扫描激光器310,向主软件抽象化引擎312提供多谱感测数
据(在数据采集和过滤模块314中进行采集和过滤之后)。在场景理解模块316中采用所述数
据执行多个步骤,例如(但不限于),采用叠加的可视及IR谱颜色和纹理视频信息构建场景
的高分辨率和较低分辨率(激光器:高分辨率;立体摄像机:较低分辨率)三维表面体积,允
许边缘检测和体积对象检测算法来推断场景中有什么元素,允许采用形状/颜色/纹理/一
致性映射算法来运行经处理的数据,从而将经处理的信息馈送给厨房烹饪过程设备操纵模
块318。在模块318中,采用基于软件的引擎识别厨房工具和用具并三维地定位其位置和取
向,以及识别出可识别食物元素(肉、胡萝卜、调味汁、液体等)并为其加上标签,从而生成让
计算机构建和理解特定时间点上的完整场景的数据以用于接下来的步骤规划和过程监视。
获得这种数据和信息抽象化的引擎包括但不限于抓取推理引擎、几何推理引擎、物理推理
引擎和任务推理引擎。之后,来自引擎316和318两者的输出数据用于馈送给场景模拟器和
内容分类器320,其中用运行机器人烹饪脚本执行器所需的所有关键内容建立3D世界模型。
一旦理解了所述世界的完整充实模型,就可以将其馈送至运动和操纵规划器322(如果机器
臂抓取和操纵是必需的,那么可以采用相同的数据区分和规划食物和厨房物品的抓取和操
纵,具体取决于所需的抓取和放置),从而实现对臂和附加的末端执行器(抓取器和多指手)
的运动和轨迹的规划。后续执行序列规划器324为所有的个体机器人/自动化厨房元素创建
基于任务的命令的适当顺序,之后其将由机器人厨房致动系统326加以使用。在机器人菜谱
脚本执行和监视阶段按照连续闭环重复上面的整个序列。
图7A描绘了标准化厨房50,在本实例中,标准化厨房50起着厨师工作室的作用,在
该厨房中,人类厨师49在受到多模态传感器系统66监视的同时进行菜谱创造和执行,从而
允许创建菜谱脚本。在标准化厨房内包含很多执行菜谱所需的元素,包括主烹饪模块350,
其包括诸如用具360、灶口362、厨房水槽358、洗碗机356、桌面搅拌器和混合器(又称为“厨
房混合器”)352、烤箱354和冰箱/冷冻器组合单元353之类的设备。
图7B描绘了标准化厨房50,在这一实例中,其被配置为标准化机器人厨房,其中,
由双臂机器人系统执行菜谱脚本中定义的菜谱复现过程,所述双臂机器人系统具有竖直可
伸缩旋转躯干接头360,接头360配备有两个臂70以及两只带腕和手指的手72。多模态传感
器系统66持续监视菜谱复现过程的多个阶段中的机器人执行烹饪步骤。
图7C描绘了整个菜谱执行过程中通过监视人类厨师49而进行的菜谱脚本创建相
关的系统。在厨师工作室模式中使用相同标准化厨房50,其中厨师能够从工作模块的两侧
对厨房进行操作。多模态传感器66监视和收集数据,以及通过厨师佩戴的触觉手套370及仪
器化炊具372和设备将收集到的所有原始数据无线中继至处理计算机16,以供处理和存储。
图7D描绘了用于通过利用双臂系统复现菜谱脚本19的标准化厨房50所涉及的系
统,双臂系统具有可伸缩旋转躯干374,包括两个臂72、两个机器手腕71和两只带有多个手
指的手72(嵌入有感测皮肤和点传感器)。在执行菜谱复现过程中的特定步骤时,机器人双
臂系统采用仪器化臂和手连同灶口12上的烹饪用具以及仪器化用具和炊具(图像中的平底
锅),与此同时通过多模态传感器单元66对此进行连续监视,以确保复现过程的执行尽可能
忠实于人类厨师创建的过程。将所有来自多模态传感器66、由躯干74、臂72、腕71和多指手
72构成的双臂机器人系统、用具、炊具和器具的数据无线传输至计算机16,在计算机16中通
过板上处理单元16对其进行处理,从而对菜谱的复现过程进行比较和跟踪,从而尽可能忠
实地遵循先前创建的菜谱脚本19中定义的并且存储在介质18内的标准和步骤。
图7E是描绘逐步流程和方法376的框图,所述流程和方法确保在通过标准化机器
人厨房50执行菜谱脚本时在基于菜谱脚本的菜谱复现过程中存在控制和检验点,其将确保
对于特定菜肴而言标准化机器人厨房50的执行所获得的烹饪结果将尽可能接近于人类厨
师49制备的该种菜肴。采用菜谱脚本所述并且按照烹饪过程380中的顺序步骤执行的菜谱
378,机器人厨房50对菜谱的执行的保真度将在很大程度上取决于对下面的主要控制项的
考虑。关键控制项包括选择和使用标准化部分的量和形状的高质量预处理食材381的过程;
标准化工具和用具以及带有标准化把手的炊具的使用,以确保以已知取向383正确并且安
全地抓取;标准化厨房中的标准化设备385(烤箱、混合器、冰箱等),其在比较人类厨师49制
备菜肴的厨师工作室厨房和标准化机器人厨房50时尽可能是等同的;菜谱中将使用的食材
的位置和放置384;以及最后厨房模块382中的一对机器臂、腕和多指手,传感器持续监视其
受计算机控制的动作以确保特定菜肴的菜谱脚本的复现过程中的每一阶段的每一步骤的
成功执行。最后,确保等同结果386的任务是标准化机器人厨房50的最终目标。
图8A是示出厨师活动和机器人复现活动之间的菜谱转化算法模块400的一实施例
的框图。菜谱算法转换模块404将从厨师工作室44中的厨师活动捕获的数据转换为机器可
读和机器可执行语言406,用于命令机器臂70和机器手72在机器人厨房48中复现厨师活动
制备的食物菜肴。在厨师工作室44中,计算机16基于厨师佩戴的手套26上的传感器捕获和
记录厨师的活动,在表格408中通过垂直列中的多个传感器S0、S1、S2、S3、S4、S5、S6……Sn以及
水平行中的时间增量t0、t1、t2、t3、t4、t5、t6……tend对此予以表示。在时间t0,计算机16记录
来自从多个传感器S0、S1、S2、S3、S4、S5、S6……Sn接收的传感器数据的xyz坐标位置。在时间
t1,计算机16记录来自从多个传感器S0、S1、S2、S3、S4、S5、S6……Sn接收的传感器数据的xyz坐
标位置。在时间t2,计算机16记录来自从多个传感器S0、S1、S2、S3、S4、S5、S6……Sn接收的传感
器数据的xyz坐标位置。持续这一过程直到在时间tend完成了整个食物制备过程为止,每一
时间单元t0、t1、t2、t3、t4、t5、t6……tend的持续时间相同。作为捕获和记录传感器数据的结
果,表格408按照xyz坐标示出了来自手套26中的传感器S0、S1、S2、S3、S4、S5、S6……Sn的任何
活动,其将指示某一具体时间的xyz坐标位置与下一具体时间的xyz坐标位置之间的差别。
表格408有效地记录了从起始时间t0到结束时间tend在整个食物制备过程中厨师的活动是
如何变化的。可以将这一实施例中的举例说明扩展至两只由厨师49佩戴以在制备食物菜肴
的同时捕获其活动的带有传感器的手套26。在机器人厨房48中,机器臂70和机器手72复现
从厨师工作室44记录继而转换为机器人指令的菜谱,其中机器臂70和机器手72根据时间线
416复现厨师49的食物制备。机器臂70和手72以相同的xyz坐标位置、相同的速度以及如时
间线416所示从起始时间t0到结束时间tend的相同时间增量执行食物制备。
在一些实施例中,厨师多次执行相同的食物制备操作,产生从一次到下一次变化
的传感器读数以及对应的机器人指令中的参数。每一传感器的跨越同一食物菜肴制备的多
次重复的一组传感器读数将提供具有平均值、标准偏差值以及最小和最大值的分布。跨越
厨师对同一食物菜肴的多次执行的机器人指令(又称为执行器参数)的对应变化也定义具
有平均值、标准偏差值以及最小和最大值的分布。可以采用这些分布确定随后的机器人食
品制备的保真度(或精确度)。
在一实施例中,下式给出机器人食物制备操作的估算平均精确度:
其中,C表示一组厨师参数(第1到第n),R表示一组机器人设备参数(对应的第1到
第n)。求和式中的分子表示机器人参数和厨师参数之间的差(即,误差),分母针对最大差进
行归一化。求和式给出了总的归一化累积误差,即乘以1/n给出了平
均误差。平均误差的补数对应于平均精确度。
精确度计算的另一版本是对参数进行重要性加权,其中每一系数(每一αi)表示第
i个参数的重要性,归一化累积误差为并且通过下式给出估算平均精
确度:
图8B是示出厨师49佩戴的具有用于捕获和传输厨师活动的传感器的一副手套26a
和26b的框图。在这一意在非限制性地呈现一个例子的说明性例子中,右手手套26a包括25
个传感器以捕获手套26a上的各个传感器数据点D1、D2、D3、D4、D5、D6、D7、D8、D9、D10、D11、
D12、D13、D14、D15、D16、D17、D18、D19、D20、D21、D22、D23、D24、D25,手套26a可以具有任选的
电子和机械线路420。左手手套26b包括25个传感器以捕获手套26b上的各个传感器数据点
D26、D27、D28、D29、D30、D31、D32、D33、D34、D35、D36、D37、D38、D39、D40、D41、D42、D43、D44、
D45、D46、D47、D48、D49、D50,手套26b可以具有任选的电子和机械线路422。
图8C是示出基于来自厨师手套26a和26b的捕获感测数据的机器人烹饪执行步骤
的框图。在厨师工作室44中,厨师49佩戴具有用于捕获食物制备过程的传感器的手套26a和
26b,其中将传感器数据记录到表格430中。在本例子中,厨师49用刀切胡萝卜,其中胡萝卜的
每一片大约1厘米厚。厨师49的这些由手套26a、26b记录下来的动作基元可以构成在时隙1、
2、3和4发生的微操纵432。菜谱算法转换模块404配置为根据软件表格434将来自厨师工作
室44的记录菜谱文件转换成用于操作机器人厨房28中的机器臂70和机器手72的机器人指
令。机器臂70和机器手72借助于实现采用刀切割胡萝卜(其中,胡萝卜的每一片约为1厘米厚)
的微操纵的控制信号436制备食物菜肴,所述微操纵是在微操纵库116中预先定义的。机器
臂70和机器手72借助于相同的xyz坐标438以及来自实时调整装置112的通过建立特定胡萝
卜的临时三维模型440而对该胡萝卜的尺寸和形状做出的可能的实时调整进行操作。
为了操作机械机器人机构,例如本发明一实施例中描述的那些,熟练技工发现必
须解决很多机械和控制问题,有关机器人的文献恰恰描述了这样做的方法。在机器人系统
中建立静态和/或动态稳定性是一个重要考虑事项。尤其是对于机器人操纵而言,动态稳定
性是强烈期望的特性,其目的在于避免超出预期或编程之外发生的意外的破坏或活动。在
图8D中示出了相对于平衡的动态稳定性。这里的“平衡值”是臂的预期状态(即,臂刚好移动
到其被编程为要移动到的位置),其具有由很多因素导致的偏差,例如,惯性、向心或离心
力、谐波振荡等。动态稳定系统是其中变化小且随时间衰减的系统,如曲线450所示。动态不
稳定系统是其中变化不能衰减,并且可能随时间而提高的系统,如曲线452所示。最坏的情
况是在臂静态不稳定(例如,不能保持住其抓住的东西的重量)并且下落时,或者无法从与
编程位置和/或路径的任何偏差中恢复的时候,如曲线454所示。要想获取有关规划(形成微
操纵的序列或在出错的时候恢复)的额外信息,参考Garagnani,M.(1999)“Improving the
Efficiency of Processed Domain-axioms planning”,Proceedings of PLANSIG-99,
Manchester,England,pp.190-192,该文献通过整体引用而合并于此。
所引用的文献解决了动态稳定性的条件,通过引用而将该文献导入到本发明中,
从而实现机器臂的适当功用。这些条件包括计算机器臂的关节的转矩的基本原理:
其中,T是转矩向量(T具有n个分量,每一分量对应于机器臂的一自由度),M是系统
的惯性矩阵(M是正半定n×n矩阵),C是向心力和离心力的组合,其也是n×n矩阵,G(q)是重
力向量,q是位置向量。并且它们包括在能够通过两次微分函数(y's)描述机器人位置(x's)
的情况下通过例如拉格朗日方程找到稳定点和最小值。
为了使由机器臂和手/抓取器构成的系统稳定,重要的是使所述系统得到正确的
设计和构建,并且使其具有在可接受的性能边界内工作的适当感测和控制系统。这一点之
所以重要的原因在于想要获得物理系统有可能给出且其控制器要求其做的最佳(最高速
度,具有最高位置/速度和力/转矩跟踪,全部都在稳定条件下)性能。
在谈及适当设计时,该概念是实现系统的适当可观测性和可控性。可观测性暗示
系统的关键变量(关节/手指位置和速度、力及转矩)是可由系统测量的,这暗示需要具有感
测这些变量的能力,继而暗示适当感测装置(内部或外部)的存在和使用。可控性暗示(这一
实例中的计算机)具有基于来自内部/外部传感器的观测参数对系统的关键轴进行整形和
控制的能力;这通常暗示致动器或者通过电机或其他计算机控制致动系统对某一参数进行
直接/间接控制。使系统响应尽可能线性由此消除非线性的不利影响(静摩擦、后冲、滞后
等)的能力允许实现诸如PID增益调度的控制方案和诸如滑动模式控制的非线性控制器,从
而在考虑系统建模不可靠性(质量/惯性估值的误差、空间几何形状离散化、传感器/转矩离
散化不规则等)的情况下也能确保系统稳定性和性能,而所述不可靠性在任何更高性能的
控制系统中也总是存在的。
此外,使用适当的计算和采样系统也是重要的,因为系统跟上具有某一最高频率
成分的快速运动的能力显然与整个系统能够实现进而系统的频率响应(跟踪具有某速度和
运动频率成分的运动的能力)能够表现出的控制带宽(计算机控制系统的闭环采样速率)有
关。
当涉及确保高度冗余系统实际上能够以动态和稳定形式执行厨师对成功的菜谱
脚本执行所要求的复杂、灵巧的任务时,上文所述的所有特征都是重要的。
与本发明相关的机器人操纵上下文中的机器学习可能涉及用于参数调整的公知
方法,例如,强化学习。本发明的替代优选实施例是一种不同的并且更加适当的学习技术,
其针对的是重复的复杂动作,例如,随时间推移采用多个步骤制备和烹饪膳食,也就是说这
种技术是基于实例的学习。随着时间的推移已经开发出了又名为模拟推理的基于实例的推
理。
作为总的概述,基于实例的推理包括下述步骤:
A.构建和记忆实例。实例是指通过成功地执行而实现目标的一系列具有参数的动
作。参数包括距离、力、方向、位置以及其他物理或电子测度,它们的值是成功地执行任务
(例如,烹饪操作)所需的值。首先,
1.存储刚解决的问题的各个方面,连同:
2.解决所述问题的方法和任选的中间步骤及其参数值,以及
3.(典型地)存储最终的结果。
B.应用实例(在之后的时间点)
4.检索一个或多个存储实例,所述实例的问题与新的问题具有强烈的相似性,
5.任选地调整检索到的实例的参数以应用到当前实例(例如,某物品可稍微更重
一些,因而需要稍微更强一些的力来提升它),
6.采用与实例相同的、具有至少部分地调整了的参数(如果需要的话)的方法和步
骤来解决新问题。
因而,基于实例的推理包括记忆对过去问题的解决方案以及借助于可能的参数修
改将它们应用于新的非常类似问题。但是,为了将基于实例的推理应用于机器人操纵这一
难题,还需要更多的东西。解决方案计划的一个参数的变化将引起一个或多个耦合参数的
变化。这需要对问题解决方案加以变换,而不仅仅是应用。我们将新的过程称为基于实例的
机器人学习,因为其将所述解决方案推广到一族接近的解决方案当中(与输入参数的小变
化对应的那些,输入参数例如为输入食材的确切重量、形状和位置)。基于实例的机器人学
习的操作如下:
C.构建、记忆和变换机器人操纵实例
1.存储刚解决的问题的各个方面,连同:
2.参数的值(例如,来自公式1的惯性矩阵、力等),
3.通过改变与域相关的参数(例如,在烹饪时,改变材料的重量或者它们的确切开
始位置)来进行扰动分析,以查看参数值能够改变多大而仍能获得预期结果,
4.通过对模型的扰动分析,记录哪些其他参数值将发生变化(例如,力)以及将发
生多大的变化,以及
5.如果变化处于机器人设备的操作规范以内,则存储经变换的解决方案计划(以
及参数间的相关性和针对它们的值的投射变化(projected change)计算)。
D.应用实例(在之后的时间点)
6.检索具有变换的确切值的一个或多个存储实例(现在新的值的范围或计算取决
于输入参数的值),虽然具有经变换的确切值,但是其初始问题仍非常类似于所述新问题,
包括参数值和值范围,以及
7.采用来自所述实例的经变换的方法和步骤至少部分解决所述新问题。
随着厨师对机器人(两条臂和感测装置,例如,来自手指的触觉反馈、来自关节的
力反馈、以及一个或多个观测摄像机)进行教导,机器人不仅学习到特定动作序列和时间关
联,而且还学习到围绕厨师动作的一族小变化,此时尽管可观测输入参数中存在微小变化,
但是厨师动作仍能够制备出相同的菜肴,由此机器人学习到一般化的变换方案,从而使其
比机械记忆具有更高的实用性。要想获得有关基于实例的推理和学习的额外信息,请参考
Leake,1996Book,Case-Based Reasoning:Experiences,Lessons and Future
Directions,http://journals.cambridge.org/action/displayAbstract?fromPage=
online&aid=4068324&fileld=S026988890 0006585dl.acm.org/citation.cfm?id=
524680;Carbonell,1983,Learning by Analogy:Formulating and Generalizing Plans
from Past Experience,http://link.springer.com/chapter/10.1007/978-3-662-
12405-5_5,这些参考文献通过整体引用而合并于此。
如图8E所示,烹饪过程需要一系列步骤,其被称为食物制备的多个阶段S1、S2、S3…
Sj…Sn,如时间线456所示。这些步骤可能需要严格的线性/有序的顺序,或者一些步骤可以
并行执行;不管怎样都具有阶段的集合{S1、S2、S3…Sj…Sn},必须成功地完成所有这些步骤
才能获得整体的成功。如果每一阶段的成功概率为P(si),并且存在n个阶段,那么通过每一
阶段的成功概率的积估算总体成功概率:
本领域技术人员将认识到,即使各个阶段的成功概率相对较高,但是总体成功概
率也可能很低。例如,假定有10个阶段,每一阶段的成功概率为90%,那么总体成功概率为
(0.9)10=0.28或28%。
制备食物菜肴的阶段包括一个或多个微操纵,其中每一微操纵包括得到明确定义
的中间结果的一个或多个机器人动作。例如,切蔬菜可以是一手抓住蔬菜,另一只手抓住
刀,并且应用重复的刀移动,直到切完为止构成的微操纵。制备菜肴的阶段可包括一个或多
个切菜微操纵。
成功概率公式在阶段级别上和微操纵级别上同样地适用,只要每一微操纵相对于
其他微操纵独立即可。
在一实施例中,为了缓解由于潜在的复合误差导致的成功确定性降低的问题,推
荐对所有阶段中的大部分或所有微操纵都采用标准化方法。标准化操作是这样的操作,其
可被预先编程、预先测试以及必要时预先调整以选择出具有最高成功概率的操作序列。因
而,如果通过各个阶段内的微操纵实施的标准化方法的概率非常高,那么由于先前的工作,
直到所有的步骤都变得完美并且受到测试,所以制备食物菜肴的总体成功概率也将非常
高。例如,重新来看上面的例子,如果每一阶段采用可靠的标准化方法,那么其成功概率为
99%(而不是先前例子中的90%),那么总体成功概率为(0.99)10=90.4%,如前一样假设有
10个阶段。这明显优于28%的获得总体正确结果的概率。
在另一实施例中,针对每一阶段提供不止一种替代方法,其中如果一种替代方法
失败,那么尝试另一种替代方法。这需要动态监视来确定每一阶段的成功或失败,并且还需
要制定备选方案的能力。该阶段的成功概率是所有备选方案的失败概率的补数,从数学上
表示如下:
在上面的表达式中,si是阶段,A(si)是完成si的一组备选方案。给定备选方案的失
效概率是该备选方案的成功概率的补数,即,1-P(si|aj),所有备选方案失败的概率是上述
公式中的乘积项。因而,不会全部失败的概率是所述乘积的补数。采用有备选方案的方法,
能够将总体成功概率估算为具有备选方案的每一阶段的乘积,即:
对于这种具有备选方案的方法,如果10个阶段中的每个具有4个备选方案,并且每
一阶段的每一备选方案的预期成功概率为90%,那么总体成功概率为(1-(1-(0.9))4)10=
0.99或99%,与之对照的是没有备选方案时仅为28%的总体成功概率。具有备选方案的方
法将初始问题从一条具有多个故障点(如果任何阶段失败)的阶段链条变换成了没有单一
故障点的链条,因为必须所有的备选方案都失败才能导致任何给定阶段的失败,从而提供
了更加鲁棒的结果。
在另一实施例中,将包含标准化微操纵的标准化阶段与食物菜肴制备阶段的备选
措施两者相结合,从而得到甚至更鲁棒性的性能。在这样的情况下,对应的成功概率可以非
常高,即使只有一些阶段或微操纵具有备选方案。
在另一实施例中,只为具有较低成功概率的阶段提供备选方案,以防失败,例如,
没有非常可靠的标准化方法的阶段或者具有潜在变化的阶段,例如,依赖于奇怪形状材料
的阶段。该实施例降低了向所有阶段提供备选方案的负担。
图8F是示出作为烹饪食物菜肴所需的阶段数(x轴)的函数的总成功概率(y轴)的
曲线图,其中第一曲线示出非标准化厨房458,第二曲线459示出标准化厨房50。在该例子
中,假设对于非标准化操作而言每一食物制备阶段的个体成功概率为90%,对于标准化预
编程阶段而言为99%。那么就前一种情况而言复合误差要严重得多,如曲线458所示,可以
比对曲线459。
图8G是示出采用多阶段机器人食物制备的菜谱460的执行的框图,所述多阶段食
物制备采用微操纵和动作基元。可以将每一食品菜谱460划分成多个食物制备阶段:第一食
物制备阶段S1 470、第二食物制备阶段S2…第n食物制备阶段Sn 490,它们是由机器臂70和
机器手72执行的。第一食物制备阶段S1 470包括一个或多个微操纵MM1 471、MM2 472和MM3
473。每一微操纵包括一个或多个获得功能结果的动作基元。例如,第一微操纵MM1 471包括
第一动作基元AP1 474、第二动作基元AP2 475和第三动作基元AP3 475,其将获得功能结果
477。于是,第一阶段S1 470中的一个或多个微操纵MM1 471、MM2 472、MM3 473将获得阶段结
果479。一个或多个食物制备阶段S1 470、第二食物制备阶段S2和第n阶段食物制备阶段Sn
490的组合将通过重复在厨师工作室44中记录的厨师49的食物制备过程而生成基本上相同
或相同的结果。
预定义微操纵可用于实现每一功能结果(例如,磕开鸡蛋)。每一微操纵包含若干
动作基元的集合,这些动作基元一起作用,从而完成所述功能结果。例如,机器人可以开始
于将其手移向鸡蛋,触摸鸡蛋以定位其位置,检查其大小,并执行将鸡蛋抓取并提升到已知
的预定配置所需的移动和感测动作。
为了便于理解和组织菜谱,可以将多个微操纵汇集成阶段,例如,调制料汁。执行
所有微操纵以完成所有阶段的最终结果是每次以一致的结果复现食物菜肴。
图9A是示出具有五个手指和手腕的机器手72的例子的框图,机器手72具有RGB-D
传感器、摄像机传感器和声纳传感器能力,用于检测和移动厨房工具、对象或一件厨房设
备。机器手72的手掌包含RGB-D传感器500、摄像机传感器或声纳传感器504f。或者,机器手
450的手掌既包括摄像机传感器,又包括声纳传感器。RGB-D传感器500或声纳传感器504f能
够检测对象的位置、尺寸和形状,以建立对象的三维模型。例如,RGB-D传感器500采用结构
化的光来捕获对象的形状,进行三维映射和定位、路径规划、导航、对象识别和人物跟踪。声
纳传感器504f采用声波来捕获对象的形状。置于机器人厨房某处(例如,置于轨道上或机器
人上)的视频摄像机66与摄像机传感器452和/或声纳传感器454相结合提供了捕获、遵循或
指引厨房工具如厨师49使用的那样(如图7A所示)移动的途径。将视频摄像机66设定到相对
于机器手72成一定角度并且相距一定距离的位置,因此其将在更高的水平上检视机器手72
抓取对象以及机器手是否已经抓取或松开/释放了对象。RGB-D(红光束、绿光束、蓝光束和
深度)传感器的适当例子是微软公司的Kinect系统,其以依靠软件运行的RGB摄像机、深度
传感器和多阵列麦克风为特征,这些部件将提供全身3D运动捕获、面部识别和语音识别能
力。
机器手72具有置于手掌中央或附近的RGB-D传感器500,以检测对象的距离和形状
以及对象的距离,并且用于操纵厨房工具。RGB-D传感器500在将机器手72朝对象方向移动
并且做出必要的调整以抓取对象的过程中为机器手72提供引导。其次,声纳传感器502f和/
或触觉压力传感器放置到机器手72的手掌附近,以检测对象的距离和形状以及后续接触。
声纳传感器502f也可引导机器手72朝向对象移动。手中的额外类型的传感器可包括超声波
传感器、激光器、射频识别(RFID)传感器以及其他适当的传感器。此外,触觉压力传感器起
着反馈机制的作用,以判断机器手72是否继续施加额外的力,从而在具有足够的压力以安
全地拿起对象的点上抓取对象。此外,机器手72的手掌中的声纳传感器502f提供触觉感测
功能,以抓取和操纵厨房工具。例如,在机器手72抓取刀切牛肉时,能够在刀结束切牛肉时,
即在刀没有阻力时,或者在保持住一对象时,通过触觉传感器检测机器手对刀施加的并由
此对牛肉施加的压力的值。所分配的压力不仅是为了固定对象,而且还要不对其(例如,鸡
蛋)造成破坏。
此外,机器手72上的每一手指具有处于相应的指尖上的触觉振动传感器502a-e和
声纳传感器504a-e,如处于拇指指尖上的第一触觉振动传感器502a和第一声纳传感器
504a、处于食指指尖上的第二触觉振动传感器502b和第二声纳传感器504b、处于中指指尖
上的第三触觉振动传感器502c和第三声纳传感器504c、处于无名指指尖上的第四触觉振动
传感器502d和第四声纳传感器504d以及处于小指指尖上的第五触觉振动传感器502e和第
五声纳传感器504e所示。触觉振动传感器502a、502b、502c、502d和502e的每者能够通过使
振动的形状、频率、幅度、持续时间和方向发生变化而模拟出不同的表面和效果。声纳传感
器504a、504b、504c、504d和504e的每者提供对对象的距离和形状的感测能力、对温度或湿
度的感测能力、以及反馈能力。额外的声纳传感器504g和504h可放置在机器手72的手腕上。
图9B是示出具有耦合至一对用于标准化机器人厨房中的操作的机器臂和手的传
感器摄像机512的云台头510的一实施例的框图。云台头510具有用于监视、捕获或处理标准
化机器人厨房50内的信息和三维图像的RGB-D传感器512。云台头510提供独立于臂和传感
器运动的良好位置知觉性。云台头510耦合至一对机器臂70和手72,以执行食物制备过程,
但是这一对机器臂70和手72可能引起阻挡。
图9C是示出用于标准化机器人厨房50内的操作的机器手腕73上的传感器摄像机
514的框图。传感器摄像机514的一实施例是安装到相应手72的腕部73上的提供彩色图像和
深度感知的RGB-D传感器。相应腕部73上的摄像机传感器514的每个受到臂的有限阻挡,但
是在机器手72抓取对象时一般不受阻挡。但是,RGB-D传感器514可能受到相应机器手72的
阻挡。
图9D是示出用于标准化机器人厨房50中的操作的机器手72上的手内眼518的框
图。每只手72具有传感器,例如,RGB-D传感器,从而通过标准化机器人厨房50中的机器手72
提供手内眼功能。每只手内的具有RGB-D传感器的手内眼518提供具有相应的机器臂70和相
应的机器手72的有限阻挡的高度图像细节。但是,具有手内眼518的机器手72在抓取对象时
可能会受阻挡。
图9E-9G是示出机器手72中的可形变手掌520的各个方面的图画示图。带有五个手
指的手的手指带有标签,将拇指标为第一手指F1 522,将食指标为第二手指F2 524,将中指
标为第三手指F3 526,将无名指标为第四手指F4 528,将小指标为第五手指F5 530。鱼际隆
起532是处于手的桡侧(第一手指F1 522一侧)的可形变材料的凸起体积。小鱼际隆起534是
处于手的尺骨侧(第五手指F5 530一侧)的可形变材料的凸起体积。掌指骨垫(MCP垫)536是
处于第二、第三、第四和第五手指F2524、F3 526、F4 528、F5 530的掌指骨(指节)关节的腹
侧(掌侧)的凸起可形变体积。具有可形变手掌520的机器手72外面带着手套,其具有柔软的
类似于人的皮肤。
鱼际隆起532和小鱼际隆起534一起支持从机器臂向工作空间内的对象施加大力,
使得这些力的施加对机器手的关节造成的压力降至最低(例如,擀面棍的图片)。手掌520内
的额外关节本身可用于使手掌发生形变。手掌520将通过某种方式发生形变,从而形成用于
按照与厨师类似的方式进行工具抓取的倾斜的掌内沟槽(典型的把手抓取)。手掌520应当
按照某种方式发生形变,从而呈杯状,以按照与厨师类似的方式舒适地抓取凸状物体,例
如,盘子和食物材料,如图9G中的呈杯状手势542所示。
手掌520内的可以支持这些动作的关节包括位于接近手腕的手掌桡侧的拇指腕掌
关节(CMC),其可以具有两个截然不同的运动方向(挠曲/伸展以及外展/内收)。支持这些动
作所需的额外关节可以包括处于接近手腕的手掌的尺骨侧的关节(第四手指F4 528和第五
手指F5 530CMC关节),其允许以一定倾角弯曲,以支持小鱼际隆起534处的成杯状动作以及
掌内沟槽的形成。
机器人手掌520可以包括复现人的烹饪活动当中的手掌形状所需的额外/不同关
节,例如,一系列耦接的挠曲关节,用以支持在鱼际和小鱼际隆起532和534之间形成拱形
540,从而使手掌520发生形变,例如,在拇指F1 522接触小指F5 530时,如图9F所示。
在使手掌呈杯状时,鱼际隆起532、小鱼际隆起534和MCP垫536形成围绕掌谷的隆
脊,这使手掌能够绕小的球形对象(例如,2cm)围拢。
将采用特征点相对于固定参照系(reference frame)的位置描述可形变手掌的形
状,如图9H和9I所示。每一特征点表示为随时间的x、y、z坐标位置的向量。在厨师佩戴的感
测手套上以及机器人佩戴的感测手套上标出特征点位置。还在所述手套上标出参照系,如
图9H和9I所示。在手套上相对于参照系的位置定义特征点。
在厨师执行烹饪任务时,通过安装在工作空间内的经校准的摄像机测量特征点。
时域内的特征点轨迹用于将厨师活动与机器人活动相匹配,包括使可形变手掌的形状相匹
配。还可以采用来自厨师活动的特征点轨迹为机器人可形变手掌设计提供信息,包括可形
变手掌表面的形状以及机器手的关节的安置和运动范围。
在图9H所示的实施例中,特征点处于小鱼际隆起534、鱼际隆起532和MCP垫536内,
它们是带标记的棋盘形图案,标记示出手掌的每一区域内的特征点。腕部区域的参考系具
有四个矩形,其可被识别为参照系。相对于参照系识别相应区域内的特征点(或标记)。出于
食品安全的考虑,可以在手套下面实施这一实施例中的特征点和参照系,但是其可以通过
手套透过来,以便被检测到。
图9H示出具有可以用于确定三维形状特征点550的位置的可视图案的机器手。随
着手掌关节移动且随着手掌表面响应于外加力而发生形变,这些形状特征点的位置将提供
有关手掌表面形状的信息。
所述可视图案包括位于机器手上或厨师佩戴的手套上的表面标记552。可以通过
食品安全透明手套554覆盖这些表面标记,但是表面标记552仍然能够透过手套看到。
当表面标记552在摄像机图像中可见时,可以通过对可视图案中的凸角或凹角进
行定位而识别出摄像机图像内的二维特征点。单幅摄像机图像中的每一这样的拐角都是二
维特征点。
当在多幅摄像机图像中识别出同一特征点时,能够在相对于标准化机器人厨房50
固定的坐标系内确定这一点的三维位置。该计算是基于每一图像中该点的二维位置和已知
摄像机参数(位置、取向、视场等)执行的。
可以采用参照系可视图案获得固定至机器手72的参照系556。在一实施例中,固定
至机器手72的参照系556包括原点和三个正交坐标轴。其通过在多个摄像机中对参照系的
可视图案的特征进行定位,并且采用参照系可视图案的已知参数以及各摄像机的已知参数
来提取原点和坐标轴而被识别。
一旦观测到了机器手的参照系,就可以将在食物制备站的坐标系中表达的三维形
状特征点转化为机器手的参照系。
可形变手掌的形状包括三维形状特征点的向量,所有这些特征点都在固定至机器
人或厨师的手的参照坐标系内表达。
如图9I所示,实施例中的特征点560由不同区域(手掌的小鱼际隆起534、鱼际隆起
532和MCP垫536)中的传感器(例如,霍耳效应传感器)表示。特征点可在其相应位置相对于
参照系被识别出来,参照系在本实施方式中为磁体。磁体生成可被传感器读取的磁场。本实
施例中的传感器嵌入在手套下面。
图9I示出具有嵌入的传感器以及一个或多个磁体562的机器手72,其可用作替代
机制来确定三维形状特征点的位置。一个形状特征点与每个嵌入的传感器相关联。随着手
掌关节的移动以及随着手掌表面响应于外加力发生形变,这些形状特征点560的位置将提
供有关手掌表面形状的信息。
在传感器信号的基础上确定形状特征点的位置。传感器提供输出,所述输出允许
计算附至磁体的参照系中的距离,所述磁体进一步附至机器人或厨师的手。
基于传感器测量结果以及从传感器校准获得的已知参数计算每一形状特征点的
三维位置。可形变手掌的形状包括三维形状特征点的向量,所有这些特征点都在固定至机
器人或厨师的手的参照坐标系内表达。要想获得有关人手上的常用接触区域以及抓取功能
的额外信息,参考Kamakura,Noriko,Michiko Matsuo,Harumi Ishii,Fumiko Mitsuboshi,
and Yoriko Miura."Patterns of static prehension in normal hands."American
Journal of Occupational Therapy 34,no.7(1980):437-445,该文献通过整体引用而合
并于此。
图10A是示出厨师49在标准化机器人厨房环境50内佩戴的用于在具体菜谱的食物
制备过程中记录和捕获厨师活动的厨师记录装置550的例子的框图。厨师记录装置550包括
但不限于一个或多个机器人手套(或机器人衣服)26、多模态传感器单元20和一副机器人眼
镜552。在厨师工作室系统44中,厨师49佩戴机器人手套26进行烹饪,从而记录和捕获厨师
的烹饪活动。或者,厨师49可以佩戴具有机器人手套的机器人服装,而不是只戴机器人手套
26。在一实施例中,具有嵌入的传感器的机器人手套26捕获、记录和保存厨师的臂、手和手
指运动在xyz坐标系中的带有时间戳的位置、压力和其他参数。机器人手套26保存从制备特
定食物菜肴的起始时间到结束时间的持续时间内三维坐标系中厨师18的臂和手指的位置
和压力。在厨师49戴着机器人手套26时,按周期性时间间隔(例如,每隔t秒)精确地记录厨
师工作室系统44中制备食物菜肴时的所有活动、手的位置、抓取运动以及所施加的压力的
量。多模态传感器单元20包括视频摄像机、IR摄像机和测距仪306、立体(或者甚至三目)摄
像机308和多维扫描激光器310,并且向主软件抽象化引擎312提供多谱感测数据(在数据获
取和过滤模块314中获取和过滤之后)。多模态传感器单元20生成三维表面或纹理,并且处
理抽象化模型数据。该数据在场景理解模块316中用于执行多个步骤,例如(但不限于)用叠
加的可视及IR谱颜色和纹理视频信息构建场景的高分辨率和较低分辨率(激光器:高分辨
率;立体摄像机:较低分辨率)三维表面体积,允许边缘检测和体积对象检测算法推断什么
元素在场景中,允许采用形状/颜色/纹理/一致性映射算法运行经处理的数据,从而将处理
了的信息馈送给厨房烹饪过程设备操纵模块318。任选地,除了机器人手套76之外,厨师49
还可以佩戴一副机器人眼镜552,所述眼镜具有围绕框架设置的一个或多个机器人传感器
554,所述框架设有机器人耳机556和麦克风558。机器人眼镜552提供额外的视觉和捕获能
力,例如,用于捕获和记录厨师49在烹饪膳食时看到的视频和图像的摄像机。一个或多个机
器人传感器554捕获并记录正在制备的膳食的温度和气味。耳机556和麦克风558捕获并记
录厨师在烹饪时听到的声音,其可以包括人的语音以及油炸、烧烤、磨碎等的声音特征。厨
师49还可以采用耳机和麦克风82记录食物制备时的同步语音指令和实时烹饪步骤。就此而
言,厨师机器人记录器装置550在特定食物菜肴的食物制备过程中记录厨师的活动、速度、
温度和声音参数。
图10B是示出用机器人姿势、运动和力评估厨师运动的捕获的过程560的一实施例
的流程图。数据库561存储机器臂72和机器手72的预定义(或预确定的)抓取姿势562和预定
义的手运动,根据重要性564对其加权并且用接触点565和所存储的接触力565对其加标签。
在操作567,厨师活动记录模块98配置为部分地基于预定义的抓取姿势562和预定义的手运
动563捕获厨师制备食物菜肴的运动。在操作568,机器人食物制备引擎56配置为评估机器
人设备配置完成姿势、运动和力,继而完成微操纵的能力。接下来,机器人设备配置经历评
估机器人设计参数570、调整设计参数以改善评分和性能571、以及修改机器人设备配置572
的迭代过程569。
图11是示出供家庭机器人厨房48中的标准化机器人厨房系统50使用的机器臂70
的侧视图的一实施例的框图。在其他实施例中,可以设计一条或多条机器臂70,例如,一条
臂、两条臂、三条臂、四条臂或更多臂以用于标准化机器人厨房50中的操作。来自厨师工作
室系统44的存储食物制备过程中厨师的臂、手和手指活动的一个或多个软件菜谱文件46可
被上载并且转换为机器人指令,以控制所述一条或多条机器臂70以及一个或多个机器手72
来模仿厨师的活动,以制备厨师曾制备的食物菜肴。机器人指令控制机器人设备来复现厨
师在制备相同食物菜肴时的精确活动。每个机器臂70和每个机器手72还可以包括额外的特
征和工具,例如,刀、叉、匙、炒菜铲、其他类型的用具、或者完成食物制备过程的食物制备器
具。
图12A-12C是示出与具有手掌520的机器手72一起使用的厨房把手580的一实施例
的框图。厨房把手580的设计旨在具有通用性(或者标准化),从而使同一厨房把手580能够
附接至任何类型的厨房用具或工具,例如,刀、炒菜铲、撇渣器、勺子、漏勺、锅铲等。在图
12A-12B中示出了厨房把手580的不同立体图。机器手72握住厨房把手580,如图12C所示。在
不背离本发明的精神的情况下可以设计其他类型的标准化(或通用)厨房把手。
图13是示出具有触觉传感器602和分布式压力传感器604的示范性机器手600的图
画示图。在食物制备过程中,机器人设备采用机器手的指尖和手掌内的传感器生成的触摸
信号在机器人复现一步步活动的同时检测力、温度、湿度和毒性(toxicity),并且将感测到
的值与厨师的工作室烹饪程序的触觉概况进行比较。视觉传感器帮助机器人识别周围环境
并且采取适当的烹饪动作。机器人设备分析来自视觉传感器的即时环境图像并将其与厨师
工作室烹饪程序的保存图像进行比较,从而做出适当动作以获得等同结果。机器人设备还
采用不同的麦克风来将厨师的指令语言与食物制备过程的本底噪声进行比较,以改善烹饪
期间的识别性能。任选地,机器人可以具有电子鼻子(未示出),以检测气味或味道以及环境
温度。例如,机器手600能够通过手指和手掌内的触觉传感器生成的表面纹理、温度和重量
信号区分出真实的鸡蛋,进而能够施加适当大小的力握住鸡蛋而不将其打破,并且能够通
过晃动鸡蛋听其溅泼声、磕开鸡蛋观察蛋黄和蛋白并闻其气味来判断鸡蛋的新鲜程度,由
此完成质量检查。之后,机器手600可以采取措施处理掉坏掉的鸡蛋,或者选择新鲜的鸡蛋。
手、臂和头上的传感器602和604使机器人能够移动、触摸、看和听,从而采用外部反馈执行
食物制备过程,并获得与厨师工作室烹饪结果等同的食物菜肴制备结果。
图14是示出厨师49在标准化机器人厨房50中穿戴的感测服装620的例子的图画示
图。在软件文件46记录的食物菜肴的食物制备过程中,厨师49穿戴感测服装620,从而按时
间序列实时地捕获厨师的食物制备活动。感测服装620可包括但不限于触觉套装622(示出
了一整条臂和手部的服装)[在该处没有像这样的附图标记]、触觉手套624、多模态传感器
626[无此附图标记]、头部服饰628。具有传感器的触觉套装622能够从厨师的活动捕获数
据,并将捕获的数据传输至计算机16,从而记录带时间戳的XYZ坐标系内人的臂70和手/手
指72的xyz坐标位置和压力。感测服装620也进行感测,计算机16记录机器人坐标系中人的
臂70和手/手指72的位置、速度和力/转矩以及端点接触行为,其具有系统时间戳并与之相
关联,由此与采用几何传感器(激光器传感器、3D立体传感器或视频传感器)的标准化机器
人厨房50中的相对位置关联起来。具有传感器的触觉手套624用于捕获、记录和保存通过手
套624中的触觉传感器检测到的力、温度、湿度和杀菌度信号。头部服饰628包括具有视觉摄
像机、声纳、激光器、视频识别(RFID)和一副定制眼镜的反馈装置,它们用于感测、捕获数据
并将捕获的数据传输至计算机16,从而记录并存储厨师48在食物制备过程中观察到的图
像。此外,头部服饰628还包括用于检测标准化机器人厨房50中的环境温度和嗅觉特征的传
感器。此外,头部服饰628还包括音频传感器,用于捕获厨师49听到的音频,例如,油炸、磨
碎、切斩等的声音特征。
图15A-15B是示出用于厨师49的食物制备的具有传感器的三指触觉手套630的一
实施例以及具有传感器的三指机器手640的例子的屠户示图。文中所示的实施例示出了用
于食物制备的具有不到五个手指的简化机器手640。对应地,将显著降低简化机器手640的
设计当中的复杂性以及简化机器手640的制造成本。在备选实施方式中,具有或者没有相对
的拇指的二指抓爪或四指机器手也是可能的。在这一实施例中,厨师手的活动受到三个手
指,即拇指、食指和中指的功能的限制,其中每一手指具有用于在力、温度、湿度、毒性或触
觉感知方面感测厨师活动数据的传感器632。三指触觉手套630还包括处于三指触觉手套
630的手掌区域内的点传感器或分布式压力传感器。将厨师使用拇指、食指和中指在佩戴三
指触觉手套630的情况下制备食物菜肴的活动记录到软件文件中。接下来,三指机器手640
根据软件菜谱文件复现厨师的活动,软件菜谱文件被转换成机器人指令以用于在监视机器
手640的手指上的传感器642b和手掌上的传感器644的同时,控制机器手640的拇指、食指和
中指。传感器642包括力、温度、湿度、杀菌度或触觉感传感器,而传感器644可以采用点传感
器或分布式压力传感器实现。
图16是示出微操纵库数据库的创建模块650和微操纵库数据库的执行模块660的
框图。微操纵数据库的库的创建模块60是创建、测试各种可能的组合以及选择最佳微操纵
以获得特定功能结果的过程。创建模块60的一个目标在于探索执行具体微操纵的过程的不
同可能组合,以及预定义最佳微操纵的库,以供机器臂70和机器手72随后在食物菜肴的制
备当中执行。还可以采用微操纵库的创建模块650作为针对机器臂70和机器手72的教导方
法,使之学习来自微操纵库数据库的不同食物制备功能。微操纵库数据库的执行模块660配
置为提供一定范围的的微操纵功能,机器人设备能够在食物菜肴的制备过程中从微操纵库
数据库对其进行访问和执行,其包括具有第一功能结果662的第一微操纵MM1、具有第二功
能结果664的第二微操纵MM2、具有第三功能结果666的第三微操纵MM3、具有第四功能结果
668的第四微操纵MM4以及具有第五功能结果670的第五微操纵MM5。
图17A是示出厨师49在制备食物菜肴时用于感测和捕获厨师活动的感测手套680
的框图。感测手套680具有处于每个手指上的多个传感器682a、682b、682c、682d、682e以及
处于感测手套680的手掌区域中的多个传感器682f、682g。在一实施例中,采用处于软手套
内的至少5个压力传感器682a、682b、682c、682d、682e捕获和分析全部手部操纵过程中的厨
师活动。将这一实施例中的多个传感器682a、682b、682c、682d、682e、682f和682g嵌入到感
测手套680内,但是其能够透过感测手套680的材料受到外部感测。感测手套680可以具有与
多个传感器682a、682b、682c、682d、682e、682f、682g相关联的特征点,它们反映感测手套
680内的具有各个较高点和较低点的手部曲线(或起伏)。置于机器手72之上的感测手套680
由模拟人类皮肤的柔顺性和形状的柔软材料制成。在图9A中能够找到详述机器手72的额外
描述。
机器手72包括摄像机传感器684,例如,RGB-D传感器、成像传感器或视觉感测装
置,其置于手掌中央或附近,用于检测对象的距离和形状、以及对象的距离,并且用于对厨
房工具进行操纵。成像传感器682f在使机器手72朝向对象的方向移动时为机器手72提供引
导,并进行必要的调整,以抓取对象。此外,可以将诸如触觉压力传感器之类的声纳传感器
置于机器手72的手掌附近,用于检测对象的距离和形状。声纳传感器682f还可以引导机器
手72朝向对象移动。每个声纳传感器682a、682b、682c、682d、682e、682f、682g包括超声波传
感器、激光器、射频识别(RFID)以及其他适当的传感器。此外,每个声纳传感器682a、682b、
682c、682d、682e、682f、682g起着反馈机构的作用,以判断机器手72是否继续施加额外压
力,以便在这样的具有足够的抓取和提升对象的压力的点上抓取对象。此外,机器手72的手
掌内的声纳传感器682f提供触觉感知功能,以操纵厨房工具。例如,在机器手72抓取刀切牛
肉时,机器手72向刀施加继而施加到牛肉上的压力的值允许触觉感受器检测何时刀结束了
对牛肉的切割,即,刀何时没有阻力。所分配的压力不仅是为了固定对象,而且还要避免施
加的压力过大,例如不使鸡蛋破裂。此外,机器手72的每一手指上具有指尖上的传感器,如
拇指指尖上的第一传感器682a、食指指尖上的第二传感器682b、中指指尖上的第三传感器
682c、无名指指尖上的第四传感器682d以及小指指尖上的第五传感器682f所示。每个传感
器682a、682b、682c、682d、682e提供对对象的距离和形状的感测能力、对温度或湿度的感测
能力、以及触觉反馈能力。
手掌内的RGB-D传感器684和声纳传感器682f加上每个手指的指尖上的声纳传感
器682a、682b、682c、682d、682e为机器手72提供反馈机制,以作为抓取非标准化对象或非标
准化厨房工具的措施。机器手72可以将压力调整到足以抓取并保持非标准化对象的程度。
图17B示出了根据具体时间间隔存储样本抓取功能692、694、696的程序库690,机器手72能
在执行特定抓取功能时从程序库690取出这些功能。图17B是示出标准化机器人厨房模块50
中的标准化操作活动的库数据库690的框图。预定义并且存储在库数据库690中的标准化操
作活动包括抓取、放置和操作厨房工具或一件厨房设备。
图18A是示出包覆了人工的类似于人的软皮肤手套700的每个机器手72的示意图。
人工的类似于人的软皮肤手套700包括多个嵌入式传感器,它们是能透过的,并且对于机器
手72而言足以使其执行高层级微操纵。在一实施例中,软皮肤手套700包括十个或更多传感
器,以复现手部活动。
图18B是示出包覆着人工的类似于人的皮肤手套的机器手基于微操纵的库数据库
720执行高层级微操纵的框图,所述微操纵被预定义且存储在库数据库720内。高层级微操
纵涉及需要大量的交互式活动和相互作用力以及对其的控制的动作基元的序列。提供了存
储在数据库库720内的三个微操纵的例子。第一个微操纵的例子是采用一双机器手72揉面
团722。第二个微操纵的例子是采用一双机器手72制作意大利方饺724。第三个微操纵的例
子是采用一双机器手72制作寿司。三个微操纵的例子中的每个都具有一定的持续时间和速
度曲线,将通过计算机16对其予以跟踪。
图18C是示出三种类型的食物制备操纵动作的示意图,其具有产生预期目标状态
的机器臂70和机器手72的运动和力的连续轨迹。机器臂70和机器手72执行刚性抓取和转移
730活动,从而借助于不可移动的抓取拾取对象并将其转移到目标位置,而无需用力的相互
作用。刚性抓取和转移的例子包括将平底锅放到炉子上、拿起盐瓶、将盐撒到菜里、将食材
投放到碗里、倒出容器内的内容物、拌沙拉以及对烙饼翻面。机器臂70和机器手72执行采用
用力相互作用732的刚性抓取,其中在两个表面或对象之间存在用力的接触。采用用力相互
作用的刚性抓取的例子包括在锅里搅动、打开盒子、转动平底锅以及将物品从砧板扫到平
底锅里。机器臂70和机器手72执行具有形变734的用力相互作用,其中在两个表面或对象之
间具有用力接触,从而导致两个表面之一发生形变,例如,切胡萝卜、打蛋或滚动面团。要想
获得有关人手功能、人手掌的形变及其抓取功能的额外信息,参考I.A.Kapandji,“The
Physiology of the Joints,Volume 1:Upper Limb,6e,”Churchill Livingstone,
6edition,2007,该参考文献通过整体引用而合并于此。
图18D是示出在揉面740的过程中用于食物制备的操纵动作的分类法的一实施例
的简化流程图。揉面740可以是先前在微操纵库数据库中预定义的微操纵。揉面740的过程
包括一系列动作(或短的微操纵),其包括抓住面团742,将面团放到表面744上、以及重复揉
搓动作直到获得期望的形状746为止。
图18E是示出机器臂70和机器手72之间的相互作用和相互配合的一个例子的框
图。顺应性机器臂750提供较小的有效载荷、较高的安全性、更温和的动作、但是较低的精确
度。拟人机器手752提供更高的灵巧度,能够操纵人用工具,更易于重新锁定人手动作,更具
顺应性,但是其设计需要更高的复杂性,增加了重量而且生产成本更高。简单的机器手754
重量更轻,价格更低,但是其灵巧度较低且不能直接使用人用工具。工业机器臂756更加精
确,具有更高的有效载荷能力,但是一般认为其在人的周围是不安全的,有可能施加很大的
力并且造成伤害。标准化机器人厨房50的一实施例将采用顺应臂750和拟人手752的第一组
合。对于本发明的实施而言,一般不太期望采用其他三种组合。
图18F是示出采用附接至定制炊具头的标准化厨房把手580的机器手72和可固定
至厨具的机器臂70的框图。在一种抓取厨具的技术中,机器手72抓取标准化厨房工具580,
该工具用于附接至定制炊具头中的任何一者上,图中示出了定制炊具头的选择760a、760b、
760c、760d、760e以及其它。例如,标准化厨房把手580附着至定制炒菜铲头760e,从而用于
对平底锅内的食材进行搅动煎炸。在一实施例中,机器手72只能在一个位置握住标准化厨
房把手580,从而将因采用不同方法握住标准化厨房把手580而造成混乱的可能性降至了最
低。在另一种抓取厨具的技术中,机器臂具有一个或多个夹持器762,其可固定至厨具762,
其中机器臂70能够在机器手运动过程中在按压厨具762时施加更大的力(如有必要)。
图19是示出得到“用刀磕开鸡蛋”结果的微操纵的数据库库结构770的例子的框
图。打蛋的微操纵770包括:怎样在正确位置握住鸡蛋772,怎样相对于鸡蛋握住刀774,什么
是用刀敲击鸡蛋的最佳角度776、以及如何打开破裂的鸡蛋778。对772、774、776和778每个
的各种可能参数进行测试,从而找到执行具体动作的最佳方式。例如,在握住鸡蛋772时,对
握住鸡蛋的不同位置、取向和方式进行测试,从而找到握住鸡蛋的最佳方式。第二,机器手
72从预定位置拿起刀。关于握刀的不同位置、取向和方式对握刀774进行研究,从而找到拿
刀的最佳方式。第三,还针对用刀敲击鸡蛋的各种组合对用刀敲击鸡蛋776进行测试,从而
找到用刀敲击鸡蛋的最佳方式。随后,将执行用刀敲裂鸡蛋770的微操纵的最佳方式存储到
微操纵的库数据库中。所保存的用刀敲裂鸡蛋770的微操纵将包括握住鸡蛋772的最佳方
式、握住刀774的最佳方式和用刀敲击鸡蛋776的最佳方式。
为了建立得到用刀敲裂鸡蛋结果的微操纵,必须对多个参数组合进行测试,从而
识别出确保获得预期功能结果(使鸡蛋裂开)的一组参数。在这一例子中,参数被识别以确
定如何以不捏碎鸡蛋的方式抓取和握住鸡蛋。通过测试选择适当的刀,并找到手指和手掌
的适当放置,从而可以握住刀用于敲击。识别将成功破裂鸡蛋的敲击动作。识别使破裂的鸡
蛋成功打开的打开动作和/或力。
机器人设备的教导/学习过程涉及多种重复测试,以识别出获得预期的最终功能
结果的必要参数。
可以改变场景来执行这些测试。例如,鸡蛋的大小可以变化。可以改变敲裂鸡蛋的
位置。刀可以处于不同的位置。微操纵必须在所有这些变化环境中都取得成功。
一旦完成了学习过程,就将结果存储为已知一起完成预期功能结果的动作基元集
合。
图20是示出借助于实时调整进行微操纵的菜谱执行800的例子的框图。在菜谱执
行800中,机器手72执行用刀敲裂鸡蛋的微操纵770,其中从微操纵库数据库中选择执行敲
裂鸡蛋操作772、握刀操作774、用刀敲击鸡蛋操作776和打开破裂的鸡蛋操作778中的每个
动作的最佳方式。执行实施每个动作772、774、776、778的最佳方式的过程确保了微操纵770
将实现该特定微操纵的相同或基本相同的结果(或其保证)。多模态三维传感器20提供关于
一种或多种食材的可能变化(例如,鸡蛋的尺寸和重量)的实时调整能力112。
作为图19中的微操纵的创建和图20中的微操纵的执行之间的操作关系的例子,与
“用刀敲裂鸡蛋”微操纵相关联的具体变量包括鸡蛋的初始xyz坐标、鸡蛋的初始取向、鸡蛋
的尺寸、鸡蛋的形状、刀的初始xyz坐标、刀的初始取向、磕裂鸡蛋的位置的xyz坐标、速度、
以及微操纵的持续时间。因而,在创建阶段定义“用刀敲裂鸡蛋”微操纵的所识别的变量,其
中可以在相关微操纵的执行阶段通过机器人食物制备引擎56对这些可识别变量进行调整。
图21是示出在标准化厨房模块中捕获厨师的食物制备活动从而从厨师工作室44
生成软件菜谱文件46的软件过程810的流程图。在厨师工作室44中,在步骤812,厨师49设计
食物菜谱的不同成分。在步骤814,机器人烹饪引擎56配置为接收厨师49选定的菜谱设计的
名称、ID食材和测度输入。在步骤816,厨师49将食物/食材移动到指定的标准化烹饪用具/
器具中并且移动到它们的指定位置。例如,厨师49可以挑选两根中等大小的葱和两个中等
大小的蒜瓣,并将八个蘑菇放到案板上,并将两块解冻的20cm×30cm的松饼从冷冻室
(freezer lock)F02移到冰箱(冰柜)。在步骤818,厨师49戴上捕获手套26或触觉服装622,
其具有捕获厨师的动作数据以供传输给计算机16的传感器。在步骤820,厨师49开始履行其
从步骤122中选择的菜谱。在步骤822,厨师动作记录模块98配置为捕获并记录厨师的精确
动作,包括在标准化机器人厨房50中对厨师臂和手指的力、压力以及xyz位置和取向进行实
时测量。除了捕获厨师的动作、压力和位置之外,厨师动作记录模块98配置为记录特定菜谱
的整个食物制备过程中的视频(有关菜肴、食材、工艺和交互图像)和声音(人语音、煎炸的
嘶嘶声等)。在步骤824,机器人烹饪引擎56配置为存储来自步骤822的捕获数据,其包括来
自捕获手套26上的传感器以及多模态三维传感器30的厨师动作。在步骤826,菜谱抽象化软
件模块104配置为生成适于机器实施的菜谱脚本。在步骤828,在生成和保存菜谱数据之后,
可通过面向位于家庭或餐馆的用户计算机的app商店或市场以及集成在移动装置上机器人
烹饪接收app而向用户销售软件菜谱文件46或者供其订购。
图22是示出用于具有机器人设备的机器人标准化厨房中机器人设备基于从厨师
工作室系统44接收的一个或多个软件菜谱文件22实施食物制备的软件过程的流程图830。
在步骤832,用户24通过计算机15选择从厨师工作室44购买或订购的菜谱。在步骤834,家庭
机器人厨房48中的机器人食物制备引擎56配置为接收来自输入模块50的对要制备的选定
菜谱的输入。在步骤836,家庭机器人厨房48中的机器人食物制备引擎56配置为将选定菜谱
上载到具有软件菜谱文件46的存储模块102。在步骤838,家庭机器人厨房48中的机器人食
物制备引擎56配置为计算用以完成选定菜谱的食材可用性以及完成菜肴所需的大致烹饪
时间。在步骤840,家庭机器人厨房48中的机器人食物制备引擎56配置为分析选定菜谱的先
决条件,并且根据选定的菜谱和上菜安排判断是否存在食材的短缺或缺少,或者是否会没
有足够的时间最终上菜。如果不满足先决条件,那么在步骤842,家庭机器人厨房48中的机
器人食物制备引擎56发出警报,指示应将食材添加到购物清单中,或者提供备选菜谱或上
菜安排。但是,如果满足先决条件,那么机器人食物制备引擎56配置为在步骤844中确认菜
谱选择。在步骤846,在确认了菜谱选择之后,用户60通过计算机16将食物/食材移动到具体
的标准化容器内并且移动到所需位置。在将食材置于指定容器和识别位置之后,家庭机器
人厨房48中的机器人食物制备引擎56配置为在步骤848检查是否已经触发了起始时间。正
值此际,家庭机器人食物制备引擎56提供第二过程检查,以确保满足了所有先决条件。如果
家庭机器人厨房48中的机器人食物制备引擎56没有制备好开始烹饪过程,那么家庭机器人
食物制备引擎56继续在步骤850核对先决条件,直到触发了起始时间为止。如果机器人食物
制备引擎56制备好了开始烹饪过程,则在步骤852,机器人食物制备引擎56中的原料食物模
块96的质量检查被配置为处理选定菜谱的先决条件,并且对照菜谱描述(例如,一块中间切
开的牛里脊肉的烧烤)和状况(例如,过期/购买日期、气味、颜色、纹理等)检查每一食材项。
在步骤854,机器人食物制备引擎56将时间设定到“0”阶段,将软件菜谱文件46上载到一个
或多个机器臂70和机器手72,用于根据软件菜谱文件46复现厨师的烹饪动作以制作选定菜
肴。在步骤856,一个或多个机器臂72和手74对食材进行处理,并用与厨师49的臂、手和手指
等同的动作,以从厨师动作中捕获和记录的准确压力、精确力、相同的XYZ位置和相同的时
间增量执行烹饪方法/技术。在该时间期间,一个或多个机器臂70和手72将烹饪结果与受控
数据(例如,温度、重量、损耗等)和媒体数据(例如,颜色、外观、气味、份量等)进行比较,如
步骤858所示。在对数据进行了比较之后,机器人设备(包括机器臂70和机器手72)在步骤
860中对结果进行对齐(align)和调整。在步骤862,机器人食物制备引擎56配置为指示机器
人设备将完成的菜肴移到指定的上菜盘内并将其放到柜台上。
图23是示出建立、测试、验证和存储微操纵库数据库870的各种参数组合的软件过
程的一实施例的流程图。微操纵库数据库870涉及存储在临时库内的一次性成功测试过程
870(例如,握住鸡蛋)以及对微操纵数据库库中的一次性测试结果的组合890(例如,磕开鸡
蛋的全部动作)进行测试。在步骤872,计算机16创建具有多个动作基元(或多个分立的菜谱
动作)的新的微操纵(例如,磕开鸡蛋)。在步骤874,识别与新的微操纵相关联的对象(例如,
鸡蛋和刀)的数量。计算机16在步骤876识别多个分立动作或活动。在步骤878,计算机选择
与特定的新微操纵相关联的完全可能范围的关键参数(例如,对象的位置、对象的取向、压
力和速度)。在步骤880,对于每一关键参数而言,计算机16测试并验证关键参数的每个值,
其将借助于与其他关键参数的所有可能组合(例如,以一位置握住鸡蛋但是测试其他取向)
来进行。在步骤882,计算机16判断一组特定的关键参数组合是否产生可靠的结果。可以通
过计算机16或人来完成对结果的验证。如果判断结果是否定的,那么计算机16进行至步骤
886,从而查看是否还有其他有待于测试的关键参数组合。在步骤888,计算机16在制定下一
参数组合时使关键参数递增一,以用于进一步测试和评估下一参数组合。如果步骤882的判
断是肯定的,那么计算机16将该组成功的关键参数组合存储到临时位置库内。所述临时位
置库存储一组或多组成功的关键参数组合(具有最多成功测试或具有最少失败结果)。
在步骤892,计算机16对特定成功参数组合进行X次测试和验证(例如,100次)。在
步骤894,计算机16计算特定成功参数组合的重复测试过程中的失败结果的数量。在步骤
896,计算机16从临时库中选择下一个一次性成功参数组合,并使过程返回至步骤892,从而
对该下一个一次性成功参数组合进行X次测试。如果没有剩余其他的一次性成功参数组合,
那么计算机16在步骤898存储产生可靠(或者有保证的)结果的一组或多组参数组合的测试
结果。如果存在超过一组可靠的参数组合,那么在步骤899,计算机16确定最佳的或者最优
的一组参数组合,并且存储与特定微操纵相关联的最优的一组参数组合,从而在微操纵库
数据库中供标准化机器人厨房50中的机器人设备在菜谱的各个食物制备阶段使用。
图24是示出创建用于微操纵的任务的软件过程900的一实施例的流程图。在步骤
902,计算机16用将存储到数据库库内的机器手微操纵定义特定机器人任务(例如,用刀磕
开鸡蛋)。计算机在步骤904识别出每一微小步骤中对象的所有不同可能取向(例如,鸡蛋以
及握住鸡蛋的取向),并且在步骤906识别出相对于所述对象握住厨房工具(例如,相对于鸡
蛋握住刀)的所有不同位置点。在步骤908,计算机凭经验识别出握住鸡蛋以及用刀以正确
的(切割)动作概况、压力和速度打破鸡蛋的所有可能方式。在步骤910,计算机16定义握住
鸡蛋并且相对于鸡蛋定位刀以适当地打破鸡蛋的各种组合。例如,找到诸如对象的取向、位
置、压力和速度之类的最佳参数的组合。在步骤912,计算机16进行训练和测试过程以检验
各种组合的可靠性,例如,测试所有的变化、差异,并将该过程重复X次,直到对于每个微操
纵可靠性是确定的为止。在厨师49执行某一食物制备任务时(例如,用刀磕开鸡蛋),在步骤
914,该任务被转化为作为该任务的一部分执行的若干手部微操纵步骤/任务。在步骤916,
计算机16将用于该特定任务的各种微操纵组合存储到数据库库中。在步骤918,计算机16判
断对于任何微操纵是否存在需要定义和执行的额外任务。如果存在需要定义的任何额外微
操纵,那么过程返回至步骤902。厨房模块的不同实施例是可能的,包括独立厨房模块和集
成厨房模块。集成厨房模块被适配到典型房屋的常规厨房区域内。厨房模块至少按照两种
模式工作,即机器人模式和正常(手动)模式。磕开鸡蛋是微操纵的一个例子。微操纵库数据
库还将适用于很宽范围的各种任务,例如,用叉子通过沿正确的方向施加正确的压力从而
相对于牛肉的形状和厚度达到适当的深度来叉取一片牛肉。在步骤919,计算机组合预定义
厨房任务的数据库库(database library),其中每个预定义的厨房任务包括一个或多个微
操纵。
图25是示出分配和利用标准化机器人厨房内的标准化厨房工具、标准化对象和标
准化设备的库的过程920的流程图。在步骤922,计算机16为每个厨房工具、对象或设备/用
具分配代码(或条形码),其预定义了工具、对象或设备的参数,例如其三维位置坐标和取
向。这一过程使标准化机器人厨房50内的各种元素标准化,其包括但不限于:标准化厨房设
备、标准化厨房工具、标准化刀、标准化叉子、标准化容器、标准化平底锅、标准化器具、标准
化工作区、标准化附件以及其他标准化元件。在执行菜谱中的处理步骤时,在步骤924,机器
人烹饪引擎配置为在根据具体菜谱的食物制备过程被提示访问厨房工具、对象、设备、用具
或用具时指引一个或多个机器手拾取该特定厨房工具、对象、设备、器具或用具。
图26是示出通过三维建模和推理识别非标准对象的过程926的流程图。在步骤
928,计算机16通过传感器检测非标准对象,例如,可能具有不同大小、不同外形尺寸和/或
不同重量的食材。在步骤930,计算机16用捕获形状、外形尺寸、取向和位置信息的三维建模
传感器66来识别非标准对象,并且机器手72进行实时调整以执行适当的食物制备任务(例
如,切割或拾取一块牛排)。
图27是示出用于微操纵的测试和学习的过程932的流程图。在步骤934,计算机执
行食物制备任务构成分析,其中,对每一烹饪操作(例如,用刀磕开鸡蛋)进行分析、分解并
且构造成动作基元或微操纵的序列。在一实施例中,微操纵指的是实现朝向食物菜肴制备
中的一具体结果前进的基本功能结果(例如,磕开鸡蛋或切好蔬菜)的一个或多个动作基元
的序列。在本实施例中,微操纵可进一步描述为低层级微操纵或高层级微操纵,其中低层级
微操纵是指需要极小的相互作用力并且几乎唯独地依赖于使用机器人设备的动作基元序
列,高层级微操纵是指需要大量相互作用和大的相互作用力以及对其的控制的动作基元的
序列。过程环936聚焦于微操纵和学习步骤,其包括重复很多次(例如,100次)的测试以确保
微操纵的可靠性。在步骤938,机器人食物制备引擎56配置为对执行食物制备阶段或微操纵
的所有可能性知识进行评估,其中,关于特定微操纵相关的取向、位置/速度、角度、力、压力
和速度对每一微操纵进行测试。微操纵或动作基元可涉及机器手72和标准对象,或者涉及
机器手72和非标准对象。在步骤940,机器人食物制备引擎56配置为执行微操纵,并且判断
结果是认为成功还是失败。在步骤942,计算机16关于微操纵的失败进行自动分析和推理。
例如,多模态传感器可提供有关微操纵的成功或失败的感测反馈数据。在步骤944,计算机
16配置为做出实时调整,并且调整微操纵执行过程的参数。在步骤946,计算机16向微操纵
库增加有关参数调整的成功或失败的新信息,以作为用于机器人食物制备引擎56的学习机
制。
图28是示出机器臂的质量控制和对准功能的过程950的流程图。在步骤952,机器
人食物制备引擎56通过输入模块50加载人类厨师复现软件菜谱文件46。例如,软件菜谱文
件46将复现来自米其林星级厨师Arnd Beuchel的“维也纳炸肉(Wiener Schnitzel)”食物
制备。在步骤954,机器人设备基于所存储的包含所有动作/活动复现数据的菜谱脚本,以与
基于人类厨师在具有标准化设备的标准化厨房模块中制备相同菜谱的动作存储的所记录
的菜谱数据相同的步速,用相同的动作(例如,躯干、手、手指的动作)、相同压力、力和xyz位
置执行任务。在步骤956,计算机16通过多模态传感器监视食物制备过程,多模态传感器生
成提供给抽象化软件的原始数据,在抽象化软件中机器人设备基于多模态感测数据(视觉、
音频以及任何其他感测反馈)对照受控数据比较现实世界输出。在步骤958,计算机16判断
受控数据和多模态感测数据之间是否存在任何差异。在步骤960,计算机16分析多模态感测
数据是否偏离受控数据。如果存在偏离,则在步骤962,计算机16做出调整,从而对机器臂
70、机器手72或其他元件进行重新校准。在步骤964,机器人食物制备引擎16配置为在过程
964中通过向知识数据库添加对一个或多个参数值所做的调整来进行学习。在步骤968,计
算机16将更新的修订信息存储到知识数据库,其涉及经校正的过程、条件和参数。如果根据
步骤958没有偏差差异,那么过程950直接进行至完成执行的步骤969。
图29是示出供标准化机器人厨房使用的微操纵对象的数据库库结构970的一实施
例的表格。数据库库结构970示出了用于输入和存储特定微操纵的信息的若干字段,包括
(1)微操纵的名称、(2)微操纵的分配代码、(3)与微操纵的性能相关联的标准化设备和工具
的代码、(4)受操纵的(标准或非标准)对象(食材和工具)的初始位置和取向、(5)用户定义
的(或在执行过程中从所记录的菜谱提取的)参数/变量、(6)时间线上的微操纵的机器手动
作(用于所有伺服的控制信号)和连接反馈参数(来自任何传感器或视频监视系统)的序列。
特定微操纵的参数可能取决于复杂性和执行微操纵所需的对象而有所不同。在该例子中,
确定了四个参数:标准化厨房模块的体积内的起始XYZ位置坐标、速度、对象尺寸和对象形
状。可以通过非标准参数定义或描述对象尺寸和对象形状。
图30是示出供标准化机器人厨房中使用的标准化对象的数据库库结构972的表
格。标准对象数据库库结构972示出用于存储与标准对象有关的信息的若干字段,包括(1)
对象的名称、(2)对象的图像、(3)对象的分配代码、(4)对象在XYZ坐标矩阵内的完整外形尺
寸的虚拟3D模型,具有预定义的优选分辨率、(5)对象的虚拟向量模型(如果可得的话)、(6)
对象的工作元素的定义和标记(可与手和其他对象接触以供操纵的元素)、以及(7)对于每
一具体操纵而言对象的初始标准取向。
图31描绘了用于检查将作为标准化机器人厨房实施的菜谱复现过程的一部分使
用的食材的质量的过程1000的执行。多模态传感器系统视频感测元件能够实施过程1006,
其使用颜色检测和波谱分析来检测指示可能变质的变色。类似地,采用嵌入在厨房中的或
者是机器手操纵的移动探头的部件的氨敏感传感器系统也能够检测变质的可能性。机器手
和手指中的附加触觉传感器允许通过触摸感测过程1004验证食材的新鲜度,其中将测量对
接触力的结实度和阻力(作为压缩距离的函数的挠曲量和挠曲率)。作为例子,对鱼而言,鱼
鳃的颜色(深红)和水分含量是新鲜度的指示器,同样的还有眼睛应清澈(非模糊的),并且
正确解冻的鱼肉的适当温度不应超过40F。手指尖上的额外接触传感器能够通过触摸、摩擦
以及拿住/拾取动作执行与食材的温度、纹理和总重量有关的额外质量检查1002。通过这些
触觉传感器收集到的所有数据以及视频图像可在处理算法中用于判断食材的新鲜度以及
决定是使用该食材还是将其丢弃。
图32示出了机器人菜谱脚本复现过程1010,其中配备了多模态传感器的头20以及
具有拿食材和用具的多指手72的双臂与炊具1012相互作用。具有多模态传感器单元的机器
人传感器头20用于对两条机器臂工作的三维任务空间持续进行建模和监视,同时还向任务
抽象化模块提供数据以识别工具和用具、器具及其内容物和变量,从而允许将它们与烹饪
过程序列生成的菜谱步骤进行比较以确保执行是遵循菜谱的计算机存储序列数据进行的。
在烹饪过程的重要部分中,机器人传感器头20中的额外传感器用在可听领域中听声音以及
用来闻气味。机器手72及其触觉传感器用于适当地操纵相应的食材,例如本实例中的鸡蛋;
手指和手掌中的传感器能例如通过表面纹理和重量及其分布检测可用鸡蛋,并且在不打破
鸡蛋的情况下握住鸡蛋和设置其取向。多指机器手72还能取来和操纵特定炊具,例如本实
例中的碗,并且能够应用适当的动作和力来抓取和操纵烹饪用具(本实例中的搅拌器),从
而按照菜谱脚本的规定对食物食材进行正确的处理(例如,磕开鸡蛋,分离蛋黄,搅打蛋清
直到获得粘稠成分为止)。
图33描绘了食材储存系统概念1020,其中能够存放任何所需烹饪食材(例如,肉、
鱼、禽类、贝类、蔬菜等)的食物储存容器1022配备有传感器以测量和监视相应食材的新鲜
度。嵌入在食物储存容器1022中的监视传感器包括但不限于氨传感器1030、易挥发有机化
合物传感器1032、容器内温度传感器1026和湿度传感器1028。此外,可以采用由人类厨师或
机器臂和手使用的手工探头,从而允许对较大食材的体积的内部(例如,肉的内部温度)进
行关键测量(例如,温度)。
图34描绘了置于含有传感器和检测装置(例如,温度探头/探针)的食物储存容器
1042中的作为食材新鲜度和质量检查的一部分实施的测量和分析过程1040。容器能够通过
通信步骤1056在无线数据网络上借助于指定其容器ID的元数据标签1044将其数据集转发
至主服务器,所述数据集包括温度数据1046、湿度数据1048、氨水平数据1050、易挥发有机
化合物数据1052,在主服务器处食品控制质量引擎对容器数据进行处理。处理步骤1060采
用容器特定的数据1044,并将其与认为可接受的数据值和范围进行比较,所述数据值和范
围存储于介质1058中并且由数据检索和存储过程1054检索。之后,由一组算法针对食材的
适合性做出判定,通过单独的通信过程1062经由数据网络提供实时的食物质量分析结果。
之后,在另一过程1064中采用所述质量分析结果,其中所述结果被转发至机器臂,以用于实
施进一步的动作,也可以远程显示在屏幕上(例如,智能电话或其他显示器)以供用户决定
是在烹饪过程中将该食材用于后续消耗,还是将其作为废品丢弃。
图35描绘了标准化厨房中采用的预填充食材容器1070的功能和处理步骤,其中不
论所述厨房是标准化机器人厨房还是厨师工作室。食材容器1070被设计为具有不同的尺寸
1082并且意图被设计为具有变化的用途,适于适当的储存环境1080以通过冷藏、冷冻、冷却
等容纳易腐食物从而获得特定的储存温度范围。此外,食材储存容器1070还被设计为适于
不同类型的食材1072,所述容器已被预先加上了标签,并且被预填充有固体(盐、面粉、大米
等)、粘性/粘稠(芥末、蛋黄酱、杏仁糖、果子酱等)或液体(水、油、牛奶、料汁等)食材,其中
分发过程1074根据食材类型而利用多种不同的应用器件(滴管、滑槽、蠕动给料泵等),借助
于运行剂量控制过程1076的剂量控制引擎1084进行准确的计算机可控的分发,确保在正确
的时间分发正确量的食材。应指出,菜谱指定的剂量是可通过菜单界面或者甚至通过远程
电话应用加以调整的,以适应个人口味或饮食规定(低钠等)。剂量控制引擎1084基于菜谱
指定的量执行剂量确定过程1078,通过人工释放命令或者基于分配器的出口点处的特定分
配容器的检测通过远程计算机控制来进行分配。
图36是示出供标准化机器人厨房50中使用的菜谱系统结构1000的框图。食物制备
过程1100示为沿烹饪时间线划分成多个阶段,每一阶段具有针对每一阶段1102、阶段1004、
阶段1106和阶段1108的一个或多个原始数据块。数据块可含有若干元素,例如,视频图像、
音频记录、文本描述以及形成了控制程序的一部分的机器可读、可理解指令和命令集合。原
始数据集合包含在菜谱结构内,并且表示从菜谱复现过程开始到烹饪过程结束沿时间线的
每一烹饪阶段或其中的任何子过程,所述时间线被以变化的时长水平和时间顺序划分成许
多时间顺序阶段。
图37A-37C是示出供标准化机器人厨房中使用的菜谱搜索菜单的框图。如图37A所
示,菜谱搜索菜单1120提供最为通用的类别,例如,烹饪风格类型(例如,意大利、法国、中
国)、菜肴基础食材(例如,鱼、猪肉、牛肉、意大利面)、或者标准和范围,例如,烹饪时间范围
(例如,短于60分钟,20至40分钟),以及进行关键字搜索(例如,乳清干酪猫耳面、黑布丁蛋
糕)。选定的个性化菜谱可以排除具有过敏食材的菜谱,其中用户可以在个人用户简档中指
示其应当避免的过敏食材。在图37B中,用户可以选择搜索标准,包括烹饪时间短于44分钟,
上足够7人吃的份,提供素食者菜肴选项、总卡路里数不超过4521等要求。图37C示出了不同
类型的菜肴1122,其中菜单1120具有等级层次,从而用户可以选择类别(例如,菜肴类型)
1122,之后展开到下一级的子类别(例如,开胃食品、沙拉、主菜……),以细化选择。在图37D
中示出了所实施的菜谱创建和提交的屏幕快照。在图37N-V中示出了各种图形用户界面和
菜单选项的额外屏幕快照。
图37E到37M示出了菜谱过滤器、食材过滤器、设备过滤器、账号和社交网访问、个
人合作伙伴页、购物车页以及有关购买的菜谱、注册设置、创建菜谱的信息的功能流程图的
一实施例,其示出了机器人食物制备软件14能够基于数据库的过滤和向用户呈现信息而执
行的各种功能。如图37E所演示的,平台用户能够访问菜谱部分,选择用于自动机器人烹饪
的期望菜谱过滤器1130。最常用的过滤器类型包括烹饪风格类型(例如,中国、法国、意大
利)、烹饪类型(例如,烘焙、蒸、炸)、素食菜肴、以及糖尿病人食物。用户将能够从过滤后的
搜索结果中查看菜谱细节,例如,描述、照片、食材、价格和评价。在图37F中,用户能够出于
其自己的目的选择期望的食材过滤器1132,例如,有机食品、食材类型、或食材品牌。在图
37G中,用户能够针对自动机器人厨房模块应用设备过滤器1134,例如,设备的类型、品牌、
制造商。在做出选择之后,用户将能够直接通过来自相关卖家的系统门户购买菜谱、食材或
设备产品。平台允许用户出于其自己的目的建立额外的过滤器和参数,这使得整个系统是
可定制的并且时常更新。用户增加的过滤器和参数将在受到管理者(moderator)批准之后
呈现为系统过滤器。
在图37H中,用户能够通过登录用户账户1136经由平台的社交专业网络连接至其
他用户和卖家。有可能通过信用卡和地址细节验证网络用户的身份。账号门户还起着交易
平台的作用,供用户共享或售卖其菜谱,以及向其他用户做广告。用户也可以通过账户门户
管理其账户财务和设备。
图37I演示了平台用户之间的合作伙伴关系的例子。一个用户能够提供其食材的
全部信息和细节,另一用户提供其设备的全部信息和细节。在将所有信息添加至平台/网站
数据库之前必须通过仲裁者对这些信息进行过滤。在图37J中,用户能够在购物车1140中看
到其购买信息。也可以改变其他选项,例如,送货和支付方式。用户还能够基于其购物车中
的菜谱购买更多食材或设备。
图37K示出了能够从菜谱页面1560访问的有关所购买的菜谱的其他信息。用户能
够读、听、看如何烹饪以及执行自动机器人烹饪。还有可能从菜谱页面与卖家或技术支持进
行有关菜谱的通信。
图37L是示出来自“我的账户”页1136和设置页1138的平台的不同层的框图。用户
将能够从“我的账户”页读取专业烹饪新闻或博客,并且能够写要发表的文章。通过“我的账
户”下面的菜谱页,用户可以有多种途径创建其自身的菜谱1570,如图37M所示。用户能够通
过捕获厨师烹饪活动或者通过从软件库中选择操纵序列来创建自动机器人烹饪脚本,由此
创建菜谱。用户还可以通过简单地列举食材/设备来创建菜谱,然后添加音频、视频或图片。
用户能够从菜谱页对所有的菜谱进行编辑。
图38是示出选择供标准化机器人厨房中使用的字段的菜谱搜索菜单1150的框图。
通过用搜索标准或范围来选择种类,用户60接收到列举出各种菜谱结果的返回页面。用户
60能够根据诸如用户评价(例如,从高到低)、专家评价(例如,从高到低)或者食物制备持续
时间(例如,从短到长)之类的标准来对结果进行排序。计算机显示器可以包含菜谱的照片/
媒体、标题、描述、评价和价格信息,任选地带有“阅读更多”按钮的选项卡,该选项卡可以调
出完整的菜谱页面,以供浏览有关该菜谱的进一步信息。
图39中的标准化机器人厨房50描绘了使用增强传感器系统1854的可行配置。增强
传感器系统1854示出了位于可移动计算机可控线性轨道上的单个增强传感器系统1854,该
轨道延伸厨房轴的长度那么长,旨在有效地覆盖标准化厨房的整个可视三维工作空间。
基于机器人厨房某处(例如,在计算机可控轨道上或者在具有臂和手的机器人躯
干上)的增强传感器系统1854的适当放置,允许在用于机器特定的菜谱脚本生成的厨师监
视期间以及在标准化机器人厨房50中的菜肴复现的各个阶段中对机器人执行步骤的进展
以及成功完成进行监视期间,进行3D跟踪和原始数据生成。
图39中的标准化机器人厨房50描绘了使用增强传感器系统20的可行配置。标准化
机器人厨房50示出了置于可移动计算机可控线性轨道上的单个增强传感器系统20,该轨道
延伸厨房轴的长度那么长,旨在有效地覆盖标准化厨房的整个可视三维工作空间。
图40是示出具有用于食物制备环境的实时三维建模1160的多个摄像机传感器和/
或激光器20的标准化厨房模块50的框图。机器人厨房烹饪系统48包括三维电子传感器,其
能够为计算机提供实时原始数据,以供建立厨房操作环境的三维模型。实时三维建模过程
的一种可行实施方式涉及使用三维激光扫描。实时三维建模的一种替代实施方式是采用一
个或多个视频摄像机。第三种方法涉及采用摄像机观察到的投影光图案,即所谓的结构光
成像。三维电子传感器对厨房操作环境进行实时扫描,以提供厨房模块中的工作空间的视
觉表示(形状和外形尺寸数据)1162。例如,三维电子传感器实时地捕获机器臂/手是否拾取
了肉或鱼的三维图像。厨房的三维模型还起着一些“人眼”的作用,用于对抓取对象进行调
整,因为一些对象可能具有非标准的外形尺寸。计算机处理系统16生成工作空间内的三维
几何形状和对象的计算机模型,并且提供控制信号1164回到标准化机器人厨房50。例如,厨
房的三维建模能够提供具有期望间隔的三维分辨率网格,例如,在网格点之间具有1厘米的
间隔。
标准化机器人厨房50描绘了使用一个或多个增强传感器系统20的另一可行配置。
标准化机器人厨房50示出了置于沿厨房轴长度的厨房工作表面上方的拐角处的多个增强
传感器系统20,其旨在有效地覆盖标准化机器人厨房50的整个可视三维工作空间。
标准化机器人厨房50中的增强传感器系统20的适当放置允许使用视频摄像机、激
光器、声纳以及其他二维和三维传感器系统进行三维感测,从而实现对原始数据的收集以
辅助产生经处理的数据,由此随着机器臂、手、工具、设备和器具在标准化机器人厨房50中
的菜肴复现的多个顺序阶段中涉及不同的步骤而获得它们的形状、位置、取向和活动的实
时动态模型。
在每一时间点上收集原始数据,从而允许对原始数据进行处理,以便能够在步骤
1162中提取出对于标准化机器人厨房50中的菜肴复现的多个顺序阶段中的不同步骤具有
重要性的所有物体的形状、外形尺寸、位置和取向。通过计算机系统对经处理的数据做进一
步分析,从而允许标准化机器人厨房的控制器通过修改机器人脚本定义的控制信号来调整
机器臂和手的轨迹以及微操纵。考虑到很多变量(食材、温度等)可能发生变化,所以对菜谱
脚本执行进而控制信号进行适应性调整对于成功完成特定菜肴的复现的每一阶段是很关
键的。在标准化机器人厨房50内执行特定菜肴的复现步骤的过程中,基于关键可测量变量
的菜谱脚本执行过程是使用增强(又称为多模态)传感器系统20的关键部分。
图41A是示出机器人厨房原型的示意图。原型厨房具有三层,顶层包括用于使两条
臂在烹饪时沿之移动的轨道系统、用于使两条机器臂返回至充电座并且允许在不用其烹饪
时或者在将厨房设为人工烹饪模式时对其进行存放的可收缩机罩。中间层包括水槽、炉子、
烤架、烤箱和通向食材储存设备的工作台面。中间层还具有计算机监视器以操作设备、选择
菜谱、观看视频和文本指令、以及收听音频指令。下层包括用于以最佳条件存放食物/食材
的自动容器系统,其有可能根据菜谱需要而将食材自动输送至烹饪体积处。厨房原型还包
括烤箱、洗碗机、烹饪工具、附件、炊具摆放柜、抽屉和垃圾箱。
图41B是示出具有透明材料外壳的机器人厨房原型的图,该外壳在进行机器人烹
饪过程时用作保护机构以防止对周围的人造成可能的伤害。透明材料外壳可由各种透明材
料制成,例如玻璃、玻璃纤维、塑料或任何其他适当材料。在一例子中,透明材料外壳包括自
动玻璃门(或多个门)。如本实施例中所示,自动玻璃门定位成从上往下或从下往上(从底部
部分)滑动以在涉及使用机器臂的烹饪过程中出于安全原因而关闭。透明材料外壳的设计
可能存在变化,例如,竖直下滑、竖直上滑、水平从左向右滑、水平从右向左滑、或者可以采
取允许厨房中的透明材料外壳充当保护机构的任何其他放置方法。
图41C描绘了标准化机器人厨房的实施例,其中台面表面和机罩内面规定的体积
具有水平滑动玻璃门1190,其可以手工地或者在计算机控制下左右移动从而将机器臂/手
的工作空间与其周围分隔开,由此实现保护站得靠近厨房的人、或者限制污染物进出厨房
工作区域、或者甚至允许在封闭体积内的更好气候控制的目的。自动滑动玻璃门左右滑动,
从而在涉及使用机器臂的烹饪过程中出于安全的原因关闭。
图41D描绘了标准化机器人厨房的实施例,其中台面或工作表面包括具有通往机
器人厨房柜台的底部橱柜体积内的食材储存体积的滑动门1200的区域。门可以手工地或者
在计算机控制下滑开以允许访问其内的食材容器。无论是手工地还是在计算机控制下,一
个或多个特定容器可以通过食材储存和供给单元被馈送至台面层,从而允许手工(在该描
述中通过机器臂/手)拿取该容器、其盖子、进而容器内的内容物。然后,机器臂/手可以打开
盖子,取回所需食材,并将食材放到适当的位置(盘、平底锅、锅等),而后重新密封容器并将
其放回到食材储存和供给单元上或其中。然后,食材储存和供给单元将容器放回到单元内
的适当位置以供后续再次使用、清洁或重新备料。这一供给和重新堆放食材容器以供机器
臂/手访问的过程是一个一体的且重复的过程,形成菜谱脚本的一部分,因为菜谱复现过程
内的某些步骤基于标准化机器人厨房50可能涉及其中的菜谱脚本执行的阶段而需要一种
或多种特定类型的食材。
为了拿取食材储存和供给单元,可以打开具有滑动门的台面部分,其中菜谱软件
控制所述门并且将指定容器和食材移动到拿取位置,在该位置处机器臂可以拾取容器,打
开盖子,将食材从容器移出到指定位置,重新封上盖子并将容器移回到储存器。容器被从拿
取位置移回到其在储存单元内的默认位置,然后将新的/下一个容器项目上载到拿取位置
以供拾取。
图41E描绘了食材储存和供给单元1210的替代实施例。可以采用计算机控制的馈
送机构分配特定的或重复使用的食材(盐、糖、面粉、油等),或者允许通过人或者机器人的
手或手指进行的手动触发,以释放特定量的特定食材。可以通过人或机器人的手在触摸面
板上手工输入所要分配的食材量,或者可以通过计算机控制提供所要分配的食材量。然后,
可以在菜谱复现过程中的任何时间收集所分配的食材或将其馈送到一件厨房设备(碗、平
底锅、锅等)中。食材供给和分配系统的这一实施例可看作是更加经济有效并且具有空间效
率的方案,同时还减小了容器操纵复杂性以及机器臂/手的浪费运动时间。
在图41F中,标准化机器人厨房的实施例包括后挡板区域1220,该区域中安装有具
有触摸屏区域的虚拟监视器/显示器,从而允许人按照手动模式对厨房进行操作以与机器
人厨房及其元件进行交互。计算机投影图像以及监视投影区域的单独摄像机能够基于投影
图像中的位置判断人手及其手指在做出具体选择时处于什么位置,然后系统基于其来相应
地采取动作。虚拟触摸屏允许访问标准化机器人厨房50内的设备的所有方面的所有控制和
监视功能,检索和存储菜谱,浏览所存储的人类厨师的完整或部分菜谱执行步骤的视频,以
及收听与特定菜谱中的特定步骤或操作有关的人类厨师语音描述和指令的可听重放。
图41G描绘了构建到标准化机器人厨房中的单个或一系列机器人硬自动化装置
1230。所述一个或多个装置是可编程的并且可由计算机远程控制的,被设计为馈送或提供
菜谱复现过程中所需的预包装或预测度的量的专用食材元素,例如香料(盐、胡椒粉等)、液
体(水、油等)或者其他干食材(面粉、糖、发酵粉等)。这些机器人自动化装置1230定位成使
得其可被机器臂/手容易地拿取到,从而允许它们被机器臂/手或者人类厨师的臂/手所使
用,从而基于菜谱脚本中指定的需求来设置和/或触发预定量的选定食材的释放。
图41H描绘了构建到标准化机器人厨房中的单个或一系列机器人硬自动化装置
1340。所述一个或多个装置是可编程并且可由计算机远程控制的,被设计为馈送或提供菜
谱复现过程中所需的预包装或预测度的量的常用并且重复使用的食材元素,其中剂量控制
引擎/系统能够恰好提供适当的量给一件特定的设备,例如碗、锅或平底锅。这些机器人自
动化装置1340定位成使得其可被机器臂/手容易地拿取到,从而允许它们被机器臂/手或者
人类厨师的臂/手所使用,从而基于菜谱脚本中指定的需求设置和/或触发受剂量引擎控制
的选定食材量的释放。食材供给和分配系统的这一实施例可看作是更加经济有效并且具有
空间效率的方案,同时还减小了容器操纵复杂性以及机器臂/手的浪费运动时间。
图41I描绘了配备有通风系统1250以及自动烟雾/火苗检测和抑制系统1252的标
准化机器人厨房,前者用于在自动化烹饪过程中抽出烟和蒸汽,后者用于熄灭任何有害烟
雾和危险火苗的来源,其还允许滑动门的安全玻璃包围标准化机器人厨房50以控制受影响
的空间。
图41J描绘了具有废料管理系统1260的标准化机器人厨房50,废料管理系统1260
位于下橱柜中的位置内,从而允许通过一组具有可移动盖子的垃圾容器容易并且快速地清
除可回收(玻璃、铝等)和不可回收(食物碎屑等)物品,所述可移动盖子具有密封元件(垫
圈、O环等)以提供气密密封,从而使气味不会飘散到标准化机器人厨房50内。
图41K描绘了具有顶装式洗碗机1270的标准化机器人厨房50,洗碗机1270位于厨
房中便于机器人加载和卸载的某一位置。洗碗机包括密封盖,其在自动化菜谱复现步骤执
行过程中还可以用作砧板或者具有集成排水沟槽的工作空间。
图41L描绘了具有仪器化食材质量检查系统1280的标准化厨房,仪器化食材质量
检查系统1280包括具有传感器和食物探头的仪器化面板。该区域包括处于后挡板上的能够
检测置于该区域内的食材的多个物理和化学特性的传感器,所述特性包括但不限于变质
(氨传感器)、温度(热电偶)、挥发性有机化合物(生物质分解散发的)以及湿气/湿度(湿度
计)含量。还可以提供采用温度传感器(热电偶)检测装置的食物探头,以供机器臂/手持有
来探测特定烹饪食材或元素的内部属性(例如,红肉、禽肉等的内部温度)。
图42A以平面图50描绘了标准化机器人厨房的实施例,应理解,可以按不同的样式
布置其中的元素。标准化机器人厨房被划分为三个层级,即顶层1292-1、柜台层1292-2和下
层1292-3。
顶层1292-1含有具有不同单元的多个橱柜型模块,其借助于内置的器具和设备执
行特定厨房功能。在最简单的级别上,包含搁板/橱柜储存区域1294、用于储存和访问烹饪
工具和器具以及其他烹饪和上菜用具(烹饪、烘焙、装盘等)的橱柜体积1296、用于特定食材
(例如,水果和蔬菜等)的存放成熟(storage ripening)橱柜体积1298、用于诸如莴苣和洋
葱之类的物品的冷藏储存区1300、用于深度冷冻物品的冷冻储存橱柜体积1302、以及用于
其他食材和很少使用的香料等的另一储存储藏柜1304。
柜台层1292-2不仅容纳机器臂70,而且还包括上菜柜台1306、具有水槽的柜台区
域1308、具有可移除的工作表面(切/斩案板等)的另一柜台区域1310、基于炭的板条式烤架
1312、以及用于其他烹饪器具的多用途区域1314,所述其他烹饪器具包括炉、煮锅、蒸锅和
炖蛋锅。
下层1292-3容纳组合对流烤箱和微波炉1316、洗碗机1318和较大橱柜体积1320,
较大橱柜体积1320保持和存放其他频繁使用的烹饪和烘焙用具以及餐具、包装材料和刀
具。
图42B描绘了标准化机器人厨房的透视图50,其在具有x轴1322、y轴1324、z轴1326
的xyz坐标系内描绘了顶层1292-1、柜台层1292-2和下层1294-3的位置,从而允许在标准化
机器人厨房内为机器臂34的定位提供适当的几何参照。
机器人厨房50的透视图清晰地确定了许多可行布局之一以及在所有三个层级的
设备的位置,所述三个层级包括顶层1292-1(储存储藏柜1304、标准化烹饪工具和用具
1320、存放成熟区1298、冷藏储存区1300、冷冻储存区1302)、柜台层1292-2(机器臂70、水槽
1308、斩/切区1310、炭烤架1312、烹饪器具1314和上菜柜台1306)以及下层(洗碗机1318以
及烤箱和微波炉1316)。
图43A描绘了标准化机器人厨房布局的一个可行物理实施例的平面图,其中厨房
被构建成更具线性的基本矩形水平布局,描绘了供用户操作设备、选择菜谱、观看视频和收
听所记录的厨师指令的内置监视器1328、以及用于在机器臂操作期间包围标准化机器人烹
饪体积的开放面的计算机自动控制左/右可移动透明门1330。
图43B描绘了标准化机器人厨房布局的一可行物理实施例的透视图,其中厨房被
构建成更具线性的基本矩形水平布局,描绘了供用户操作设备、选择菜谱、观看视频和收听
所记录的厨师指令的内置监视器1332、以及用于在机器臂操作期间包围标准化机器人烹饪
体积的开放面的计算机自动控制左/右可移动透明门1334。在图43C-43E中示出了标准化机
器人厨房中的样本屏幕快照,图43F示出了样本厨房模块规格。
图44A描绘了标准化机器人厨房布局的另一可行物理实施例的平面图,其中厨房
被构建成更具线性的基本矩形水平布局,描绘了供用户操作设备、选择菜谱、观看视频和收
听所记录的厨师指令的内置监视器1336、以及用于在机器臂操作期间包围标准化机器人烹
饪体积的开放面的计算机自动控制左/右可移动透明门1338。
图44B描绘了标准化机器人厨房布局的另一可行物理实施例的透视图,其中厨房
被构建成更具线性的基本矩形水平布局,描绘了供用户操作设备、选择菜谱、观看视频和收
听所记录的厨师指令的内置监视器1340、以及用于在机器臂操作期间包围标准化机器人烹
饪体积的开放面的计算机自动控制左/右可移动透明门1342。
图45描绘了标准化机器人厨房50中的可伸缩实物1350的透视布局图,其中一对机
器臂、腕和多指手一体地在棱柱式(通过线性分级延伸)可伸缩致动的躯干上沿竖直y轴
1352和水平x轴1354移动,以及绕经过其自身躯干的中心线的竖直y轴旋转移动。致动器嵌
入在躯干和上方层级中以允许这些线性和旋转运动,由此允许机器臂在菜谱脚本描述的菜
谱的复现的所有部分当中可移动到标准化机器人厨房中的不同地方。这些多种运动是能够
正确地复现在人类厨师烹饪的菜肴创建过程中在厨师工作室厨房设备中观察到的人类厨
师49的活动所必需的。
图46A描绘了标准化机器人厨房布局的一物理实施例1356的平面图,其中厨房被
构建成更具线性的基本矩形水平布局,描绘了具有手腕和多指手的一组双机器臂,其中,每
个臂基部既不是安装在一组可移动轨道上,也不是安装在可旋转躯干上,而是固定不可移
动地安装到同一个机器人厨房竖直表面上,由此定义和固定机器人躯干的位置和尺寸,但
是仍允许两条机器臂协同工作并且抵达烹饪表面的所有区域和所有设备。
图46B描绘了标准化机器人厨房布局的一物理实施例1358的透视图,其中厨房被
构建成更具线性的基本矩形水平布局,描绘了具有手腕和多指手的一组双机器臂,其中,每
个臂基部既不是安装在一组可移动轨道上,也不是安装在可旋转躯干上,而是固定不可移
动地安装到同一个机器人厨房竖直表面上,由此定义和固定机器人躯干的位置和尺寸,但
是仍允许两条机器臂协同工作并且抵达烹饪表面的所有区域和所有设备(后壁上的烤箱、
机器臂下面的灶口以及机器臂一侧的水槽)。
图46C描绘了标准化机器人厨房的一可行物理实施例1360的带尺寸的正视图,标
注了其沿y轴的高度和沿x轴的宽度,总体上为2284mm。
图46D描绘了标准化机器人厨房的一可行物理实施例1362的带尺寸的侧视截面
图,标注了其沿y轴的高度分别为2164mm和3415mm。
图46E描绘了标准化机器人厨房的一物理实施例1364的带尺寸的侧视图,标注了
其沿y轴的高度和沿z轴的深度分别为2284mm和1504mm。
图46F描绘了包括一对机器臂1368的标准化机器人厨房的一物理实施例1366的带
尺寸的俯视截面图,标注了整个机器人厨房模块沿z轴的深度总体上为1504mm。
图46G描绘了标准化机器人厨房的一物理实施例的通过截面图加强了的三视图,
示出了沿x轴的总长度为3415mm,沿y轴的总高度为2164mm,沿z轴的总深度为1504mm,其中
截面侧视图中的总高度表明沿z轴的总高度为2284mm。
图47是示出供标准化机器人厨房50使用的可编程储存系统88的框图。基于储存系
统88内的相对xy位置坐标在标准化机器人厨房50中将可编程储存系统88结构化。在本示例
中,可编程储存系统88具有二十七个(27;排列成9×3矩阵)储存位置,其具有九列三行。可
编程储存系统88能够充当冷冻器位置或冰箱位置。在本实施例中,二十七个可编程储存位
置中的每个包括四种类型的传感器:压力传感器1370、湿度传感器1372、温度传感器1374和
气味(嗅觉)传感器1376。由于每个储存位置可通过其xy坐标而被识别,所以机器人设备能
够访问选定的可编程储存位置以获得该位置的制备菜肴所需的食物项目。计算机16还能监
视每个可编程储存位置的适当温度、适当湿度、适当压力和适当气味概况,以确保对特定食
物项目或食材的最佳储存条件进行监视和维持。
图48描绘了容器储存站86的正视图,其中可通过计算机监视和控制温度、湿度和
相对氧含量(以及其他室内条件)。该储存容器单元中可包括但不限于食品柜/干储存区域
1304、对酒重要的具有可单独控制的温度和湿度的成熟区1298(用于水果/蔬菜)、用于农产
品/水果/肉类的低温储存从而优化储藏寿命的冷藏单元1300、以及用于长期储存其他物项
(肉、烘焙货品、海鲜、冰激凌等)的冷冻单元1302。
图49描绘了将由人类厨师以及机器臂和多指手访问的食材容器1380的正视图。标
准化机器人厨房的这一区块包括但不一定限于包括如下的多个单元:食材质量监视仪表板
(显示器)1382、计算机化测量单元1384(包括条形码扫描器、摄像机和刻度)、具有用于食材
的验入验出的自动化架式搁板的单独台面1386、以及用于清除适于回收的可回收硬物品
(玻璃、铝、金属等)和软物品(食物残余和碎屑等)的回收单元1388。
图50描绘了食材质量监视仪表板1390,其为供人类厨师使用的计算机控制显示
器。该显示器允许用户查看对人和机器人烹饪的食材供给和食材质量方面重要的多个项
目。这些包括对如下项目的显示:概括有什么可用的食材库存总览1392、所选择的各个食材
及其营养成分和相对分布1394、与储存类别(肉、蔬菜等)有关的量和专门储存1396、描绘未
到的截止日期以及完成/重新补足日期和物项的时间表1398、用于任何种类的警报(感测到
变质、异常温度或故障等)的区域1400、以及语音解释器命令输入的选项1402,从而允许人
类用户借助于仪表板1390与计算机化库存系统进行交互。
图51是示出菜谱参数的库数据库1410的一例子的表格。菜谱参数的库数据库1410
包括很多类别:膳食分组概况1402、烹饪风格类型1404、媒体库1406、菜谱数据1408、机器人
厨房工具和设备1410、食材分组1412、食材数据1414和烹饪技术1416。这些类别中的每个提
供在菜谱选择当中可用的详细选择的列举。膳食分组概况包括诸如年龄、性别、体重、过敏
症、用药情况和生活方式之类的参数。烹饪风格类型分组概况1404包括根据地区、文化或宗
教定义的烹饪风格类型,烹饪设备类型分组概况1410包括诸如平底锅、烤架或烤箱以及烹
饪持续时间之类的项目。菜谱数据分组概况1408包含诸如菜谱名称、版本、烹饪和制备时
间、所需工具和器具等之类的项目。食材分组概况1412包含被分组成诸如乳制品、水果和蔬
菜、谷物和其他碳水化合物、各种类型的流体、以及各种蛋白质(肉、豆)等之类的项目的食
材。食材数据分组概况1414包含诸如名称、描述、营养信息、储存和操纵指令等之类的食材
描述符数据。烹饪技术分组概况1416含有关于具体烹饪技术的信息,被分组为诸如机械技
术(涂油脂、切斩、擦碎、切碎等)和化学处理技术(腌制、酸渍、发酵、烟熏等)之类的领域。
图52是示出记录厨师的食物制备过程的一实施例的过程1420的一实施例的流程
图。在步骤1422,在厨师工作室44中,多模态三维传感器20扫描厨房模块体积以定义其中的
标准化厨房设备和所有对象的xyz坐标位置和取向,不论是静态的还是动态的。在步骤
1424,多模态三维传感器20扫描厨房模块体积以找到诸如食材之类的非标准化对象的xyz
坐标位置。在步骤1426,计算机16创建所有非标准化对象的三维模型,并且将它们的类型和
属性(大小、外形尺寸、用法等)存储到计算机的系统存储器中(在计算装置上或者在云计算
环境),并且定义非标准化对象的形状、尺寸和类型。在步骤1428,厨师活动记录模块98配置
为通过厨师手套感测和捕获在连续时程中厨师的臂、手腕和手的活动(优选根据标准微操
纵对厨师的手的活动进行识别和分类)。在步骤1430,计算机16将所感测和捕获的厨师在制
备食物菜肴时的活动的数据存储到计算机的存储器储存装置中。
图53是示出机器人设备制备食物菜肴的一实施例的过程1440的一实施例的流程
图。在步骤1442,机器人厨房48中的多模态三维传感器20扫描厨房模块体积以找到非标准
化对象(食材等)的xyz位置坐标。在步骤1444,机器人厨房48中的多模态三维传感器20创建
在标准化机器人厨房50中检测到的非标准化对象的三维模型,并且将非标准化对象的形
状、尺寸和类型存储到计算机存储器中。在步骤1446,机器人烹饪模块110根据转换后的菜
谱文件开始菜谱的执行,以相同的步调,采用相同的活动并且用类似的持续时间复现厨师
的食物制备过程。在步骤1448,机器人设备采用一个或多个微操纵以及动作基元的组合执
行转换后的菜谱文件的机器人指令,从而使机器人标准化厨房中的机器人设备制备出就像
厨师49亲自制备食物菜肴那样的相同或基本相同的食物菜肴。
图54是示出在机器人相对于厨师获得相同或基本相同的食物菜肴制备结果的过
程中质量和功能调整1450的一实施例的过程的流程图。在步骤1452,质量检查模块56配置
为通过一个或多个多模态传感器、机器人设备上的传感器监视和验证菜谱复现过程并且采
用抽象化软件来比较来自机器人设备的输出数据和来自软件菜谱文件的受控数据,来进行
质量检查,所述软件菜谱文件是通过当执行相同的菜谱时对人类厨师在标准化机器人厨房
的厨师工作室版本中执行的烹饪过程进行监视和抽象化而创建的。在步骤1454,机器人食
物制备引擎56配置为检测和确定将要求机器人设备对食物制备过程做出调整的任何差异,
例如,至少监视食材的大小、形状或取向的差异。如果存在差异,则机器人食物制备引擎56
配置为通过基于原始的和经处理的感测输入数据调整该特定食物菜肴处理步骤的一个或
多个参数来对食物制备过程进行修改。在步骤1454,做出对菜谱脚本中所存储的过程变量
与所感测和抽象化的过程进展之间的可能差异采取行动的判定。如果标准化机器人厨房中
的烹饪过程的过程结果与菜谱脚本中对该过程步骤描述的结果等同,那么如菜谱脚本描述
的那样继续进行食物制备过程。如果基于原始和经处理的感测输入数据要求对该过程做出
修改或调适,那么通过对确保使过程变量顺应菜谱脚本中对该过程步骤描述的那些所需的
任何参数进行调整,来执行调适过程1556。在成功结束调适过程1456后,食物制备过程1458
如菜谱脚本序列中说明的那样继续进行。
图55是示出机器人厨房通过复现来自机器人厨房中所记录的软件文件的厨师活
动来制备菜肴的过程1460的第一实施例的流程图。在步骤1462,用户通过计算机选择特定
菜谱以供机器人设备制备食物菜肴在步骤1464,机器人食物制备引擎56配置为检索所选择
菜谱的抽象化菜谱以供食物制备。在步骤1468,机器人食物制备引擎56配置为将所选菜谱
脚本上载到计算机存储器中。在步骤1470,机器人食物制备引擎56计算食材可得性和所需
烹饪时间。在步骤1472,机器人食物制备引擎56配置为如果根据所选菜谱和上菜时间安排
制备菜肴的食材短缺或时间不足时,发出警报或通知。在步骤1472,机器人食物制备引擎56
发出警报,以将缺少或不足的食材放到购物清单上,或者选择替代菜谱。在步骤1474,确认
用户的菜谱选择。在步骤1476,机器人食物制备引擎1476配置为检查是否到了开始制备菜
谱的时间。在步骤1476,过程1460暂停,直到到达开始时间。在步骤1460,机器人设备检查每
一食材的新鲜度和状况(例如,购买日、到期日、气味、颜色)。在步骤1462,机器人食物制备
引擎56配置为向机器人设备发送指令,以将食物或食材从标准化容器移到食物制备位置。
在步骤1464,机器人食物制备引擎56配置为指示机器人设备在开始时间“0”通过根据软件
菜谱脚本文件复现食物菜肴来开始食物制备。在步骤1466,标准化厨房50中的机器人设备
采用与厨师的臂和手指一样的活动、相同的食材、相同的步调以及相同的标准化厨房设备
和工具复现食物菜肴。在步骤1468,机器人设备在食物制备过程中进行质量检查,以做出任
何必要的参数调整。在步骤1470,机器人设备完成了食物菜肴的复现和制备,因此制备将食
物菜肴装盘和上菜。
图56示出了储存容器的验入(check-in)和识别的过程1480。在步骤1482,用户使
用质量监视仪表板选择验入食材。然后在步骤1484,用户在验入站或柜台处扫描食材包装。
在步骤1486,机器人烹饪引擎采用来自条形码扫描器、秤、摄像机和激光扫描器的附加数据
处理食材特定的数据并且将其映射至其食材和菜谱库,并且分析其任何潜在的过敏影响。
基于步骤1488,如果存在过敏可能性,那么在步骤1490系统决定通知用户并且出于安全原
因舍弃该食材。如果认为食材可接受,那么在步骤1492系统将其记入日志并且进行确认。在
步骤1494,用户可以打开包装(如果还没打开包装),并倒出该物项。在后续步骤1496,该物
项被包装(锡箔、真空袋等),并打上具有打印到其上的所有必要食材数据的计算机打印标
签,并且基于识别结果移到储存容器和/或储存位置。然后在步骤1498,机器人烹饪引擎更
新其内部数据库,并且在其质量监视仪表板中显示可用食材。
图57描绘了从储存器验出(check-out)食材以及烹饪制备过程1500。在第一步骤
1502,用户利用质量监视仪表板选择验出食材。在步骤1504,用户基于一个或多个菜谱所需
的单个物项选择要验出的物项。然后在步骤1506,计算机化厨房采取行动以将包含选定物
项的特定容器从其储存位置移到柜台区域。在用户于步骤1508中拾取了物项的情况下,用
户在步骤1510中按很多可行方式(烹饪、丢弃、回收等)中的一种或多种对该物项进行处理,
在步骤1512中将剩余物项重新验入回到系统内,其于是结束用户与系统的交互1514。在标
准化机器人厨房中的机器臂接收到所检索的食材物项的情况下,执行步骤1516,其中臂和
手对照食材物项的标识数据(类型等)和状况(到期日、颜色、气味等)检查容器内的每一食
材物项。在质量检查步骤1518,机器人烹饪引擎做出有关可能的物项不匹配或检测到的质
量状况的判定。在物项不适当的情况下,步骤1520发送警报给烹饪引擎,使其随后进行适当
的操作。如果食材具有可接受的类型和质量,那么机器臂在步骤1522中移动该物项,以供在
下一烹饪过程阶段内使用。
图58描绘了自动化烹饪前制备过程1524。在步骤1530,机器人烹饪引擎基于特定
菜谱计算裕量和/或浪费的食材材料。接下来在步骤1532,机器人烹饪引擎搜索所有可能的
用于采用每种食材执行菜谱的技术和方法。在步骤1534,机器人烹饪引擎针对时间和能耗
计算并优化食材使用和方法,尤其是对需要并行多任务处理的菜肴而言。然后,机器人烹饪
引擎为所安排的菜肴建立多级别烹饪规划1536,并向机器人厨房系统发送烹饪执行请求。
在下一步骤1538中,机器人厨房系统将烹饪过程所需的食材以及烹饪/烘焙用具从其自动
化搁架系统移出,并且在步骤1540中对工具和设备进行组装,设立各种工作站。
图59描绘了菜谱设计和脚本建立过程1542。作为第一步骤1544,厨师选择特定菜
谱,然后在步骤1546中针对其输入或编辑菜谱数据,包括但不限于名称和其他元数据(背
景、技术等)。在步骤1548,厨师基于数据库和相关的库输入或编辑所需食材,并且输入菜谱
所需的相应重量/体积/单位的量。在步骤1550中厨师基于数据库和相关库中可用的技术选
择菜谱制备中采用的必要技术。在步骤1552,厨师执行类似的选择,但是这次其关注的是执
行菜肴的菜谱所需的烹饪和制备方法的选择。之后,结束步骤1554允许系统建立菜谱ID,其
对于后续的数据库储存和检索将是有用的。
图60描绘了用户可能如何选择菜谱的过程1556。第一步骤1558要求用户通过计算
机或移动应用从在线市场商店购买菜谱或订购菜谱购买计划,由此实现能够复现的菜谱脚
本的下载。在步骤1560,用户基于个人偏好设置以及现场食材可用性搜索在线数据库并且
从所购买的或者作为订购的一部分而可得的菜谱中选择特定菜谱。作为最后一个步骤
1562,用户输入希望制备好上菜的日期和时间。
图61A描绘了用于在线服务门户或所谓的菜谱商业平台的菜谱搜索和购买及/或
订购过程的过程1570。作为第一步骤,新用户在步骤1572中必须向系统注册(选择年龄、性
别、用餐偏好等,随后选择总体偏好的烹饪或厨房风格),而后用户能够通过手持装置上的
app或者采用TV和/或机器人厨房模块对菜谱进行搜索并且进行下载以浏览菜谱。用户可在
步骤1574中选择采用诸如菜谱风格(包括人工烹饪菜谱)之类的标准1576或者基于特定厨
房或设备风格1578(铁锅、蒸锅、熏烟器等)进行搜索。用户可在步骤1580中将搜索选择或设
置为使用预定义标准,并且采用过滤步骤1582来收窄搜索空间和所产生的结果。在步骤
1584,用户从所提供的搜索结果、信息和推荐中选择菜谱。用户可以在步骤1586中选择之后
与烹饪伙伴或在线社区进行有关所述选择和接下来的步骤的共享、合作或商讨。
图61B描绘了从图61A继续进行针对服务门户1590的菜谱搜索和购买/订购过程。
在步骤1592中用户被提示基于机器人烹饪方案或菜谱的参数受控制版本选择特定菜谱。在
基于受控制的参数的菜谱的情况下,系统在步骤1594中针对诸如所有炊具和器具以及机器
臂要求之类的项目提供所需设备细节,并在步骤1602中提供选择食材来源和设备供应商的
外部链接,以获得详细的订货须知。之后,门户系统执行菜谱类型检查1596,其允许在远程
装置上直接下载和安装1598菜谱程序文件,或者要求用户在步骤1600中采用很多种可能的
支付方式(PayPal、BitCoin、信用卡等)之一在一次性支付或基于订购的支付的基础上输入
支付信息。
图62描绘了在机器人菜谱烹饪应用(App)的创建中采用的过程1610。作为第一步
骤1612,需要在诸如App Store、Google Play Windows Mobile或者其他这样的市场上建立
开发者账户,包括提供银行和公司信息。之后,在步骤1614中提示用户获得并下载最近更新
的应用程序接口(API)文档,其对于每个app商店是特定的。之后,开发者必须在步骤1618中
遵循所说明的API要求并且创建满足API文档要求的菜谱程序。在步骤1620,开发者需要提
供菜谱的名称和其他元数据,其应当是适合的并且由各种网站(Apple、Google、Samsung等)
规定。步骤1622要求开发者上载菜谱程序和元数据文件以获得批准。之后,相应的市场网站
将在步骤1624中对菜谱程序进行检查、测试和批准,而后在步骤1626中相应的网站列出菜
谱程序并使其可用于在其购买界面上在线检索、浏览和购买。
图63描绘了购买特定菜谱或订购菜谱交付计划的过程1628。在第一步骤1630中,
用户搜索要订货的特定菜谱。用户可以选择通过关键字进行浏览(步骤1632),可以采用偏
好过滤器收窄结果(步骤1634),也可以采用其他预定义的标准进行浏览(步骤1636),或者
甚至基于促销、新发布或预订货的菜谱以及甚至厨师实况烹饪事件进行浏览(步骤1638)。
在步骤1640中将菜谱的搜索结果显示给用户。之后,作为步骤1642的一部分,用户可以浏览
这些菜谱结果,并在音频或短视频剪辑中预览每一菜谱。之后,用户在步骤1644中选择装置
和操作系统,并接收特定在线市场应用网站的具体下载链接。如果用户在步骤1648中选择
连接至新的提供商网站,那么网站将要求新用户完成验证和协议步骤1650,从而允许网站
之后在步骤1652中下载和安装网站特定的接口软件,以允许继续菜谱交付过程。提供商网
站将在步骤1646中询问用户是否创建机器人烹饪购物清单,如果用户在步骤1654中同意,
那么在单次或订购的基础上选择特定菜谱,并选择要上菜的特定日期和时间。在步骤1656
中,向用户提供和显示所需食材和设备的购物清单,包括最近以及最快的供应商及其地点、
食材和设备的可得性以及相关的交货时间(lead time)和价格。在步骤1658,为用户提供检
查每一物项描述及其默认或推荐来源和品牌的机会。于是,用户能够在步骤1660中查看食
材和设备清单上的所有项目的相关成本,包括所有的相关链条项目成本(运送、税费等)。如
果用户或买家在步骤1662中想要查看所建议的购物清单项目的替代选择,则执行步骤
1664,为用户或买家提供备选来源的链接,由此允许其连接和查看备选的购买和订货选项。
如果用户或买家接受所建议的购物清单,那么系统不仅保存这些选择作为未来购买的个性
化选择(步骤1666)并且更新当前购物清单(步骤1688),而且还移至步骤1670,基于附加标
准,例如当地/最近提供商、基于季节和成熟阶段的物项可得性、或者甚至来自不同供应商
的实际上具有相同性能但是对用户或买家而言交货成本显著不同的设备的定价,从购物清
单中选择替代方案。
图64A-B是示出预定义菜谱搜索标准1672的例子的框图。这一例子中的预定义菜
谱搜索标准包括若干类别,例如,主要食材、烹饪持续时间、根据地域和类型划分的烹饪风
格、厨师姓名搜索、招牌菜、以及制备食物菜肴的估计食材成本。其他可能的菜谱搜索字段
包括膳食类型、特殊规定饮食、杜绝食材、菜肴类型和烹饪方法、场合和季节、回顾和建议、
以及评级。
图66是示出机器人标准化厨房50中的一些预定义的容器的框图。标准化机器人厨
房50中的每个容器具有容器编号或条形码,其说明容器内储存的特定内容物。例如,第一容
器储存大的块状产品,例如,白球甘蓝、红球甘蓝、皱叶卷心菜、芫根、花椰菜。第六容器储存
大量固体块材,包括诸如杏仁屑、籽(向日葵、南瓜籽、白瓜籽)、去核杏干、番木瓜干和杏干。
图66是示出按照矩形布局配置的机器人餐馆厨房模块的第一实施例的框图,该厨房具有多
对机器手以用于同时进行食物制备处理。本发明的另一实施例围绕着图66所示的专业或餐
馆厨房装置中用于多个相继或并行的机器臂和手站点的分级配置。该实施例描绘了更具线
性的配置(尽管可采用任何几何布置),示出了多个机器臂/手模块,每者专注于创建特定元
素、菜肴或菜谱脚本步骤(例如,六对机器臂/手在商业化厨房中发挥不同的作用,例如,副
主厨、烤焙厨师、炸/炒厨师、冷盘厨师、糕点师、汤和调味汁厨师等)。该机器人厨房布局使
得与任何人的或者相邻臂/手模块之间的访问/交互是沿单个前向表面的。该装置能被计算
机控制,由此允许整个多臂/手机器人厨房装置分别执行多个复现烹饪任务,而不管臂/手
机器人模块是在顺次执行单个菜谱(来自一个站点的最终产品被提供给下一站点,以用于
菜谱脚本中的后续步骤),还是在并行执行多个菜谱/步骤(例如,餐前食物/食材制备,以供
在菜肴复现完成期间使用,从而满足高峰时段的时间紧迫性)。
图67是示出按照U形布局配置的机器人餐馆厨房模块的第二实施例的框图,该厨
房具有多对机器手以供同时进行食物制备处理。本发明的另一实施例围绕着图67所示的专
业或餐馆厨房装置中的多个相继或并行的机器臂和手站点的另一分级配置。该实施例描绘
了矩形配置(但是可以采用任何几何布置),示出了多个机器臂/手模块,其每个专注于创建
特定的元素、菜肴或菜谱脚本步骤。该机器人厨房布局使得与任何人或者相邻臂/手模块之
间的访问/交互都是沿一组U形向外表面且沿U形的中央部分的,允许臂/手模块在各个菜谱
复现阶段内传递给/接触到对面的工作区,并与它们对面的臂/手模块交互。该装置能被计
算机控制,由此允许整个多臂/手机器人厨房装置分别执行多个复现烹饪任务,而不管臂/
手机器人模块是在顺次执行单个菜谱(来自一个站点的最终产品被沿U形路径提供给下一
站点,以用于菜谱脚本中的后续步骤),还是在并行执行多个菜谱/步骤(例如,餐前食物/食
材制备,以供在菜肴复现完成期间使用,从而满足高峰时段的时间紧迫性,所制备的食材可
能储存在放置于U形厨房的基部的容器或器具(冰箱等)中)。
图68描绘了机器人食物制备系统1680的第二实施例。采用标准化机器人厨房系统
1682的厨师工作室包括制备或执行菜谱的人类厨师49,而炊具1682上的传感器则记录随时
间推移的重要变量(温度等)并将其作为形成了菜谱脚本原始数据文件的一部分的传感器
曲线和参数存储到计算机存储器1684中。来自厨师工作室1682的这些存储的感测曲线和参
数数据文件基于购买或订购被递送至标准化(远程)机器人厨房1686。家庭安装的标准化机
器人厨房1688包括用户60和计算机控制系统1690二者,以基于所接收的与测得的感测曲线
和参数数据文件对应的原始数据操作自动化和/或机器人厨房设备。
图69描绘了标准化机器人厨房48的另一实施例。运行机器人烹饪(软件)引擎56的
计算机16与多个外部装置接口连接,机器人烹饪引擎56包括烹饪操作控制模块1692,其对
来自菜谱脚本以及相关存储介质和存储器1694的被记录、分析和抽象化的感测数据进行处
理,以存储包括感测曲线和参数数据的软件文件。这些外部装置包括但不限于可收缩安全
玻璃68、计算机监视和计算机控制的储存单元88、对原料食物质量和供给进行报告的多个
传感器198、分配食材的硬自动化模块82、具有食材的标准化容器86、以及配备有传感器的
智能炊具1700。
图71描绘了智能炊具项目1700(此图中为调味汁壶),其包括内置的实时温度传感
器,其能够生成并且无线传输跨单元的底表面跨至少但不限于三个平面区带的温度概况,
所述三个平面区带是跨炊具单元的整个底表面按同心圆布置的,包括区带1 1702、区带2
1704和区带3 1706。这三个区带中的每个能够基于所耦接的传感器1716-1、1716-2、1716-
3、1716-4和1716-5无线传输相应的数据1 1708、数据2 1710和数据3 1712。
图71描绘了一组典型的感测曲线220,具有针对数据1 1720、数据2 1722和数据3
1724的记录温度概况,每条曲线对应于炊具单元的特定底部区域的三个区带中的每个区带
的温度。测量时间单位反映为从开始至结束以分钟计的烹饪时间(自变量),而温度则是以
摄氏度为单位测量的(因变量)。
图72描绘了具有所记录的温度1732和湿度1734概况的一组多重感测曲线1730,来
自每个传感器的数据被表示为数据1 1736、数据2 1738、直至数据N 1740。原始数据流被转
发给操作控制单元274并被其处理。测量时间单位反映为从开始至结束以分钟计的烹饪时
间(自变量),而温度则是以摄氏度为单位测量的(因变量)。
图73描绘了用于智能(煎炸)平底锅的实时温度控制1700的处理装置。电源1750使
用三个单独的控制单元(但不必局限于此),包括控制单元1 1752、控制单元2 1754和控制
单元3 1756,从而对一组电感线圈有效地加热。所述控制实际上是(煎炸)平底锅的(三个)
区带1758(区带1)、1760(区带2)和1762(区带3)中的每个内的测得温度的函数,其中温度传
感器1770(传感器1)、1772(传感器2)和1774(传感器3)通过数据流1776(数据1)、1778(数据
2)和1780(数据3)将温度数据无线提供回到操作控制单元274,操作控制单元274又指示电
源1750独立地控制单独的区带加热控制单元1752、1754和1756。目标在于实现和复现预期
的随时间推移的温度曲线,如在菜肴制备期间人类厨师的特定(煎炸)步骤中记录的感测曲
线数据那样。
图74描绘了智能烤箱和计算机控制系统,它们耦接到操作控制单元1790,允许基
于先前存储的感测(温度)曲线实时执行烤箱器具1792的温度概况。操作控制单元1790能够
控制烤箱的门(打开/关闭),追踪通过感测曲线提供给它的温度概况,还能够进行烹饪后处
理和自清洁。通过内置于各位置的生成数据流268(数据1)的温度传感器1794以及产生数据
流的附加湿度传感器1796监视烤箱内的温度和湿度,探针形式的温度传感器插入到待烹饪
的食材(肉、禽类等)中以监视烹饪温度,从而推断烹饪完成程度。操作控制单元1790取得所
有这种感测数据,并且调整烤箱参数,从而允许其正确地跟踪在先前存储并下载的两种变
量(因变量)的一组感测曲线中描述的感测曲线。
图75描绘了用于一控制单元的计算机控制点火和控制系统装置1798,该控制单元
调节炭烤架的电功率1858从而正确地跟踪在炭烤架内部分布的一个或多个温度和湿度传
感器的感测曲线。功率控制单元1800采用电子控制信号1802启动烤架,采用信号1804和
1806调整烤架表面与炭的距离以及在炭1810上的水雾喷射1808,从而分别调整可(上/下)
移动的搁架1812的温度和湿度。控制单元1800使其输出信号1804、1806基于一组数据流(这
里画出了五个)1814以及数据流1836,数据流1814用于来自一组分布于炭烤架内的湿度传
感器(1到5)1826、1828、1830、1832、1834的湿度测量结果1816、1818、1820、1822、1824,数据
流1836用于来自分布式温度传感器(1到5)1848、1850、1852、1854、1856的温度测量结果
1840、1842、1844、1846、1846。
图76描绘了允许计算机控制龙头注入水槽(或炊具)中的水的流速、温度和压力的
计算机控制龙头1860。龙头由控制单元1862控制,其接收单独的数据流1862(数据1)、1864
(数据2)和1866(数据3),它们对应于提供数据1的水流速传感器1868、提供数据2的温度传
感器1870以及提供数据3感测数据的水压传感器1872。然后,控制单元1862控制冷水1874和
热水1878的供应,适当的冷水温度和压力数字显示在显示器1876上,适当的热水温度和压
力数字显示在显示器1880上,从而实现龙头出水的期望压力、流速和温度。
图77通过俯视平面图描绘了充分仪器化的机器人厨房1882的实施例。标准化机器
人厨房被划分为三个层,即顶层、柜台层和下层,每一层含有的设备和器具具有集成安装的
传感器1884和计算机控制单元1886。
顶层含有具有不同单元的多个橱柜型模块,其通过内置的器具和设备执行特定的
厨房功能。在最简单的级别上,搁板/橱柜储存区域82包括用于存放和获取烹饪工具和器具
以及其他烹饪和上菜用具(烹饪、烘焙、装盘等)的橱柜体积1320、用于特定食材(例如,水果
和蔬菜等)的存放成熟(ripening)的橱柜体积1298、用于诸如莴苣和洋葱之类的物项的冷
藏储存区88、用于深度冷冻物项的冷冻存放橱柜体积1302、以及用于其他食材和很少使用
的香料等的另一存放食品柜区1304。顶层内的每个模块含有传感器单元1884,其直接地或
者通过一个或多个中央或分布式控制计算机提供数据给一个或多个控制单元1886,以允许
计算机控制的操作。
柜台层不仅容纳有监视传感器1884和控制单元1886,而且还包括上菜柜台1306、
具有水槽的柜台区域1308、具有可移动工作表面(切/斩案板等)的另一柜台区域1310、炭基
板条式烤架1312、以及用于其他烹饪器具的多用途区域1314,所述其他烹饪器具包括炉子、
煮锅、蒸锅和炖蛋锅。柜台层内的每个模块含有传感器单元1884,其直接地或者通过一个或
多个中央或分布式控制计算机提供数据给一个或多个控制单元1886,以允许计算机控制的
操作。
下层容纳组合对流烤箱和微波炉以及蒸锅、炖蛋锅和烤架1316、洗碗机1318、硬自
动化控制食材分配器82、以及较大橱柜体积1320,较大橱柜体积1320保持和存放其他频繁
使用的烹饪和烘焙用具以及餐具、扁平餐具、用具(搅拌器、刀等)和刀具。下层内的每个模
块含有传感器单元1884,其直接地或者通过一个或多个中央或分布式控制计算机提供数据
给一个或多个控制单元1886,以允许计算机控制的操作。
图78描绘了机器人厨房烹饪系统1890的一实施例的透视图,其具有从上到下布置
的不同层,每个层配备有多个分布式传感器单元1892,传感器单元1892直接向一个或多个
控制单元1894馈送数据,或者向一个或多个中央计算机馈送数据,中央计算机又使用和处
理这些感测数据,然后命令一个或多个控制单元376按其命令工作。
顶层含有具有不同单元的多个橱柜型模块,其通过内置的器具和设备执行特定的
厨房功能。在最简单的级别上,搁板/橱柜储存柜体积1294包括用于存放和获取烹饪工具和
器具以及其他烹饪和上菜用具(烹饪、烘焙、装盘等)的橱柜体积1296、用于特定食材(例如,
水果和蔬菜等)的存放成熟(ripening)的橱柜体积1298、用于诸如莴苣和洋葱之类的物项
的冷藏储存区88、用于深度冷冻物项的冷冻存放橱柜体积1302、以及用于其他食材和很少
使用的香料等的另一存放食品柜区1294。顶层内的每个模块含有传感器单元1892,其直接
地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个控制单元1894,以
允许计算机控制的操作。
柜台层不仅容纳有监视传感器1892和控制单元1894,而且还包括具有水槽和电子
龙头的柜台区域1308、具有可移动工作表面(切/斩案板等)的另一柜台区域1310、炭基板条
式烤架1312、以及用于其他烹饪器具的多用途区域1314,所述其他烹饪器具包括炉子、煮
锅、蒸锅和炖蛋锅。柜台层内的每个模块含有传感器单元1892,其直接地或者通过一个或多
个中央或分布式控制计算机提供数据给一个或多个控制单元1894,以允许计算机控制的操
作。
下层容纳组合对流烤箱和微波炉以及蒸锅、炖蛋锅和烤架1316、洗碗机1318、硬自
动化控制食材分配器82、以及较大橱柜体积1310,较大橱柜体积1310保持和存放其他频繁
使用的烹饪和烘焙用具以及餐具、扁平餐具、用具(搅拌器、刀等)和刀具。下层内的每个模
块含有传感器单元1892,其直接地或者通过一个或多个中央或分布式控制计算机提供数据
给一个或多个控制单元1896,以允许计算机控制的操作。
图79是示出机器人厨房根据标准化机器人厨房中先前记录的一条或多条参数曲
线来制备菜肴的过程的第二实施例1900的流程图。在步骤1902,用户通过计算机选择特定
菜谱以供机器人设备制备食物菜肴。在步骤1904,机器人食物制备引擎配置为检索用于食
物制备的选定菜谱的抽象化菜谱。在步骤1906,机器人食物制备引擎配置为将选定菜谱脚
本上载到计算机存储器中。在步骤1908,机器人食物制备引擎计算食材可得性。在步骤
1910,机器人食物制备引擎配置为根据选定菜谱和上菜安排评估是否存在制备菜肴所需食
材的缺失或不足。机器人食物制备引擎在步骤1912中发出警报以将缺失或不够的食材放到
购物清单上,或者选择替代菜谱。在步骤1914中确认用户所做的菜谱选择。在步骤1916,机
器人食物制备引擎配置为向用户发出机器人指令,以将食物或食材放到标准化容器内,并
将其移到适当的食物制备位置。在步骤1918,为用户提供选择实时视频监视器投影的选项
(在专用监视器上或者全息的基于激光的投影上),从而能够视觉观看菜谱复现过程的每个
和所有步骤,所述菜谱复现过程是基于被记录并且此时被重放的厨师执行的所有活动和过
程的。在步骤1920,机器人食物制备引擎配置为允许用户在其选择的对标准化机器人厨房
的计算机化控制系统加电的起始时间“0”开始食物制备。在步骤1922,用户基于监视器/投
影屏幕上人类厨师的整个菜谱创建过程的重放执行对厨师的所有动作的复现,由此将半成
品移至指定炊具和器具或者中间储存容器,以供后面使用。在步骤1924,标准化厨房中的机
器人设备根据厨师在厨师工作室的标准化机器人厨房中执行菜谱制备过程中的同一步骤
时感测到的数据曲线或基于当时记录的烹饪参数执行各个处理步骤。在步骤1926,机器人
食物制备的计算机在温度、压力和湿度方面控制所有的炊具和器具设置,从而基于厨师在
厨师工作室标准化机器人厨房内制备菜谱时捕获并保存的数据复现在整个烹饪时间所要
求的数据曲线。在步骤1928,用户进行所有简单动作以复现厨师的步骤和过程动作,如通过
经由监视器或投影屏幕转达给用户的音频和视频指令而显见的那样。在步骤1930,在完成
了基于感测曲线或参数集的特定烹饪步骤时,机器人厨房的烹饪引擎向用户发出警报。一
旦用户和计算机控制器的交互使得菜谱的所有烹饪步骤都得以完成,机器人烹饪引擎就在
步骤1932发送终止复现过程的计算机控制部分的请求。在步骤1934,用户移动所完成的菜
谱菜肴,将其装盘并上菜,或者手动地继续任何剩余的烹饪步骤或处理。
图80示出了厨师工作室内的感测数据捕获过程1936。第一步骤1938是厨师创建或
设计菜谱。下一步骤1940要求厨师向机器人烹饪引擎输入菜谱的名称、食材、度量和过程描
述。厨师在步骤1942中开始将所有所需食材加载到指定的标准化储存容器、器具内,并选择
适当的炊具。下一步骤1944涉及厨师设置起始时间并启动感测和处理系统以记录所有感测
到的原始数据并允许对其进行处理。一旦厨师在步骤1946中开始烹饪,所有的嵌入监视传
感器单元和器具就向中央计算机系统报告和发送原始数据,从而允许其在整个烹饪过程
1948中实时记录所有相关数据。还在步骤1950中将额外的烹饪参数和可听厨师评述记录并
存储为原始数据。作为步骤1952的一部分,机器人烹饪模块抽象化(软件)引擎处理所有原
始数据,包括二维和三维几何运动以及对象识别数据,以生成机器可读可执行的烹饪脚本。
在厨师完成了厨师工作室菜谱创建和烹饪过程之后,机器人烹饪引擎生成模拟可视化程序
1954,其复制用于远程标准化机器人厨房系统的后续菜谱复现的活动和媒体数据。在原始
的和经处理的数据以及厨师对模拟菜谱执行可视化的确认的基础上,在步骤1956中,针对
不同的(移动)操作系统开发并集成硬件特定的应用,并将其提交给在线软件应用商店和/
或市场,以供直接的单菜谱用户购买或通过订购模型实施的多菜谱购买。
图81描绘了家庭机器人烹饪过程1960的处理和流程。第一步骤1962涉及用户选择
菜谱以及获取数字形式的菜谱。在步骤1964,机器人烹饪引擎接收菜谱脚本,其含有用于烹
饪所选菜谱的机器可读命令。在步骤1966,菜谱被上载至机器人烹饪引擎,脚本被置于存储
器中。一旦存储,步骤1968就计算必要的食材并确定其可用性。在逻辑检查1970中,系统在
步骤1972判断是要警告用户或者发送建议,督促向购物清单添加缺失的物项或者建议替代
菜谱以适应可用的食材,还是在有足够的食材可用的情况下继续进行。一旦在步骤1974中
检验了食材的可用性,系统就确认菜谱,并在步骤1976中询问用户,从而将所需食材放到指
定标准化容器中,所述指定标准化容器位于厨师最初开始菜谱创建过程(在厨师工作室内)
时所处的位置处。在步骤1978,提示用户设定烹饪过程的起始时间,并将烹饪系统设置为继
续工作。在开动后,机器人烹饪系统根据菜谱脚本数据文件中提供的感测曲线和烹饪参数
数据实时地开始烹饪过程的执行1980。在烹饪过程1982中,为了复现最初在厨师工作室菜
谱创建过程中捕获并保存的感测曲线和参数数据文件,计算机控制所有的器具和设备。在
完成烹饪过程后,机器人烹饪引擎在步骤1984中基于判定已经完成了烹饪过程而发送提
醒。接下来,机器人烹饪引擎向计算机控制系统发送终止请求1986以终止整个烹饪过程,并
且在步骤1988,用户从柜台上移动菜肴,从而上菜,或者以人工方式继续任何剩余的烹饪步
骤。
图82描绘了标准化机器人食物制备厨房系统48的另一实施例。计算机16运行机器
人烹饪(软件)引擎56,机器人烹饪(软件)引擎56包括对来自菜谱脚本的记录、分析和抽象
化的感测数据进行处理的烹饪操作控制模块1990、可视命令监视模块1992、以及用于存储
由感测曲线和参数数据构成的软件文件的相关储存介质和存储器1994,计算机16与多个外
部装置接口连接。这些外部装置包括但不限于仪器化厨房工作柜台90、可伸缩安全玻璃68、
仪器化龙头92、具有嵌入式传感器的烹饪器具74、具有嵌入式传感器的炊具1700(存放在搁
板上或橱柜内)、标准化容器和食材储存单元78、计算机监视和计算机控制储存单元88、对
原料食物质量和供应的过程进行相关报告的多个传感器1996、用于分配食材的硬自动化模
块82、以及操作控制单元1998。
图83在俯视平面图中描绘了充分仪器化的机器人厨房2000的实施例。标准化机器
人厨房被划分为三个层,即顶层、柜台层和下层,每个层含有的设备和器具具有集成安装的
传感器1884和计算机控制单元1886。
顶层含有具有不同单元的多个橱柜型模块,其通过内置的器具和设备执行特定的
厨房功能。在最简单的级别上,其包括用于存放和获取烹饪工具和器具以及其他烹饪和上
菜用具(烹饪、烘焙、装盘等)的橱柜体积1296、用于特定食材(例如,水果和蔬菜等)的存放
成熟(ripening)的橱柜体积1298、用于诸如莴苣和洋葱之类的物项的冷藏储存区1300、用
于深度冷冻物项的冷冻存放橱柜体积1302、以及用于其他食材和很少使用的香料等的另一
存放食品柜区1304。顶层内的每个模块含有传感器单元1884,其直接地或者通过一个或多
个中央或分布式控制计算机提供数据给一个或多个控制单元1886,以允许计算机控制的操
作。
柜台层不仅容纳有监视传感器1884和控制单元1886,而且还包括一个或多个机器
臂、腕和多指手72、上菜柜台1306、具有水槽的柜台区域1308、具有可移动工作表面(切/斩
案板等)的另一柜台区域1310、炭基板条式烤架1312、以及用于其他烹饪器具的多用途区域
1314,所述其他烹饪器具包括炉子、煮锅、蒸锅和炖蛋锅。柜台层内的每个模块含有传感器
单元1884,其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个
控制单元1886,以允许计算机控制的操作。
下层容纳组合对流烤箱和微波炉以及蒸锅、炖蛋锅和烤架1316、洗碗机1318、硬自
动化控制食材分配器82、以及较大橱柜体积378,较大橱柜体积378保持和存放其他频繁使
用的烹饪和烘焙用具以及餐具、扁平餐具、用具(搅拌器、刀等)和刀具。下层内的每个模块
含有传感器单元1884,其直接地或者通过一个或多个中央或分布式控制计算机提供数据给
一个或多个控制单元1886,以允许计算机控制的操作。
图84在透视图中描绘了充分仪器化的机器人厨房2000的实施例,其中叠加的坐标
系指定了x轴1322、y轴1324和z轴1326,将在该坐标系内相对于原点(0,0,0)定义和参照所
有的活动和位置。标准化机器人厨房被划分为三个层,即顶层、柜台层和下层,每个层含有
的设备和器具具有集成安装的传感器1884和计算机控制单元1886。
顶层含有具有不同单元的多个橱柜型模块,其通过内置的器具和设备执行特定的
厨房功能。
在最简单的级别上,顶层包括用于存放和获取标准化烹饪工具和器具以及其他烹
饪和上菜用具(烹饪、烘焙、装盘等)的橱柜体积1294、用于特定食材(例如,水果和蔬菜等)
的存放成熟的橱柜体积1298、用于诸如莴苣和洋葱之类的物项的冷藏储存区1300、用于深
度冷冻物项的冷冻存放橱柜体积86、以及用于其他食材和很少使用的香料等的另一存放食
品柜区1294。顶层内的每个模块含有传感器单元1884,其直接地或者通过一个或多个中央
或分布式控制计算机提供数据给一个或多个控制单元1886,以允许计算机控制的操作。
柜台层不仅容纳有监视传感器1884和控制单元1886,而且还包括一个或多个机器
臂、腕和多指手72、具有水槽和电子龙头的柜台区域1308、具有可移动工作表面(切/斩案板
等)的另一柜台区域1310、炭基板条式烤架1312、以及用于其他烹饪器具的多用途区域
1314,所述其他烹饪器具包括炉子、煮锅、蒸锅和炖蛋锅。柜台层内的每个模块含有传感器
单元1884,其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个
控制单元1886,以允许计算机控制的操作。
下层容纳组合对流烤箱和微波炉以及蒸锅、炖蛋锅和烤架1315、洗碗机1318、硬自
动化控制食材分配器82(未示出)、以及较大橱柜体积1310,较大橱柜体积1310保持和存放
其他频繁使用的烹饪和烘焙用具以及餐具、扁平餐具、用具(搅拌器、刀等)和刀具。下层内
的每个模块含有传感器单元1884,其直接地或者通过一个或多个中央或分布式控制计算机
提供数据给一个或多个控制单元1886,以允许计算机控制的操作。
图85在俯视平面图中描绘了充分仪器化的机器人厨房2020的实施例。标准化机器
人厨房被划分为三个层,即顶层、柜台层和下层,顶部和下部层级包含具有集成安装的传感
器1884和计算机控制单元1886的设备和器具,柜台层级配备有一个或多个命令和可视监视
装置2022。
顶层含有具有不同单元的多个橱柜型模块,其通过内置的器具和设备执行特定的
厨房功能。在最简单的级别上,顶层包括用于存放和获取标准化烹饪工具和器具以及其他
烹饪和上菜用具(烹饪、烘焙、装盘等)的橱柜体积1296、用于特定食材(例如,水果和蔬菜
等)的存放成熟的橱柜体积1298、用于诸如莴苣和洋葱之类的物项的冷藏储存区1300、用于
深度冷冻物项的冷冻存放橱柜体积1302、以及用于其他食材和很少使用的香料等的另一存
放食品柜区1304。顶层内的每个模块含有传感器单元1884,其直接地或者通过一个或多个
中央或分布式控制计算机提供数据给一个或多个控制单元1886,以允许计算机控制的操
作。
柜台层不仅容纳有监视传感器1884和控制单元1886,而且还包括可视命令监视装
置2020,同时还包括上菜柜台1306、具有水槽的柜台区域1308、具有可移动工作表面(切/斩
案板等)的另一柜台区域1310、炭基板条式烤架1312、以及用于其他烹饪器具的多用途区域
1314,所述其他烹饪器具包括炉子、煮锅、蒸锅和炖蛋锅。柜台层内的每个模块含有传感器
单元1884,其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个
控制单元1886,以允许计算机控制的操作。此外,一个或多个可视命令监视装置2022也设置
在柜台层内以用于监视人类厨师在工作室厨房中的以及机器臂或人类用户在标准化机器
人厨房中的可视操作,其中数据被馈送给一个或多个中央或分布式计算机以供处理,随后
校正性或支持性反馈以及命令被发送回到机器人厨房以用于显示或依照脚本来执行。
下层容纳组合对流烤箱和微波炉以及蒸锅、炖蛋锅和烤架1316、洗碗机1318、硬自
动化控制食材分配器86(未示出)、以及较大橱柜体积1320,较大橱柜体积1320保持和存放
其他频繁使用的烹饪和烘焙用具以及餐具、扁平餐具、用具(搅拌器、刀等)和刀具。下层内
的每个模块含有传感器单元1884,其直接地或者通过一个或多个中央或分布式控制计算机
提供数据给一个或多个控制单元1886,以允许计算机控制的操作。
图86在透视图中描绘了充分仪器化的机器人厨房2020的实施例。标准化机器人厨
房被划分为三个层,即顶层、柜台层和下层,顶和下层包含具有集成安装的传感器1884和计
算机控制单元1886的设备和器具,柜台层配备有一个或多个命令和可视监视装置2022。
顶层含有具有不同单元的多个橱柜型模块,其通过内置的器具和设备执行特定的
厨房功能。在最简单的级别上,顶层包括用于存放和获取标准化烹饪工具和器具以及其他
烹饪和上菜用具(烹饪、烘焙、装盘等)的橱柜体积1296、用于特定食材(例如,水果和蔬菜
等)的存放成熟的橱柜体积1298、用于诸如莴苣和洋葱之类的物项的冷藏储存区1300、用于
深度冷冻物项的冷冻存放橱柜体积86、以及用于其他食材和很少使用的香料等的另一存放
食品柜区1294。顶层内的每个模块含有传感器单元1884,其直接地或者通过一个或多个中
央或分布式控制计算机提供数据给一个或多个控制单元1886,以允许计算机控制的操作。
柜台层不仅容纳有监视传感器1884和控制单元1886,而且还包括可视命令监视装
置1316,同时还包括具有水槽和电子龙头的柜台区域1308、具有可移动工作表面(切/斩案
板等)的另一柜台区域1310、炭基板条式烤架1312、以及用于其他烹饪器具的多用途区域
1314,所述其他烹饪器具包括炉子、煮锅、蒸锅和炖蛋锅。柜台层内的每个模块含有传感器
单元1184,其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个
控制单元1186,以允许计算机控制的操作。此外,一个或多个可视命令监视装置(未示出)也
设置在柜台层内以用于监视人类厨师在工作室厨房中的以及机器臂或人类用户在标准化
机器人厨房中的可视操作,其中数据被馈送给一个或多个中央或分布式计算机以供处理,
随后校正性或支持性反馈以及命令被发送回到机器人厨房以用于显示或依照脚本来执行。
下层容纳组合对流烤箱和微波炉以及蒸锅、炖蛋锅和烤架1316、洗碗机1318、硬自
动化控制食材分配器86(未示出)、以及较大橱柜体积1309,较大橱柜体积1309保持和存放
其他频繁使用的烹饪和烘焙用具以及餐具、扁平餐具、用具(搅拌器、刀等)和刀具。下部层
级内的每个模块含有传感器单元1307,其直接地或者通过一个或多个中央或分布式控制计
算机提供数据给一个或多个控制单元376,以允许计算机控制的操作。
图87A描绘了标准化机器人厨房系统48的另一实施例。计算机16运行机器人烹饪
(软件)引擎56和用于存储菜谱脚本数据以及感测曲线和参数数据文件的存储器模块102,
计算机16与多个外部装置接口连接。这些外部装置包括但不限于仪器化的机器人厨房站
2030、仪器化的上菜站2032、仪器化的洗涤清洁站2034、仪器化的炊具2036、计算机监视和
计算机控制的烹饪器具2038、专用工具和用具2040、自动化搁板站2042、仪器化的储存站
2044、食材取回站2046、用户控制台界面2048、双机器臂70、分配食材的硬自动化模块82、以
及厨师记录装置2050。
图87B在平面图中描绘了机器人厨房烹饪系统2060的一实施例,其中厨师49或家
庭烹饪用户60能够从多个侧面(这里示出了四个)访问各个烹饪站。中央储存站2062为在不
同温度(冷藏/冷冻)保存的各种食物提供不同的储存区域以保持最佳新鲜度,允许从所有
侧面访问该储存站。沿当前实施例的方形布置的周边,厨师49或用户60能够访问具有模块
的各个烹饪区域,所述模块包括但不限于用于实施菜谱并且对过程进行监督的用户/厨师
控制台2064、包括扫描器、摄像机和其他食材表征系统的食材访问站2066、用于炊具/烘焙
用具/餐具的自动搁板站2068、至少由水槽和洗碗机单元构成的洗涤清洁站2070、用于食物
或食材制备当中采用的特定技术所需的专门工具的专门工具和用具站2072、用于使上菜盘
温暖或冰冷的保温站2074以及由多个器具构成的烹饪器具站2076,所述器具包括但不限于
烤箱、炉子、烤架、蒸锅、炸锅、微波炉、混合器、脱水器等。
图87C描绘了机器人厨房48的相同实施例的透视图,允许厨师49或用户60从至少
四个不同侧面获得对多个烹饪站和设备的访问。中央储存站2062为在不同温度(冷藏/冷
冻)保存的各种食物提供不同的储存区域以保持最佳新鲜度,允许从所有侧面访问该储存
站,并且位于上层。用于炊具/烘焙用具/餐具的自动搁板站2068位于中央储存站2062下面
的中间层。在下层处,烹饪站和设备的布置被定位成包括但不限于用于实施菜谱并且对过
程进行监督的用户/厨师控制台2064、包括扫描器、摄像机和其他食材表征系统的食材访问
站2060、用于炊具/烘焙用具/餐具的自动搁板站2068、至少由水槽和洗碗机单元构成的洗
涤清洁站2070、用于食物或食材制备当中采用的特定技术所需的专门工具的专门工具和用
具站2072、用于使上菜盘温暖或冰冷的保温站2074以及由多个器具构成的烹饪器具站
2076,所述器具包括但不限于烤箱、炉子、烤架、蒸锅、炸锅、微波炉、混合器、脱水器等。
图88是示出机器人人类模拟器电子知识产权(IP)库2100的框图。机器人人类模拟
器电子IP库2100覆盖机器人设备用作复现人的特定技能集合的手段的各种构思。更具体而
言,包含一双机器手70和机器臂72的机器人设备用于复现一组具体人类技能。通过某种方
式,能够通过人的手捕获从人工到智能的转移,之后机器人设备复现所记录动作的精确动
作,获得相同的结果。机器人人类模拟器电子IP库2100包括机器人人类烹饪技能复现引擎
56、机器人人类绘画技能复现引擎2102、机器人人类乐器技能复现引擎2102、机器人人类护
理技能复现引擎2104、机器人人类情感识别引擎2106、机器人人类智能复现引擎2108、输
入/输出模块2110以及通信模块2112。将关于图90、91、92和93描述机器人人类情感识别引
擎1358。
图89是机器人人类情感识别(或响应)引擎2106,其包括通过总线2120耦接至应用
块的训练块。训练块含有人类输入刺激模块2122、传感器模块2124、人类情感响应模块(以
输入刺激)2126、情感响应记录模块2128、质量检查模块2130和学习机模块2132。应用块含
有输入分析模块2134、传感器模块2136、响应生成模块2138和反馈调整模块2140。
图90是示出机器人人类情感系统2150的处理和逻辑流的流程图。在其第一步骤
2151,(软件)引擎接收来自与人的感官类似的各种源的感测输入,包括来自周围环境的视
觉、可听反馈、触觉和嗅觉传感器数据。在判定步骤2152,做出是否创建运动反射的判定,其
要么将导致反射运动2153,要么如果不需要反射运动则执行步骤2154,其中将基于存储在
存储器中的信息或模式(pattern)识别具体输入信息或者其模式或组合,其随后被转换为
抽象或符号表示。通过基于经验的智能环序列对抽象和/或符号信息进行处理。另一判定步
骤2156基于已知的预定义行为模式判断是否应采取运动反应2157,如果否,则进行步骤
2158。在步骤2158,通过具有从内部存储器提供的输入的另一层情感和心情反应行为环处
理抽象和/或符号信息,其可以是通过学习而形成的。情感被分解为数学形式并编程到机器
人中,其具有可被描述的机制和可被度量和分析的量(例如,在捕获面部表情时分析微笑多
快形成和持续多久来将真实微笑和礼貌性微笑区分开,或者基于扬声器的音质来检测情
感,其中计算机测量语音的音高、能量和音量以及从某一时刻到下一时刻的音量和音高的
波动)。因而,将存在某些可识别并且可度量的对情感表达的量度(metrics),其中动物行为
或人类说唱声音的这些量度将具有可识别并且可测量的相关情感属性。基于这些可识别可
度量的量度,情感引擎能够做出有关采取哪种行为的判定,不管其是预先学习的还是新学
习的。在存储器中更新所采取或执行的行为及其实际结果,并将其添加到经验个性和自然
行为数据库2160中。在接下来的步骤2161中,经验个性数据被转换为更人类特定的信息,该
信息然后允许他或她执行规定的或所导致的运动2162。
图91A-91C是示出用激素、信息素和其他参数将人的情感概况与情感概况族群进
行比较的过程的流程图。图91A描绘了情感概况应用的过程,其中在2182中从用户的一般概
况2184监视和提取人的情感参数,并且基于刺激输入和从时间线片段导出的离开基线值的
参数值变化,将其与在类似条件下存在的更大组的那些进行比较。在步骤1804,基于一个或
多个标准参数进行第一级向下分组(degrouping)(例如,基于具有相同情感参数的人的变
化速度进行向下分组)。所述过程通过进一步的情感参数比较步骤来继续情感参数向下分
组和分离,进一步的情感参数比较步骤可包括由一组信息素1808、一组微表情1809、人的心
率和排汗1810、瞳孔扩张1811、所观测到的反射运动1812、对总体身体温度的感知1813以及
所觉察到的情境压力1814表示的后续级。然后,向下分组了的情感参数被用于确定类似参
数群组1815,以供比较目的。
图91B描绘了所有的单独情感群组,例如,诸如愤怒之类的直接情感1820、诸如恐
惧之类的二级情感1821,一直到N种实际情感。之后,下一步骤1823根据相关情感概况数据
计算每组中的相关情感,得到情感状态的强度级的评估1824,其允许引擎然后决定适当的
动作1825。
图91C描绘了大量情感概况开发和学习的自动化过程1830。该过程涉及从各种来
源接收新的多来源情感概况和状况输入1831,以及对概况/参数数据变化的相关质量检查
1832。在步骤1833中存储多个情感概况数据,并且使用多种机器学习技术1835执行在中央
数据库中对每一概况和数据集进行分析并且将其分类成具有匹配的集合(子集)的各种群
组的迭代循环1834。
图92A是示出通过监视一组激素、一组信息素以及其他关键参数而对人的情感状
态所做的情感检测和分析2220的框图。可以通过在具有内部和/或外部刺激的限定条件下
监视和分析人的生理指征并且评估这些生理指征在某一时间线上如何变化来检测人的情
感状态。向下分组过程的一实施例是基于一个或多个关键参数(例如,基于具有相同情感参
数的人的变化速度进行向下分组)。
在一实施例中,可以基于统计分类器通过机器学习检测情感简档,在统计分类器
中输入是信息素、激素或诸如视觉或听觉线索之类的其他特征的任何测定水平。如果该组
特征是被表示为向量的{x1,x2,x3,...xn},y表示情感状态,那么情感检测统计分类器的一
般形式为:
其中函数f是决策树、神经网络、逻辑回归量或机器学习文献中描述的其他统计分
类器。第一项使经验误差(在训练分类器时检测到的误差)最小化,第二项使复杂性(例如,
奥卡姆剃刀定律)最小化,找到最简函数以及用于该函数得到预期结果的参数集p。
此外,为了判定哪些信息素或其他特征对预测情感状态产生最大差异(添加最大
值),可以增加主动学习标准,其一般表示为:
其中,L是“损失函数”,f是与先前的公式中相同的统计分类器,带帽的y是已知结
果。我们衡量统计分类器是否通过添加新特征而具有更好的性能(更小的损失函数),如果
是,则保留这些特征,否则不保留。
通过检测从某一时刻到下一时刻的变化或变换,可以对随时间演变的参数、值和
量进行评估以创建人类情感简档。对于情感表达而言,存在可识别的量。具有对其环境进行
响应的情感的机器人可以做出更快更有效的决策,例如,在机器人受到恐惧、高兴或渴求促
动时,其可能做出更好的决策,并且更有效地并且高效率地获得目标。
机器人情感引擎单独地或者组合地复现人类激素情感和信息素情感。激素情感是
指人体内的激素如何变化以及其如何影响人的情感。信息素情感是指人体外的影响人的情
感的信息素,例如气味。可以通过理解和分析激素和信息素情感构建人的情感概况。机器人
情感引擎尝试采用传感器检测人的激素和信息素概况来理解人的情感,例如,愤怒和恐惧。
要测量九种关键生理指征参数来建立人的情感概况:(1)在体内隐匿的、触发引起
某些作用的各种生化途径的激素2221的集合,例如,肾上腺素和胰岛素都是激素;(2)外部
隐匿的、以类似方式对其他人具有影响的信息素2222的集合,例如,雄甾烯醇、雄烯酮和费
洛蒙酮;(3)微表情2223,其为人根据所经历的情感表现出的简短的不自觉的面部表情;(4)
心率2224或心跳,例如,在人的心率提高时;(5)出汗2225(例如,鸡皮疙瘩),例如,在兴奋或
紧张的状态下面部泛红和手掌出汗;(6)瞳孔扩张2226(以及虹膜括约肌、胆管括约肌),例
如,瞳孔响应于恐惧的感觉而短时间扩张;(7)反射性运动v7,其为响应于外界刺激而产生
的主要受到脊髓反射弧控制的活动/动作,例如,下颌反射;(8)体温2228;(9)压力2229。有
关这些参数在某一时间2231如何变化的分析2230可以揭示人的情感状态和概况。
图92B是示出机器人1590围绕人的情感行进行评估和学习的框图。借助于内部刺
激2242和/或外界刺激2244对参数读数进行分析2240并将其划分成情感和/或非情感响应,
例如,瞳孔对光的反射仅处于脊髓的级别上,在人处于愤怒、疼痛或恋爱中时瞳孔尺寸可能
发生变化,而不自觉的反应一般还涉及大脑。中枢神经系统兴奋剂和某些致幻药物的使用
可能引起瞳孔放大。
图93是示出人体内植入的用于检测和记录人的情感简档的端口装置2230的框图。
在测量生理指征变化时,人可通过在情感变化开始时按下具有第一标签的按钮,在情感变
化结束时再触摸具有第二标签的按钮来监视和记录一时间段的情感简档。这一过程使计算
机能够基于情感参数的变化评估和学习人的情感简档。借助于从大量用户收集到的数据/
信息,计算机对与每种情感有关的所有变化进行分类,并且从数学上找到可归因于特定情
感特性的重要并且具体的参数变化。
在用户经历情感或心情波动时,能够借助于连接至人体(在皮肤上且直接至静脉)
的端口检测和记录诸如激素、心率、排汗、信息素之类的生理参数。可以由人自己随着情感
状态的变化而确定情感变化的起始时间和终止时间。例如,人在一周之内启动了四个人工
情感周期并且创建了四条时间线,如该人所确定的,第一个周期从其标记为开始的时间到
其标记为结束的时间持续了2.8小时。第二个周期持续了2小时,第三个周期持续了0.8小
时,第四个周期持续了1.6小时。
图94A描绘了机器人人类智能引擎2250。在复现引擎1360中,存在两个主要的块,
包括训练块和应用块,两者均含有多个额外的模块,这些模块通过公共模块间通信总线72
彼此互连。人类智能引擎的训练块进一步包含若干模块,包括但不限于传感器输入模块
1404、人类输入刺激模块1402、对输入刺激做出反应的人类智能响应模块1420、智能响应记
录模块1422、质量检查模块1410以及学习机模块1412。人类智能引擎的应用块进一步包括
若干模块,包括但不限于输入分析模块1414、传感器输入模块1404、响应生成模块1416以及
反馈调整模块1418。
图94B描绘了机器人人类智能系统1136的架构。该系统被划分成认知机器人代理
和人类技能执行模块。两模块共享感测反馈数据1482以及感测到的运动数据1538和模型化
运动数据1539。认知机器人代理模块包括但不一定限于表示知识数据库1531的模块,其与
调整和修订模块1534互连,两模块均通过学习模块1535来更新。已有知识1532被馈送到执
行监视模块1536中,并且已有知识1533被馈送到自动化分析和推理模块1537中,两模块均
从人类技能执行模块接收感测反馈数据1482,两者还向学习模块1535提供信息。人类技能
执行模块由控制模块1138和模块1541两者构成,控制模块1138使其控制信号基于收集和处
理多个反馈源(可视的和可听的),模块1541具有利用标准化设备、工具和附件的机器人。
图95A描绘了机器人绘画系统1440的架构。在这一系统中既包括工作室机器人绘
画系统1441,又包括商业机器人绘画系统1445,两者通信连接1444以允许在单件购买的基
础上或者在基于订购的支付的基础上将用于机器人绘画的软件程序文件或应用从工作室
机器人绘画系统1441输送至商业机器人绘画系统1445。工作室机器人绘画系统1441包括
(人类)绘画艺术家1442和计算机1443,计算机1443接口连接到运动和动作感测装置以及绘
画框架捕获传感器,以捕获和记录艺术家的活动和过程,并将相关软件绘画文件存储到存
储器1380中。商业机器人绘画系统1445包括用户1446和计算机1447,计算机1447具有机器
人绘画引擎,该引擎能够与机器臂接口连接并且根据软件绘画文件或应用以及用于校准模
拟模型的视觉反馈来控制机器臂以重建绘画艺术家1442的活动。
图95B描绘了机器人绘画系统架构1430。该架构包括计算机1420,其与多个外部装
置接口连接,所述外部装置包括但不限于运动感测输入装置和触摸框架1424、标准化工作
站1425(包括画架1426、洗涤池1427、美工脚架1428、贮存橱1429和材料容器1430(颜料、溶
剂等))、以及标准化工具和附件(刷子、颜料等)1431、视觉输入装置(摄像机等)1432、以及
一个或多个机器臂1433。
计算机模块1420包括若干模块,所述模块包括但不限于与绘画活动模拟器1422接
口连接的机器人绘画引擎1352、基于绘画执行过程的视觉反馈起作用的绘画控制模块
1421、用于存储绘画执行程序文件的存储器模块1380、用于学习适当绘画工具的选择和使
用的算法1423、以及扩展的模拟验证和校准模块1378。
图95C描绘了机器人人类绘画技能复现引擎1352。在复现引擎1352中,有多个额外
模块,其全部通过公共的模块间通信总线72彼此互连。复现引擎进一步含有若干模块,所述
模块包括但不限于输入模块1370、绘画活动记录模块1372、辅助/额外感测数据记录模块
1376、绘画活动编程模块1374、含有软件执行过程程序文件的存储器模块1380、基于所记录
的传感器数据生成执行命令的执行过程模块1382、含有标准化绘画参数的模块1400、输出
模块1388、以及(输出)质量检查模块1378,所有的模块均受到软件维护模块1386的监督。
下面定义美术平台标准化的一实施例。第一,美术平台中的任何种类的美术工具
(刷子、颜料、画布等)的标准化位置和取向(xyz)。第二,每一美术平台中的标准化操作体积
尺寸和架构。第三,每一美术平台中的标准化美术工具集合。第四,每一美术平台中采用操
纵库的标准化机器臂和手。第五,每一美术平台中用于创建动态三维视觉数据以实现绘画
记录和执行跟踪以及质量检查功能的标准化三维视觉装置。第六,特定绘画执行过程中所
有使用颜料的标准化类型/制造商/品牌。第七,特定绘画执行过程中画布的标准化类型/制
造商/品牌。
具有标准化美术平台的一主要目的是实现最初绘画者执行的绘画过程与后来机
器人美术平台复现的绘画过程具有相同的结果(即,相同的绘画)。在标准化美术平台的使
用当中要强调的几个要点是:(1)绘画者和自动化机器人执行具有相同的时间线(相同的操
纵顺序、每一操纵有相同的起始和结束时间、在操纵之间以相同的速度移动对象);以及(2)
存在质量检查(3D视觉、传感器)以避免在绘画过程中的每一操纵后产生任何失败结果。因
此,如果绘画是在标准化美术平台上完成的,那么将降低不能取得相同结果的风险。如果采
用非标准化美术平台,那么其将增大无法取得相同结果的风险(即,无法获得相同的绘画),
因为如果在机器人美术平台中未与在绘画者工作室中在相同的体积内用相同的美术工具、
颜料或画布执行绘画,那么可能需要调整算法。
图96A描绘了工作室绘画系统和程序商业化过程1450。第一步骤1451是人类绘画
艺术家决定要在工作室机器人绘画系统中创作美术作品,其包括确定诸如主题、构成、媒
体、工具和设备等问题。艺术家在步骤1452中将所有这些数据输入到机器人绘画引擎中,其
后在步骤1453中艺术家根据需要和装置程序中的详细说明设立标准化工作站、工具和设
备、附件和材料、以及运动和可视输入装置。艺术家在步骤1454中设置过程的起始点,并打
开工作室绘画系统,而后艺术家开始实际绘画步骤1455。在步骤1456中,工作室绘画系统在
整个绘画过程中在已知的xyz坐标系中实时地记录艺术家活动的运动和视频。之后,在步骤
1457中存储在绘画工作室中收集到的数据,从而允许机器人绘画引擎基于所存储的活动和
媒体数据生成模拟程序1458。针对所创作的绘画的机器人绘画程序执行文件或应用被开发
并被整合以供不同的操作系统和移动系统使用,并且被提交给App商店或其他市场位置以
供销售,可以对其进行单次使用购买,也可基于订购来购买。
图96B描绘了机器人绘画引擎的逻辑执行流1460。作为第一步骤,用户在步骤1461
选择绘画标题,在步骤1462中机器人绘画引擎接收所述输入。机器人绘画引擎在步骤1463
中将绘画执行程序文件上载到板上存储器中,之后进行至步骤1464,计算所需工具和附件。
检查步骤1465提供有关是否存在工具或附件和材料的短缺的答案;如果存在短缺,则系统
向用户发送警报1466,或者发送购物清单或替代绘画的建议。如果不存在短缺,则引擎在步
骤1467中确认选择,允许用户继续到步骤1468,该步骤包括使用绘画执行程序文件中包含
的逐步指令设置标准化工作站、运动和视觉输入装置。一旦完成,机器人绘画引擎就执行检
查步骤1469以验证适当的设置;如果通过步骤1470检测到错误,那么系统引擎将向用户发
送错误警报1472,并且提示用户重新检查设置和校正任何所检测到的缺陷。如果检查通过,
没有检测到任何错误,则在步骤1471中引擎将确认所述设置,从而允许其在步骤1473中提
示用户设置起始点并对复现以及视觉反馈和控制系统加电。在步骤1474中,(多个)机器臂
将执行绘画执行程序文件中指定的步骤,包括如绘画程序执行文件指定的那样以相同步调
执行活动以及工具和设备的使用。视觉反馈步骤1475对照定义绘画过程的成功执行及其结
果的受控参数数据监视绘画复现过程的执行。机器人绘画引擎还采取模拟模型验证步骤
1476,从而提高复现过程的保真度,其目标是使整个复现过程达到如工作室绘画系统捕获
和保存的那样相同的最终状态。一旦完成了绘画,就将向用户发送通知1477,包括所应用的
材料(颜料、膏糊等)的干燥和固化时间。
图97A描绘了人类乐器技能复现引擎1354。在复现引擎1354中,有多个附加模块,
其全部通过公共的模块间通信总线72彼此互连。复现引擎进一步包括若干模块,所述模块
包括但不限于可听(数字)音频输入模块1370、人类乐器演奏活动记录模块1390、辅助/附加
感测数据记录模块1376、乐器演奏活动编程模块1392、含有软件执行过程程序文件的存储
器模块1380、基于所记录的传感器数据生成执行命令的执行过程模块1382、含有标准化乐
器演奏参数(例如,步调、压力、角度等)的模块1394、输出模块1388、以及(输出)质量检查模
块1378,所有模块都受软件维护模块1386监督。
图96B描绘了音乐家复现引擎1480执行的过程和逻辑流。一开始,在步骤1481中用
户选择音乐曲目和/或作曲家,之后在步骤1482中询问是由机器人引擎做出所述选择还是
通过与人交互做出所述选择。
在用户在步骤1482中选择由机器人引擎来选择曲目/作曲家的情况下,引擎在步
骤1492中采用其自身的创造性解释,从而在步骤1493中向人类用户提供机会向选择过程提
供输入。如果人类拒绝提供输入,则机器人音乐家引擎在步骤1499中采用设置,例如,对音
调、音高和乐器以及旋律变化的人工输入,在步骤1130中收集所需输入,以在步骤1501中生
成并上载所选的乐器演奏执行程序文件,在机器人音乐家引擎在步骤1502中确认了选择
后,允许用户在步骤1503中选择偏好的文件。然后在步骤1504中将人类做出的选择作为个
人选择存储到个人简档数据库中。如果人类在步骤1493中决定为所述询问提供输入,则用
户将能够在步骤1493中向选择过程提供额外的情感输入(面部表情、照片、新闻文章等)。机
器人音乐家引擎在步骤1495中接收来自步骤1494的输入,允许其进行至步骤1496,在该步
骤中所述引擎执行与所有可用输入数据有关的感情分析,并基于适合人的情感输入数据的
情绪和风格上载音乐选择。在机器人音乐家引擎在步骤1497中确认了上载的音乐选择之
后,用户可以在步骤1498中选择“开始”按钮以演奏用于该选择的程序文件。
在人类想要密切参与曲目/作曲家选择的情况中,系统在步骤1483中在显示器上
向人类提供所选曲目的表演者列表。在步骤1484中,用户选择期望的表演者,即系统在步骤
1485中接收到的选择输入。在步骤1486中,机器人音乐家引擎生成并上载乐器演奏执行程
序文件,并在步骤1487中进行到比较人类和机器人音乐家对特定乐器的演奏表现之间的潜
在限制,由此允许计算潜在表现差距。检查步骤1488判断是否存在差距。如果存在差距,那
么系统将在步骤1489中基于用户偏好简档建议其他选择。如果没有表现差距,那么机器人
音乐家引擎将在步骤1490中确认所述选择,并允许用户进行至步骤1491,用户可选择“开
始”按钮以播放用于该选择的程序文件。
图98描绘了人类护理技能复现引擎1356。在复现引擎1356中,有多个附加模块,其
全部通过公共的模块间通信总线72彼此互连。复现引擎进一步包含若干模块,所述模块包
括但不限于输入模块1370、护理活动记录模块1396、辅助/附加感测数据记录模块1376、护
理活动编程模块1398、含有软件执行过程程序文件的存储器模块1380、基于所记录的传感
器数据生成执行指令的执行过程模块1382、含有标准化护理参数的模块1400、输出模块
1388、以及(输出)质量检查模块1378,所有模块均受软件维护模块1386监督。
图99A描绘了机器人人类护理系统过程1132。第一步骤1511涉及用户(护理接受者
或家属/朋友)为护理接受者建立帐户,提供个人数据(姓名、年龄、ID等)。生物测定数据收
集步骤1512涉及收集个人数据,包括面部图像、指纹、语音样本等。之后,用户在步骤1513中
输入用于紧急联络的联系信息。机器人引擎在步骤1514中接收所有这些输入数据以建立用
户帐户和简档。如果在步骤1515中确定用户未处于远程健康监视程序下,那么作为步骤
1521的一部分,机器人引擎将帐户创建确认消息和自行下载手册文件/app发送给用户的平
板电脑、TV、智能电话或将来用作基于触摸屏或语音的命令接口的其他装置。如果用户是远
程健康监视程序的一部分,那么机器人引擎将在步骤1516中请求准许访问医疗记录。作为
步骤1517的一部分,机器人引擎连接用户的医院和医师办公室、实验室以及医疗保险数据
库以接收用户的病历、处方、治疗和就诊数据,并生成用于存储在用户特定文件内的医疗护
理执行程序。作为下一步骤1518,机器人引擎与用户的任何和所有的可佩戴医疗装置(例
如,血压监视器、脉搏和血氧传感器)连接,或甚至与电子控制药物分配系统(无论是口服的
还是注射的)连接,从而允许进行连续监视。作为后续步骤,机器人引擎接收到医疗数据文
件和感测输入,允许其在步骤1519中生成一个或多个针对该用户帐户的医疗护理执行程序
文件。下一步骤1134涉及为用户信息、日常活动、相关参数以及任何过去或将来的医疗事件
或预约建立安全的云存储数据空间。如之前在步骤1521中那样,机器人引擎将帐户创建确
认消息和自行下载手册文件/app发给用户的平板电脑、TV、智能电话或将来用作基于触摸
屏或语音的命令接口的其他装置。
图99B描绘了最初从图99A开始的机器人人类护理系统过程1132的继续,但是其现
在涉及用户环境中物理存在的机器人。作为第一步骤1522,用户开启默认配置和位置(例
如,充电站)的机器人。在任务1523中,机器人接收用户的基于语音或触摸屏的命令,从而执
行一个具体的或一组命令或动作。在步骤1524中,机器人利用用户的语音和面部识别命令
及线索、响应或行为,基于与用户的交互执行特定任务和活动,基于某些因素做出判决,所
述因素例如为基于对特定或总体情况的了解的任务紧急性或任务优先度。在任务1525中,
机器人执行对一个或多个物项的典型取回、抓住和运送,利用对象识别和环境感测、定位以
及映射算法来优化沿无障碍路径的活动以完成任务,甚至可充当化身从而为用户提供音
频/视频远程会议能力或者可与任何可控家用电器接口连接。机器人基于感测输入和用户
简档数据持续监视用户的医疗状况,并且监视潜在医疗危险状况的可能症状,同时具有将
任何可能需要及时处理的状况通知给第一应答者或家属的能力。机器人在步骤1526中持续
检查任何开放的或剩余的任务,并且时刻准备着对来自步骤1522的任何用户输入做出反
应。
图100是示出224所示的计算机装置的例子的框图,在计算机装置上可安装和运行
用于执行文中讨论的方法的计算机可执行指令。如上所述,联系本发明讨论的各种基于计
算机的装置可以共享类似的属性。24中的每个计算机装置能够执行一组指令,以使计算机
装置执行文中讨论的方法中的任何一个或多个。计算机装置12可表示任意或所有24、服务
器10或任何网络中间装置。此外,尽管只示出了单个机器,但是还应将“机器”一词理解为包
括任何机器的集合,这些机器单独地或者联合地运行一组(或者多组)指令,以执行文中讨
论的方法中的任何一种或多种。示范性计算机系统224包括处理器226(例如,中央处理单元
(CPU)、图形处理单元(GPU)或两者)、主存储器228以及静态存储器230,它们通过总线232彼
此通信。计算机系统224还可以包括视频显示单元234(例如,液晶显示器(LCD))。计算机系
统224还包括字母数字输入装置236(例如,键盘)、光标控制装置238(例如,鼠标)、盘驱动单
元240、信号生成装置242(例如,扬声器)以及网络接口装置248。
盘驱动单元2240包括机器可读介质244,其上存储一组或多组指令(例如,软件
246),所述指令实现文中描述的方法或功能中的任何一者或多者。软件246在其执行过程中
还可以完全或者至少部分地存在于主存储器244内和/或处理器226内,计算机系统224、主
存储器228和处理器226的指令存储部分属于机器可读介质。还可以经由网络接口装置248
通过网络18传输或接收软件246。
尽管在示范性实施例中将机器可读介质244示为单个介质,但是“机器可读介质”
应被理解为包含存储一组或多组指令的单个介质或多个介质(例如,集中式或分布式数据
库和/或相关高速缓存和服务器)。还应将“机器可读介质”一词理解为包含任何能够存储供
机器执行的一组指令并且使机器执行本发明的方法中的任何一者或多者的有形介质。相应
地,应当将“机器可读介质”一词理解为包括但不局限于固态存储器以及光学和磁介质。
一般而言,可以考虑一种用于机器人系统的运动捕获和分析方法,其包括在人采
用工作设备制备产品时通过多个机器人传感器感测人的活动的观测序列;在所述观测序列
中检测与在制备产品的每个阶段中实施的活动序列对应的微操纵;将所感测到的观测序列
转换为计算机可读指令,其用于对能够执行所述微操纵序列的机器人设备进行控制;至少
将用于所述微操纵的指令序列存储到电子媒介上以用于获得所述产品。这可对多种产品重
复。用于所述产品的微操纵序列优选存储为电子记录。所述微操纵可以是多阶段过程的抽
象化部分,例如,切割对象、加热对象(在烤箱内或者在炉子上用油或水加热)等。之后,所述
方法还可以包括:将用于所述产品的电子记录传输至能够与人的初始动作对应地复现所存
储的微操纵的序列的机器人设备。此外,所述方法还可包括通过机器人设备执行用于获得
该产品的微操纵的指令序列,由此获得基本上与人制备的原始产品一样的结果。
就另一个一般方面而言,可以考虑一种操作机器人设备的方法,包括提供用于标
准微操纵的预编程指令的序列,其中,每一微操纵生成产品制备阶段内的至少一个可识别
结果;在人采用设备制备产品的同时通过多个机器人传感器感测与人的活动对应的观测序
列;在所述观测序列中检测标准微操纵,其中一微操纵对应于一个或多个观测,并且所述微
操纵的序列对应于产品的制备;基于用于软件实现的方法将观测序列转变为机器人指令,
所述软件实现的方法用于基于所感测的人的活动的序列识别预编程标准微操纵的序列,每
个微操纵包含机器人指令的序列,机器人指令包括动态感测操作和机器人动作操作;将微
操纵的序列及其对应的机器人指令存储到电子媒介中。优选地,产品的指令序列和对应的
微操纵被存储为用于制备该产品的电子记录。这可以针对多种产品重复。所述方法还可以
包括将所述指令的序列(优选以电子记录的形式)传输给能够复现和执行机器人指令序列
的机器人设备。此外,所述方法还可以包括通过机器人设备执行用于该产品的机器人指令,
由此获得基本上与人制备的原始产品一样的结果。在针对多种产品重复所述方法的情况
下,所述方法可以额外包括提供一个或多个产品的电子描述的库,其包括产品名称、产品食
材以及由所述食材制作产品的方法(例如,菜谱)。
另一个一般化方面提供一种操作机器人设备的方法,其包括接收用于制作产品的
指令集,该指令集包括一系列与人的原始动作对应的微操纵的指示,每个指示包括机器人
指令的序列,机器人指令包括动态感测操作和机器人动作操作;将所述指令集提供给能够
复现所述微操纵的序列的机器人设备;通过机器人设备执行用于所述产品的微操纵的指令
的序列,由此获得基本上与人制备的原始产品一样的结果。
可以从不同的角度考虑另一种操作机器人设备的一般化方法,其包括执行用于复
现具有多个产品制备活动的菜谱的机器人指令脚本;判断每一制备活动是被识别为标准工
具或标准对象的标准抓取动作,标准手操纵动作或对象,还是非标准对象;对于每一制备活
动而言,下述操作中的一者或多者:如果制备活动涉及标准对象的标准抓取动作,那么指示
机器人烹饪装置访问第一数据库库;如果食物制备活动涉及标准手操纵动作或对象,那么
指示机器人烹饪装置访问第二数据库库;如果食物制备活动涉及非标准对象,那么指示机
器人烹饪装置建立该非标准对象的三维模型。尤其可以在计算机系统中或者由计算机系统
实施所述判断和/或指示步骤。所述计算系统可以具有处理器和存储器。
另一方面可见于一种通过机器人设备制备产品的方法中,其包括通过由机器人设
备制备产品(例如,食物菜肴)而复现菜谱,所述菜谱被分解为一个或多个制备阶段,每个制
备阶段被分解为微操纵和活动基元的序列,每个微操纵被分解为动作基元的序列。优选地,
每个微操纵已被(成功地)测试以在考虑到适用对象以及一种或多种适用食材的位置、取
向、形状的任何变化的情况下使该微操纵获得最佳结果。
另一方法方面可以在于一种生成菜谱脚本的方法,其包括接收来自诸如厨房环境
之类的标准化工作环境模块的环境内的传感器的过滤了的原始数据;由所述过滤了的原始
数据生成脚本数据的序列;以及将脚本数据的序列转换为用于制备产品的机器可读和机器
可执行命令,所述机器可读和机器可执行命令包括用于控制一对机器臂和手以执行功能的
命令。所述功能可以选自包括一个或多个烹饪阶段、一个或多个微操纵以及一个或多个动
作基元的组。还可以考虑一种菜谱脚本生成系统,其包括配置为根据该方法操作的硬件和/
或软件特征。
就这些方面的任何方面而言,可以考虑下述事项。产品的制备通常采用食材。执行
指令通常包括感测产品制备当中采用的食材的属性。产品可以是根据(食物)菜谱(其可以
保持在电子描述中)的食物菜肴,人可以是厨师。工作设备可以包括厨房设备。这些方法可
以结合文中描述的其他特征中的一者或多者使用。可以结合各个方面的特征之一、所述特
征中的不止一个或者所有的特征,从而(例如)使来自某一方面的特征可以与另一方面相结
合。每一方面都可以是计算机实现的,并且可以提供一种被配置为在通过计算机或处理器
运行时执行每一方法的计算机程序。可以将每一计算机程序存储到计算机可读介质上。附
加地或替代地,所述程序可以是部分或完全硬件实现的。可以使各个方面相结合。还可以提
供一种被配置为根据联系这些方面中的任何方面描述的方法工作的机器人系统。
在另一方面中,可以提供一种机器人系统,其包括:能够在第一仪器化环境内观测
人的运动并生成人运动数据的多模态感测系统;以及通信耦合至多模态感测系统的用于记
录从多模态感测系统接收到的人运动数据并对人运动数据进行处理以提取运动基元从而
优选使运动基元定义机器人系统的操作的处理器(其可以是计算机)。运动基元可以是微操
纵,如文中所述(例如,紧挨着的在先段落当中),并且可以具有标准格式。运动基元可以定
义具体类型的动作和某一类型的动作的参数,例如,具有定义的起始点、终点、力和抓握类
型的牵拉动作。任选地,还可以提供通信耦合至处理器和/或多模态感测系统的机器人设
备。机器人设备可以能够采用运动基元和/或人运动数据在第二仪器化环境内复现所观测
到的人的运动。
就另一方面而言,可以提供一种机器人系统,其包括:用于接收定义机器人系统的
操作的运动基元的处理器(其可以是计算机),所述运动基元是基于从人的运动捕获的人运
动数据的;以及通信耦合至处理器的能够采用运动基元在仪器化环境内复现人的运动的机
器人系统。应理解,还可以使这些方面相结合。
另一方面可见于一种机器人系统中,其包括:第一和第二机器臂;第一和第二机器
手,每只手具有耦合至相应的臂的腕,每只手具有手掌和多个关节连接的手指,相应手上的
每一关节连接指具有至少一个传感器;以及第一和第二手套,每只覆盖相应手的手套具有
多个嵌入的传感器。优选地,所述机器人系统是机器人厨房系统。
在一不同但相关的方面中还可以提供一种运动捕获系统,其包括:标准化工作环
境模块,优选为厨房;多个具有配置为物理耦接至人的第一类型传感器和配置为与人分隔
开的第二类型传感器的多模态传感器。可以是下述情况中的一种或多种:第一类型的传感
器可用于测量人附属肢体的姿势以及感测人附属肢体的运动数据;第二类型的传感器可用
于确定环境、对象、活动、以及人附属肢体的位置中的一个或多个的三维配置的空间配准;
第二类型的传感器可配置为感测活动数据;标准化工作环境可具有与第二类型的传感器接
口连接的连接器;第一类型的传感器和第二类型的传感器测量运动数据和活动数据,并将
运动数据和活动数据两者都发送至计算机,从而对其进行存储和处理,以供产品(例如,食
物)制备之用。
附加地或替代地,一个方面可以在于包覆有感测手套的机器手,其包括:五个手
指;以及连接至五个手指的手掌,所述手掌具有内部关节和处于三个区域内的可形变表面
材料;第一可形变区域设置在手掌的桡骨侧并且接近拇指的基部;第二可形变区域设置在
手掌的尺骨侧并且与桡骨侧隔开;第三可形变区域设置在手掌上并且跨越各手指的基部延
伸。优选地,第一可形变区域、第二可形变区域和第三可形变区域的组合以及内部关节协同
工作,以执行微操纵,尤其是用于食物制备的微操纵。
就上述系统、装置或设备方面中的任何方面而言,还可以提供包括用以执行系统
的功能的步骤的方法。附加地或替代地,可以在文中相对于其他方面描述的特征中的一者
或多者的基础上发现任选的特征。
表A:设备类型
表B:食材类型
表C:食物制备方法和设备,烹饪法和基材(Bases)列表
食物制备方法列表
l;“0”;“炒”
2;“0”;“煮”
3;“0”;“炖”
4;“0”;“烘培”
5;“0”;“切”
设备列表
1;“0”;“厨房附件”
2;“1”;“漏斗”
3;“2”;“不锈钢漏斗”
4;“2”;“塑料漏斗”
5;“2”;“硅胶漏斗”
6;“2”;“可转换漏斗”
7;“1”;“过滤器”
8;“7”;“二次过滤器”
9;“7”;“椭圆勺子-花瓶”
10;“7”;“有可折叠把手的过滤器”
11;“7”;“平底过滤器”
12;“7”;“塑料过滤器”
13;“7”;“圆型小过滤器”
14;“7”;“悬挂过滤器”
15;“7”;“封盖过滤器”
16;“7”;“不锈钢和铝过滤器”
17;“7”;“锥形过滤器”
18;“1”;“厨房器具”
19;“18”;“搅拌器”
20;“18”;“量勺,铲子”
21;“20”;“炒菜铲”
22;“20”;“有槽的铲子”
23;“20”;“糖果铲”
24;“18”;“勺”
25;“24”;“用餐勺”
26;“24”;“勺-夹子”
27;“24”;“有槽的勺”
28;“24”;“大米勺”
29;“24”;“长柄勺”
30;“24”;“冰激凌勺”
31;“24”;“蜂蜜勺”
32;“24”;“意粉勺”
33;“24”;“用餐勺”
34;“18”;“用于曲奇和奶油的裱花模具”
35;“18”;“长柄汤勺”
36;“18”;“马铃薯搅碎机”
37;“18”;“漏勺”
38;“18”;“肉叉”
39;“18”;“刷子”
40;“18”;“咖啡过滤器”
41;“18”;“搅拌器”
42;“18”;“硅胶刷”
43;“18”;“硅胶取汁器”
44;“18”;“陶碟”
45;“18”;“滤茶器”
46;“18”;“压泵式出油器或出醋器”
47;“18”;“硅胶勺的锅边夹”
48;“18”;“用于沙拉的花式勺”
49;“18”;“取樱桃籽的用具”
50;“18”;“洗碗池垫子”
51;“18”;“卷带”
52;“18”;“面团迷你刮板”
53;“18”;“烧烤钳”
54;“18”;“意粉钳”
55;“18”;“冰块钳”
56;“18”;“糖块钳”
57;“18”;“包装袋夹具”
58;“18”;“包装袋夹具”
59;“18”;“柑橘喷雾器(citrus spray)”
60;“18”;“压面机”
61;“18”;“大容量勺(scoop for bulk)”
62;“18”;“沙拉夹(夹钳)”
63;“18”;“管道附件(accessories for tubes)”
64;“18”;“杵”
65;“18”;“研钵”
66;“18”;“环切滚子”
67;“18”;“开盖器”
68;“18”;“肉品嫩化剂;肉品软化剂”
69;“18”;“蛋黄分离器”
70;“18”;“围裙”
71;“18”;“装饰工具”
72;“18”;“装油和醋的罐子”
73;“18”;“装沸牛奶的马克杯”
74;“18”;“餐巾纸”
75;“18”;“桌布”
76;“18”;“用于玻璃的标记笔”
78;“18”;“篮子”
79;“18”;“肉品嫩化剂”
80;“18”;“炖锅”
81;“18”;“洗蔬菜的刷子”
82;“18”;“杯盖”
83;“18”;“烘焙绳”
84;“18”;“香料贮藏罐”
86;“18”;“玻璃陶瓷盘刮板”
87;“18”;“茶壶”
88;“18”;“冰箱贴的夹子”
89;“18”;“栏杆系统”
90;“18”;“厨房用具的挂架”
91;“18”;“无粘着表面的柱塞”
92;“18”;“硅胶柱塞”
93;“18”;“厚度可调的擀面杖”
94;“18”;“带有泵的真空袋”
95;“18”;“气体打火机”
96;“18”;“骨钳”
97;“1”;“厨房计时器温度计”
98;“97”;“烤肉计时器”
99;“97”;“数字温度计”
100;“97”;“温度计支架”
101;“97”;“肉品用温度计”
102;“97”;“数字计时器”
103;“97”;“电子数字计时器”
104;“97”;“焦糖温度计”
105;“1”;“香料研磨器”
106;“105”;“黑胡椒研磨器”
107;“105”;“电动研磨器”
108;“105”;“胡椒/盐混合研磨器(2合一)”
109;“105”;“香料研磨器”
110;“105”;“青菜辊压机(mill for greens)”
111;“1”;“测量用具”
112;“111”;“带刻度的容器(塑料瓶)”
113;“111”;“带刻度的瓶”
114;“111”;“带刻度的罐”
115;“111”;“带刻度的碗”
116;“111”;“机械出冰淇淋器”
117;“1”;“机械搅拌器”
118;“1”;“碗”
119;“118”;“金属碗”
120;“118”;“不锈钢碗”
121;“118”;“塑料碗”
122;“118”;“塑料碗”
123;“118”;“装饰物的碗”
124;“1”;“套件”
125;“124”;“酒具套件”
126;“124”;“香料套件”
127;“124”;“烤蛋糕套件”
128;“124”;“烘焙盒”
129;“124”;“酒吧用具套件”
130;“124”;“厨房用具套件”
131;“124”;“鸡蛋和烙饼套件”
132;“1”;“切丝和切块”
133;“132”;“切割用具”
134;“132”;“切洋葱的支座”
135;“132”;“切菜板”
136;“132”;“多用途专业刀具”
137;“132”;“厨房大剪刀”
138;“132”;“短柄小斧”
139;“132”;“剁肉斧”
140;“132”;“带小斧的肉锤”
141;“132”;“剥离铲”
142;“132”;“锤肉的锤子”
143;“132”;“刀”
144;“143”;“菜刀”
145;“143”;“切橘子的刀”
146;“143”;“切猕猴桃的刀”
147;“143”;“切菠萝的刀”
148;“143”;“切胡萝卜的螺旋刀”
149;“143”;“多功能刀”
150;“143”;“菜刀”
151;“143”;“切批萨的刀”
152;“143”;“万用刀”
153;“143”;“切片刀”
154;“143”;"“厨师刀(cook knife)”
155;“143”;“美食刀(gastronomic knife)”
156;“143”;“开瓶器”
157;“143”;“奶酪刀”
158;“143”;“剔骨刀”
159;“143”;“切生菜的刀”
160;“143”;“切肋排的刀”
161;“143”;“屠夫刀”
162;“143”;“切碎刀”
163;“143”;“切面包的刀”
164;“143”;“鱼刀”
165;“143”;“切三明治的刀”
166;“143”;“三德刀”
167;“143”;“去果核的刀”
168;“143”;“切黄油的刀”
169;“169”;“开瓶器”
170;“169”;“罐头开瓶器”
171;“169”;“螺旋开瓶器”
172;“169”;“立式螺旋开瓶器”
173;“169”;“杠杆螺旋开瓶器”
174;“169”;“折叠式螺旋开瓶器”
175;“169”;“侍者专用开瓶器”
178;“494”;“加温台”
179;“494”;“厨房用具存放台”
180;“494”;“牙签架”
181;“494”;“瓶架”
182;“494”;“装小容器的架子”
183;“494”;“勺子架”
184;“494”;“装咖啡胶囊的支座”
185;“494”;“杯垫”
186;“494”;“纸巾支座”
187;“494”;“鸡蛋支座”
188;“494”;“开瓶器支座”
189;“494”;“铲子支座”
190;“494”;“煮蛋和盛蛋的支座”
191;“494”;“长柄杓支座”
192;“494”;“纸巾支座”
193;“494”;“厨房用具转换支座”
194;“494”;“马克杯座”
195;“494”;“马克杯座和杯垫”
196;“494”;“厨房刀具架”
197;“494”;“鸡的支座”
198;“494”;“餐巾纸架”
199;“494”;“加热了的支座”
200;“494”;“蛋糕托”
201;“1”;“剥皮和切割的工具”
202;“201”;“擦菜器”
203;“305”;“摩擦器”
204;“201”;“压蒜器”
205;“201”;“切蛋器”
206;“201”;“手动蔬菜擦菜器”
207;“201”;“蔬菜削皮器”
208;“201”;“坚果钳”
209;“201”;“蛋黄蛋白分离器”
210;“201”;“洗胡萝卜的把手
211;“201”;“刮鳞器”
212;“201”;“水果切刀”
213;“201”;“钻孔器”
214;“201”;“鱼骨钳”
215;“201”;“旋转切蔬菜的器具”
216;“1”;“瓶帽”
217;“216”;“香槟酒瓶软木塞(瓶塞)”
218;“216”;“葡萄酒瓶塞”
219;“216”;“取带冠瓶塞的开瓶器”
220;“1”;“筛子”
221;“220”;“茶叶筛”
222;“220”;“带钳子的茶叶筛”
223;“220”;“香料滤网”
224;“220”;“茶叶滤网”
225;“220”;“通用筛”
226;“220”;“面粉筛”
228;“220”;“内插网格的中国式筛子”
229;“220”;“带支架的筛子”
230;“220”;“用于面粉的大口筛子”
231;“220”;“把手上的筛子”
232;“1”;“盐和胡椒的振动器”
233;“282”;“装调料的容器”
234;"232";“盐罐”
235;"232";“装油和醋的容器”
236;“1”;“盘子干燥器”
237;"236";“沙拉干燥器”
238;"236";“干燥器-餐垫”
239;"236";“用于陶器和餐具的干燥器”
240;“1”;“餐具附件”
241;“240”;“餐具托盘”
242;“240”;“餐具支架”
243;“240”;“装餐具的容器”
244;“240”;“餐具滤水架”
245;“240”;“挂厨房用具的墙架”
246;“240”;“餐具收纳装置”
247;“240”;“餐具垫”
248;“240”;“用于餐具的滑动托盘”
249;“240”;“餐具干燥器”
250;“240”;“用于餐具的玻璃”
251;“240”;“擦餐具的纸”
252;“240”;“装餐具的箱子”
253;“240”;“用于餐具的托盘”
254;“240”;“编织的隔热垫”
255;“240”;“装餐具的盒子”
256;“240”;“符合餐具大小的支架(卡式)”
257;“240”;“不带装餐具的容器的底座”
258;“240”;“餐具卡槽”
259;“240”;“装餐具的容器”
260;“240”;“餐具收纳空间”
261;“240”;“搁餐具的架子”
262;“1”;“调酒用具”
263;“262”;“吸管”
264;“262”;“搅棒”
266;“496”;“制冰模具”
267;“496”;“儿童用的模具”
268;“496”;“有具体形状的模具”
269;“496”;“饺子模具”
271;“497”;“能测量的容器”
272;“497”;“带有分配器的用于混合的容器”
273;“497”;“有漏斗的能测量的容器”
274;“497”;“烧杯”
275;“497”;“勺”
276;“1”;“厨房剪刀”
277;“276”;“BBQ剪刀”
278;“276”;“带开瓶器的厨房剪刀”
279;“276”;“用于青菜的剪刀”
280;“276”;“厨房多用剪”
281;“276”;“用于禽类的厨房剪刀”
282;“1”;“储存用具”
283;“282”;“储存容器”
284;“282”;“装液体香料油的瓶子”
285;“282”;储存罐
286;“282”;“午餐盒”
287;“282”;“可折叠午餐盒”
288;“282”;“大体积食品的密封储存罐”
289;“282”;“喷油/醋壶”
290;“282”;“装大体积食品的罐子”
291;“282”;“装香料的容器”
293;“282”;“装茶的容器”
294;“1”;“隔热用具”
295;“294”;“热炉-手套”
296;“294”;“硅胶隔热垫”
297;“294”;“摆餐盘的布垫”
298;“1”;“带钩的挂架”
299;“1”;“硅胶大垫子”
300;“299”;“烘培垫”
301;“299”;“烤蛋糕用的垫子”
302;“299”;“使玻璃器皿干燥时用的垫子”
303;“299”;“烹饪垫”
304;“299”;“使餐盘干燥时用的垫子”
305;“1”;“擦菜器,挤压器,摩擦器”
306;“305”;“带手柄的擦菜器”
308;“305”;“多功能擦菜器”
309;“305”;“碎菜器”
310;“305”;“青菜粉碎器”
311;“305”;“大蒜粉碎器”
312;“305”;“西红柿切片器”
313;“305”;“带转鼓的擦菜器”
314;“305”;“通用研磨装置”
315;“305”;“机械擦菜器”
316;“305”;“大蒜去皮管”
317;“305”;“摩擦器”
318;“305”;“蔬菜压榨器”
319;“305”;“压蒜器”
320;“305”;“汉堡挤压器”
321;“1”;“磨刀器”
322;“321”;“电动磨刀器”
323;“321”;“磨刀石”
324;“321”;“陶瓷磨刀器”
325;“1”;“面包盒”
326;“1”;“带腿格架”
327;“339”;“扁平餐具(Flatware)”
328;“327”;“酒具”
329;“540”;“干邑白兰地套件,带计量器”
330;“540”;“玻璃纪念杯”
331;“540”;“玻璃制品”
332;“540”;“冰桶”
333;“540”;“烈酒杯”
334;“540”;“香槟桶”
335;“540”;“盛酒的玻璃杯(wine glasses)”
336;“540”;“玻璃水瓶(decanter)”
337;“540”;“托盘”
338;“540”;“酒瓶底的支座”
339;“327”;餐桌上的餐具
340;“339”;“上第一道菜的盘子”
341;“339”;“盛肉汤的盘子”
342;“339”;“盛肉汤的碗”
343;“339”;“注油壶”
344;“339”;“圆碟”
345;“339”;“鸭锅”
346;“339”;“用于巧克力火锅的套件”
347;“339”;“用于奶酪火锅的套件”
348;“339”;“沙拉碗”
349;“339”;“蛋糕碟”
350;“339”;“分格子的盘”
351;“339”;“餐具套件”
352;“339”;“用餐的勺子和叉子”
353;“339”;“带盖子的碟子”
354;“339”;“蒸汽台”
355;“374”;“冰激凌碗”
357;“339”;“浅碟”
358;“339”;“果酱碟”
359;“339”;“芥末罐”
360;“339”;“胡椒罐”
361;“339”;“灰筒”
362;“339”;“嵌有深台的板”
363;“339”;“装正菜的盘子”
364;“339”;“装小吃的盘子”
365;“339”;“装甜点的大肚盘”
366;“339”;“装甜点的盘子”
367;“339”;“装馅饼的盘子”
368;“339”;“辣根锅”
369;“327”;“餐桌用品”
370;“369”;“餐桌上餐具的垫子”
371;“369”;“就餐用的软垫”
372;“369”;“就餐用的托盘”
373;“369”;“玻璃燃烧器”
374;“327”;“盛茶、咖啡、甜品的碟子”
375;“374”;“糖碗”
376;“374”;“马克杯”
377;“374”;“马克杯带茶壶”
378;“374”;“马克杯带底座”
379;“374”;“带盖马克杯”
380;“374”;“茶具”
381;“374”;“盘子”
382;“374”;“法式挤压机”
383;“374”;“茶壶”
384;“374”;“茶壶带过滤器”
385;“374”;“玻璃茶壶”
387;“374”;“多用途大瓶”
388;“540”;“玻璃器皿”
389;“374”;“汤碗”
390;“374”;“柳条筐”
391;“374”;“3层大瓶”
393;“374”;“纸巾滚架”
394;“374”;“水果篮”
395;“374”;“桌面垃圾筐”
396;“374”;“饼干碟”
397;“374”;“糖果碟”
398;“374”;“咖啡具”
399;“327”;“刀具”
437;“0”;“厨房用具”
438;“437”;“烤架”
439;“437”;“搅拌机研磨器”
440;“437”;“咖啡机”
441;“437”;“咖啡研磨机”
442;“437”;“食物加工机”
443;“437”;“混合器”
444;“437”;“迷你炉”
445;“437”;“多头灶”
446;“437”;“绞肉机”
447;“437”;“蒸锅”
448;“437”;“拉克雷特烤架”
449;“437”;“榨汁机”
450;“437”;“烤面包机”
451;“437”;“煮蛋器”
452;“437”;“电灶”
453;“437”;“电磁炉”
454;“437”;“电热水壶”
455;“437”;“热水瓶”
456;“437”;“制面包机”
457;“437”;“微波炉”
458;“437”;“厨房秤”
459;“437”;“电烘干机”
461;“0”;“儿童餐盘”
462;“461”;“儿童烘焙套件”
463;“461”;“儿童刀具”
464;“461”;“儿童暖瓶”
465;“461”;“儿童餐盘套件”
488;“437”;“油炸锅”
491;“339”;“烘焙板(baking sheet)”
494;“1”;“底座和支架”
495;“220”;““鸟巢”状筛子”
496;“1”;“模具”
497;“1”;“能测量的容器”
498;“339”;“锅”
499;“339”;“煎锅”
500;“437”;“电磁炉能用的炊具”
501;“437”;“果汁炊具”
502;“437”;“奶品炊具”
503;“437”;“盖/闪屏”
504;“437”;“微波炉炊具”
505;“437”;“火盆烘烤炉(Braziers roasters)”
506;“437”;“Turk(土耳其餐具)”
507;“437”;"Dumpling(manti)餐具"
508;“437”;“套件”
509;“437”;“Samovars(俄式茶壶)”
510;“437”;“kasans”
511;“437”;“电炉”
512;“437”;“煲锅(平底)”
513;“512”;“煲锅(平底)带不粘涂层”
514;“512”;“铝制煲锅(平底)”
515;“512”;“不锈钢煲锅(平底)”
516;“512”;“搪瓷煲锅(平底)”
517;“512”;“涂特氟龙的煲锅(平底)”
518;“512”;“耐热玻璃煲锅(平底)”
519;“512”;“长柄杓(ladles)”
520;“512”;“陶瓷煲锅(平底)”
521;“512”;“煲锅(平底)套件”
522;“512”;“压力锅”
523;“512”;“平底蒸锅”
524;“512”;“电磁炉煲锅”
525;“512”;“平底炒锅”
526;“512”;“铸铁煲锅(大肚锅)”
527;“512”;“钛煲锅”
528;“437”;“长柄平底煎锅”
529;“528”;“有陶瓷涂层的平底煎锅”
530;“528”;“有不粘涂层的平底煎锅”
531;“528”;“有可取下的手柄的平底煎锅”
532;“528”;“双耳炖锅(Stewpots)”
533;“528”;“烤架专用平底煎锅”
534;“528”;“炒菜锅(Wok)”
535;“528”;“做薄饼的平底锅”
536;“528”;“平底电炒锅”
537;“528”;“长柄平底铸铁煎锅”
538;“528”;“多用途煎锅”
539;“528”;“钛煎锅”
540;“437”;“饮具(Drinkware)”
541;“540”;“玻璃喝酒杯”
542;“540”;“玻璃制喝水杯”
543;“540”;“玻璃制啤酒杯”
544;“540”;“小桶(Kegs)”
545;“540”;“玻璃水瓶(Carafes)”
546;“540”;“玻璃水瓶(Decanters)”
547;“540”;“水壶(Jugs)”
548;“540”;“Shots”
549;“540”;“玻璃制香槟酒杯”
550;“540”;“玻璃制白兰地/干邑酒杯”
551;“540”;“玻璃制鸡尾酒/马爹利酒杯”
烹饪风格列表
1;“0”;“阿布哈齐亚”
2;“0”;“澳大利亚”
3;“0”;“奥地利”
4;“0”;“阿塞拜疆”
5;“0”;“阿尔巴尼亚”
6;“0”;“阿尔及利亚”
7;“0”;“美国”
8;“0”;“英国”
9;“0”;“阿拉伯”
10;“0”;“阿根廷”
11;“0”;“亚美尼亚”
12;“0”;“巴什基尔”
13;“0”;“白俄罗斯”
14;“0”;“比利时”
15;“0”;“保加利亚”
16;“0”;“波斯尼亚”
17;“0”;“巴西”
18;“0”;“匈牙利”
19;“0”;“委内瑞拉”
20;“0”;“越南”
21;“0”;“希腊”
22;“0”;“格鲁吉亚”
23;“0”;“丹麦”
24;“0”;“犹太”
25;“0”;“以色列”
26;“0”;“印度”
27;“0”;“印度尼西亚”
28;“0”;“约旦”
29;“0”;“伊拉克”
30;“0”;“伊朗”
31;“0”;“爱尔兰”
32;“0”;“冰岛”
33;“0”;“西班牙”
34;“0”;“意大利”
35;“0”;“柬埔寨”
36;“0”;“加拿大”
37;“0”;“塞浦路斯”
38;“0”;“中国”
39;“0”;“哥伦比亚”
40;“0”;“韩国”
41;“0”;“克里奥尔”
42;“0”;“哥斯达黎加”
43;“0”;“拉脱维亚”
44;“0”;“黎巴嫩”
45;“0”;“利比亚”
46;“0”;“立陶宛”
47;“0”;“马其顿”
48;“0”;“马来西亚”
49;“0”;“摩洛哥”
50;“0”;“墨西哥”
51;“0”;“摩尔达维亚”
52;“0”;“蒙古”
53;“0”;“德国”
54;“0”;“荷兰”
55;“0”;“新西兰”
56;“0”;“挪威”
57;“0”;“奥塞特”
58;“0”;“巴基斯坦”
59;“0”;“巴勒斯坦”
60;“0”;“巴拿马”
61;“0”;“秘鲁”
62;“0”;“波兰”
63;“0”;“葡萄牙”
64;“0”;“罗马尼亚”
65;“0”;“俄罗斯”
66;“0”;“塞尔维亚”
67;“0”;“新加坡”
68;“0”;“叙利亚”
69;“0”;“斯洛伐克”
70;“0”;“斯洛文尼亚”
71;“0”;“泰国”
72;“0”;“鞑靼”
73;“0”;“西藏”
74;“0”;“突尼斯”
75;“0”;“土耳其”
76;“0”;“土库曼”
77;“0”;“乌克兰”
78;“0”;“菲律宾”
79;“0”;“芬兰”
80;“0”;“法国”
81;“0”;“克罗地亚”
82;“0”;“黑山”
83;“0”;“捷克”
84;“0”;“智利”
85;“0”;“楚瓦什”
86;“0”;“楚科奇”
87;“0”;“瑞典”
88;“0”;“瑞士”
89;“0”;“苏格兰”
90;“0”;“厄尔多瓦”
91;“0”;“爱沙尼亚”
92;“0”;“日本”
93;“0”;“原始食物饮食”
94;“0”;“欧洲”
95;“0”;“国际”
96;“0”;“多国”
97;“0”;“无脂肪”
98;“0”;“高加索”
99;“0”;“儿童”
基材列表:
l;“0”;“肉及肉制品”
2;“1”;“五香熏牛肉”
3;“1”;“肥肉”
4;“1”;“烟熏熟胸肉”
5;“1”;“野兔肉”
6;“1”;“带皮鸭”
7;“1”;“香肠”
8;“1”;“各种香肠”
9;“1”;“香肠“狩猎聚会””
10;“1”;“马肉”
11;“1”;“骨头带骨髓”
12;“1”;“鱼子”
13;“1”;“家兔肉”
14;“1”;“肉”
15;“1”;“麋鹿肉”
16;“1”;“鹿肉”
17;“1”;“肝”
18;“1”;“肾”
19;“1”;“熏肋排”
20;“1”;“萨拉米”
21;“1”;“各种香肠”
22;“1”;“思华力肠”
23;“1”;“各种香肠”
24;“1”;“匈牙利烟熏培根”
25;“1”;“肥尾培根”
26;“1”;“牛排”
27;“1”;“肋眼牛排”
28;“1”;“肉馅”
29;“1”;“鳄鱼片”
30;“1”;“Jamon”
31;“1”;“Choriso(西班牙香肠)”
32;“1”;“Skewers(串烧)”
33;“1”;“Sowbelly”
34;“1”;“鹿舌”
35;“1”;“羊肉”
36;“35”;“羊胸”
37;“35”;“羊肾”
38;“35”;“羊肉片”
39;“35”;“小牛牛脑”
40;“35”;“羔羊火腿”
41;“35”;“小牛火腿”
42;“35”;“羊腿”
43;“35”;“羔羊羊腱子”
44;“35”;“羊内脏”
45;“35”;“小牛肾”
46;“35”;“羊排”
47;“35”;“奶牛牛肝”
48;“35”;“小牛牛心”
49;“35”;“羊睾丸”
50;“35”;“小牛牛肉”
51;“35”;“小牛脸颊肉(veal cheeks)”
52;“35”;“羊肉馅”
53;“35”;“小牛牛肉馅”
54;“35”;“小牛牛尾”
55;“35”;“小牛牛舌”
56;“35”;“牛宝”
57;“1”;“牛肉”
58;“57”:“牛胸”
59;“57”;“”
60;“57”;牛肉(上腰)
61;“57”;带骨牛肉
62;“57”;牛眼肉
63;“57”;牛腿
64;“57”;牛肉火腿
65;“57”;牛肝
66;“57”;牛排
67;“57”;牛心
68;“57”;牛肉馅
69;“57”;牛尾
70;“57”;牛舌
71;“1”;“猪肉”
72;“71”;“培根”
73;“71”;“熏培根”
74;“71”;“猪肉”
75;“71”;“火腿”
76;“71”;“猪胸”
77;“71”;“熏猪五花肉”
78;“71”;“猪肠”
79;“71”;“猪腿”
80;“71”;“野猪火腿”
81;“71”;“猪肉火腿”
82;“71”;“猪排”
83;“71”;“猪肘子”
84;“71”;“肥肉”
85;“71”;“猪肉(猪脖或猪腰)”
86;“71”;“猪耳”
87;“71”;“猪肉馅”
88;“71”;“猪尾”
89;“71”;“猪舌”
90;“0”;“禽肉”
91;“90”;“garshnep”
92;“90”;“火鸡胸”
93;“90”;“小鸡胸”
94;“90”;“熏小鸡胸”
95;“90”;“鸭胸”
96;“90”;“鹅”
97;“90”;“小鸡鸡心”
98;“90”;“火鸡”
99;“90”;“火鸡鸡翅”
100;“90”;“小鸡鸡翅”
101;“90”;“小鸡”
102;“90”;“熏小鸡”
103;“90”;“松鸡”
104;“90”;黑鸭
105;“90”;“鸭腿”
106;“90”;“乌鸦腿”
107;“90”;“小鸡鸡腿”
108;“90”;“小鸡火腿”
109;“90”;“鹌鹑”
110;“90”;“小鸡鸡肝”
111;“90”;“小鸡鸡杂”
112;“90”;“松鸡”
113;“90”;“小鸡鸡心”
114;“90”;“鸭”
115;“90”;“熏鸭”
116;“90”;“山鸡”
117;“90”;“鸡肉馅”
118;“90”;“鸡肉”
119;“90”;“鹅肝”
120;“90”;“小鸡”
121;“90”;“烧鸡”
122;“90”;“鸭脖”
123;“0”;“鱼和海产品”
124;“123”;“凤尾鱼”
125;“123”;“北极红点鲑”
126;“123”;“鲻鱼”
127;“123”;“黑海虾虎鱼”
128;“123”;“虾头”
129;“123”;“鲳鱼”
130;“123”;“扇贝”
131;“123”;“剑鱼”
132;“123”;“ruff”
133;“123”;“鱼子酱”
134;“123”;“红鱼子酱”
135;“123”;“Tobiko鱼子酱”
136;“123”;“鱿鱼”
137;“123”;“比目鱼”
138;“123”;“墨鱼”
139;“123”;“鲤鱼”
140;“123”;“小鲱鱼”
141;“123”;“胡瓜鱼”
142;“123”;“蟹棒”
143;“123”;“虾”
144;“123”;“王虾”
145;“123”;“沙拉虾”
146;“123”;“虎虾”
147;“123”;“鳊鱼”
148;“123”;“三文鱼”
149;“123”;“熏三文鱼”
150;“123”;“贻贝”
151;“123”;“带壳贻贝”
152;“123”;“鳕鱼类”
153;“123”;“贝类”
154;“123”;“海产”
155;“123”;“海鱼”
156;“123”;“龙利鱼”
157;“123”;“蟹肉”
158;“123”;“磷虾肉”
159;“123”;“江鳕”
160;“123”;“蛙腿”
161;“123”;“河鲈鱼”
162;“123”;“龙虾”
163;“123”;“加拿大白鲑”
164;“123”;“鲟鱼”
165;“123”;“章鱼”
166;“123”;“小章鱼”
167;“123”;“虾肉汤”
168;“123”;“大比目鱼”
169;“123”;“鲶鱼属”
170;“123”;“鱼肝油”
171;“123”;“黑线鳕”
172;“123”;“小龙虾”
173;“123”;“干甲壳动物”
174;“123”;“热熏鱼”
175;“123”;“腌红鱼”
176;“123”;“旗鱼”
177;“123”;“秋刀鱼”
178;“123”;“沙丁鱼”
179;“123”;“鲱鱼”
180;“123”;“三文鱼”
181;“123”;“熏三文鱼”
182;“123”;“腌三文鱼”
183;“123”;“海鲈鱼”
184;“123”;“白鱼”
185;“123”;“ramp”
186;“123”;“鲭鱼”
187;“123”;“熏鲭鱼”
188;“123”;“鲇鱼”
189;“123”;“"starlet”
190;“123”;“白斑鱼”
191;“123”;“干海带”
192;“123”;“罗非鱼”
193;“123”;“鲤鱼”
194;“123”;“鳕鱼”
195;“123”;“热熏鳕鱼”
196;“123”;“黑鳕鱼”
197;“123”;“金枪鱼”
198;“123”;“大菱鲆”
199;“123”;“鳗鱼”
200;“123”;“熏鳗鱼”
201;“123”;“蜗牛”
202;“123”;“牡蛎”
203;“123”;“白色鱼片”
204;“123”;“鲶鱼鱼片”
205;“123”;“鲤鱼鱼片”
206;“123”;“鱼片”
207;“123”;“三文鱼鱼片”
208;“123”;“腌鲱鱼片”
209;“123”;“河鲈鱼鱼片”
210;“123”;“鳟鱼”
211;“123”;“熏鳟鱼”
212;“123”;“鱿鱼墨”
213;“123”;“cervical虾”
214;“123”;“宫颈癌”
215;“123”;“小鲱鱼”
216;“123”;“梭子鱼”
217;“0”;“蔬菜”
218;“217”;“西瓜”
219;“217”;“朝鲜蓟”
220;“217”;“茄子”
221;“217”;“山芋”
222;“217”;“西兰花头”
223;“217”;“甜菜头”
224;“217”;“西兰花”
225;“217”;“芜菁甘蓝”
226;“217”;“高良姜”
227;“217”;“豌豆”
228;“217”;“豌豆苗”
229;“217”;“豌豆荚”
230;“217”;“青豆”
231;“217”;“大白萝卜”
232;“217”;“甜瓜”
233;“217”;“参”
234;“217”;“姜”
235;“217”;“西葫芦”
236;“217”;“粪”
237;“217”;“卷心菜”
238;“217”;“球芽甘蓝”
239;“217”;“酸菜”
240;“217”;“白菜”
241;“217”;“卷心菜”
242;“217”;“罗马卷心菜”
243;“217”;“皱叶甘蓝”
244;“217”;“花椰菜”
245;“217”;“土豆”
246;“217”;“嫩土豆”
247;“217”;“苤蓝”
248;“217”;“茴香根”
249;“217”;“婆罗门参根”
250;“217”;“欧芹根”
251;“217”;“芹菜根”
252;“217”;“鲜玉米”
253;“217”;“白洋葱”
254;“217”;“pearl bow”
255;“217”;“洋葱”
256;“217”;“红洋葱”
257;“217”;“干洋葱”
258;“217”;“小洋葱”
259;“217”;“小葱”
260;“217”;“木薯”
261;“217”;“迷你玉米”
262;“217”;“迷你辣椒”
263;“217”;“小西红柿”
264;“217”;“胡萝卜”
265;“217”;“黄瓜”
266;“217”;“防风草”
267;“217”;“笋瓜”
268;“217”;“柿子椒”
269;“217”;“红辣椒”
270;“217”;“鲜辣椒”
271;“217”;“jalapeno辣椒”
272;“217”;“西红柿”
273;“217”;“腌西红柿”
274;“217”;“樱桃西红柿”
275;“217”;“向日葵芽”
276;“217”;“小麦胚芽”
277;“217”;“大豆幼苗”
278;“217”;“黄豆芽”
279;“217”;“大黄”
280;“217”;“水萝卜”
281;“217”;“野生水萝卜”
282;“217”;“白萝卜”
283;“217”;“菜豆芽”
284;“217”;“甜菜”
285;“217”;“芦笋”
286;“217”;“碎西红柿”
287;“217”;“甜”
288;“217”;“南瓜”
289;“217”;“青豆”
290;“217”;“茴香”
291;“217”;“酸浆属植物”
292;“217”;“辣根”
293;“217”;“西葫芦”
294;“217”;“大蒜”
295;“217”;“菊苣”
296;“0”;“水果”
297;“296”;“杏”
298;“296”;“鳄梨”
299;“296”;“木梨”
300;“296”;“鲜菠萝”
301;“296”;“橘子”
302;“296”;“香蕉”
303;“296”;“山楂”
304;“296”;“蔓越莓”
305;“296”;“葡萄”
306;“296”;“樱桃”
307;“296”;“樱桃干”
308;“296”;“蓝莓”
309;“296”;“石榴石”
310;“296”;“葡萄柚”
311;“296”;“梨”
312;“296”;“黑莓”
313;“296”;“草莓”
314;“296”;“石榴籽”
315;“296”;“杨桃”
316;“296”;“猕猴桃”
317;“296”;“草莓”
318;“296”;“蔓越莓”
319;“296”;“椰子”
320;“296”;“鹅莓”
321;“296”;“金橘”
322;“296”;“酸橙”
323;“296”;“柠檬”
324;“296”;“荔枝”
325;“296”;“覆盆子”
326;“296”;“芒果”
327;“296”;“柑橘”
328;“296”;“百香果”
329;“296”;“迷你菠萝”
330;“296”;“油桃”
331;“296”;“沙棘”
332;“296”;“木瓜”
333;“296”;“桃”
334;“296”;“柚”
335;“296”;“花楸”
336;“296”;“drain”
337;“296”;“红醋栗”
338;“296”;“黑醋栗”
339;“296”;“罗望子”
340;“296”;“费约果”
341;“296”;“要品尝的水果”
342;“296”;“柿子”
343;“296”;“各种樱桃”
344;“296”;“樱桃”
345;“296”;“蓝莓”
346;“296”;“苹果”
347;“296”;“冻莓”
348;“296”;“杜松子”
349;“296”;“鲜莓”
350;“0”;“杂项”
351;“350”;“琼脂”
352;“350”;“adjika”
353;“350”;“米纸”
354;“350”;“香草精”
355;“350”;“粉丝米”
356;“350”;“鸡蛋面”
357;“350”;“藻”
358;“350”;“葡萄糖”
359;“350”;“果酱”
360;“350”;“覆盆子果酱”
361;“350”;“鲜酵母”
362;“350”;“明胶”
363;“350”;“熏制液”
364;“350”;“甜味剂”
365;“350”;“玉米松饼”
366;“350”;“番茄酱”
367;“350”;“柠檬酸”
368;“350”;“糖果”
369;“350”;“蜜饯”
370;“350”;“草莓酱”
371;“350”;“食物染料”
372;“350”;“淀粉”
373;“350”;“土豆淀粉”
374;“350”;“玉米淀粉”
375;“350”;“面包屑”
376;“350”;“面条”
377;“350”;“荞麦面”
378;“350”;“泰式面”
379;“350”;“米粉”
380;“350”;“水晶面”
381;“350”;“粉丝”
382;“350”;“鸡蛋面”
383;“350”;“蛋黄酱”
384;“350”;“罂粟甜”
385;“350”;“帕斯塔”
386;“350”;“意大利碎肉卷面”
387;“350”;“pasta lumakoni”
388;“350”;“pasta feathers”
389;“350”;“螺丝意面”
390;“350”;“pumpkin marmal”
391;“350”;“枣果”
392;“350”;“杏仁膏”
393;“350”;“味醂”
394;“350”;“椰奶”
395;“350”;“杏仁奶”
396;“350”;“豆奶”
397;“350”;“muesli”
398;“350”;“帕斯塔”
399;“350”;“花生酱”
400;“350”;“红咖喱酱”
401;“350”;“罗望子酱”
402;“350”;“泰式酸辣酱”
403;“350”;“辣椒酱”
404;“350”;“糖蜜”
405;“350”;“果胶”
406;“350”;“通心粉”
407;“350”;“果酱”
408;“350”;“接骨木糖浆”
409;“350”;“香草糖浆”
410;“350”;“syrup vishnevny”
411;“350”;“姜糖浆”
412;“350”;“焦糖糖浆”
413;“350”;“枫糖浆”
414;“350”;“草莓糖浆”
415;“350”;“咖啡糖浆”
416;“350”;“玉米糖浆”
417;“350”;“覆盆子糖浆”
418;“350”;“芒果糖浆”
419;“350”;“蜂蜜糖浆”
420;“350”;“杏仁糖浆”
421;“350”;“核桃糖浆”
422;“350”;“黑醋栗糖浆”
423;“350”;“巧克力糖浆”
424;“350”;“蔓越莓酱”
425;“350”;“worcestershire sauce”
426;“350”“石榴汁”
427;“350”;“韩国泡菜酱”
428;“350”;“香蒜酱”
429;“350”;“鱼酱”
430;“350”;“fish sauce nampla”
431;“350”;“塔巴斯科辣椒酱”
432;“350”;“照烧酱”
433;“350”;“sauce tkemali”
434;“350”;“蚝油”
435;“350”;“甜辣酱”
436;“350”;“日式核桃酱”
437;“350”;“spaghetti”
438;“350”;”;“白面包屑”
439;“350”;“面包屑”
440;“350”;“糕点装饰”
441;“350”;“糖渍”
442;“0”;“奶制品和蛋”
443;“442”;“酸奶”
444;“442”;“天然酸奶”
445;“442”;“俄式酸奶酒”
446;“442”;“人造黄油”
447;“442”;“黄油”
448;“442”;“融化的黄油”
449;“442”;“牛奶”
450;“442”;“烘培的牛奶”
451;“442”;“酪乳”
452;“442”;“凝块”
453;“442”;“奶油”
454;“442”;“酸的奶油”
455;“442”;“乳清”
456;“442”;“塔那酒”
457;“442”;“豆腐”
458;“442”;“豆腐串”
459;“442”;“鹌鹑蛋”
460;“442”;“蛋”
461;“0”;“蘑菇类”
462;“461”;“平菇类(oyster mushrooms)”
463;“461”;“”
464;“461”;“ceps”
465;“461”;“金针菇”
466;“461”;“中国干菇”
467;“461”;“波托贝落蘑菇”
468;“461”;“干菇”
469;“461”;“香菇”
470;“461”;“奶菇”
471;“461”;“鸡油菌”
472;“461”;“牛肝菌”
473;“461”;“蜜环菌”
474;“461”;“藏红花奶盖”
475;“461”;“羊肚菌”
476;“461”;“松露”
477;“461”;“草甸蘑菇”
478;“0”;“奶酪”
479;“478”;“奶酪”
480;“478”;“阿迪格奶酪”
481;“478”;“布里奶酪”
482;“478”;“羊奶酪”
483;“478”;“布拉塔奶酪”
484;“478”;“高达奶酪”
485;“478”;“荷兰奶酪”
486;“478”;“蓝纹奶酪”
487;“478”;“戈尔佐拉”
488;“478”;”;“格拉娜帕达诺奶酪”
489;“478”;“格鲁耶尔干酪”
490;“478”;“–”;“多尔蓝奶酪”
491;“478”;“卡门培尔奶酪”
492;“478”;“山羊奶酪”
493;“478”;“奶酪香肠”
494;“478”;“马斯卡帕尼奶酪”
495;“478”;“蒙特利杰克奶酪”
496;“478”;“莫扎里拉奶酪”
497;“478”;“软酪”
498;“478”;“山羊奶酪”
499;“478”;“帕玛森奶酪”
500;“478”;“佩克力诺干酪”
501;“478”;“再制干酪”
502;“478”;“cheese Poshehonsky”
503;“478”;“里科塔干酪”
504;“478”;“诺克福羊乳干酪”
505;“478”;“蓝纹奶酪”
506;“478”;“奶油奶酪”
507;“478”;“suluguni”
508;“478”;“奶酪块”
509;“478”;“费塔干酪”
510;“478”;“费城奶酪”
511;“478”;“切达干酪”
512;“478”;“红波奶酪”
513;“478”;“艾门塔尔奶酪”
514;“0”;“坚果和干果”
515;“514”;“花生”
516;“514”;“伏牛花”
517;“514”;“核桃(去皮)”
518;“514”;“葡萄干”
519;“514”;“无花果”
520;“514”;“板栗”
521;“514”;“蔓越莓干”
522;“514”;“椰子”
523;“514”;“杏干”
524;“514”;“榛子”
525;“514”;“杏仁”
526;“514”;“坚果”
527;“514”;“松果”
528;“514”;“腰果”
529;“514”;“桃干”
530;“514”;“葵花籽”
531;“514”;“南瓜籽”
532;“514”;“水果干”
533;“514”;“枣”
534;“514”;“开心果”
535;“514”;“榛子”
536;“514”;“梅干”
537;“0”;“饮料”
538;“537”;“水”
539;“537”;“桔子水”
540;“537”;“矿泉水”
541;“537”;“水粉红”
542;“537”;“佳叶龙茶”
543;“537”;“洛神花茶”
544;“537”;“格瓦斯”
545;“537”;“面包格瓦斯”
546;“537”;”-;“可乐”
547;“537”;“苦丁茶”
548;“537”;“柠檬水”
549;“537”;“伴侣”
550;“537”;“果汁”
551;“537”;“碳酸饮料”
552;“537”;“苦白兰地”
553;“537”;“路易波士茶”
554;“537”;“菠萝汁”
555;“537”;“橙汁”
556;“537”;“桦树汁”
557;“537”;“葡萄汁”
558;“537”;“樱桃汁”
559;“537”;“石榴汁”
560;“537”;“草莓汁”
561;“537”;“蔓越莓汁”
562;“537”;“鹅莓汁”
563;“537”;“青柠汁”
564;“537”;“芒果汁”
565;“537”;“柑橘汁”
566;“537”;“桃汁”
567;“537”;“加仑汁”
568;“537”;“番茄汁”
569;“537”;“苹果汁”
570;“537”;“雪碧”
571;“537”;“奎宁水”
572;“537”;“白茶”
573;“537”;“黄茶”
574;“537”;“绿茶”
575;“537”;“红茶”
576;“537”;“普洱茶”
577;“537”;“普通话中的普洱茶”
578;“537”;“乌龙茶”
579;“537”;“黑茶”
580;“537”;“Espresso(咖啡)”
581;“0”;“酒精类”
582;“581”;“波美酒”
583;“581”;“比特酒”
584;“581”;“白兰地”
585;“581”;“波本威士忌”
586;“581”;“苦艾酒”
587;“581”;“葡萄酒”
588;“581”;“白葡萄酒”
589;“581”;“汽酒”
590;“581”;“红葡萄酒”
591;“581”;“干红葡萄酒”
592;“581”;“桑格利亚酒”
593;“581”;“威士忌”
594;“581”;“伏特加”
595;“581”;“茴香伏特加”
596;“581”;“格拉帕酒”
597;“581”;“杜松子酒”
598;“581”;“-”;“爱尔兰奶油利口酒”
599;“581”;“卡尔瓦多斯”
600;“581”;“巴西朗姆酒”
601;“581”;“白兰地”
602;“581”;“利口酒”
603;“581”;“桔子利口酒”
604;“581”;“咖啡利口酒”
605;“581”;“巧克力利口酒”
606;“581”;“马德拉酒”
607;“581”;“马沙拉酒”
608;“581”;“马爹利酒”
609;“581”;“啤酒”
610;“581”;“樱桃啤酒”
611;“581”;“波特酒”
612;“581”;“朗姆酒”
613;“581”;“白朗姆酒”
614;“581”;“黑朗姆酒”
615;“581”;“日本清酒”
616;“581”;“桑布卡酒”
617;“581”;“苹果酒”
618;“581”;“龙舌兰酒”
619;“581”;“雪莉酒”
620;“581”;“()”;“香槟”
621;“581”;“杜松子酒”
622;“0”;“greens和草药类”
623;“622”;“罗勒”
624;“622”;“罗勒红”
625;“622”;“bouquet garni(香草)”
626;“622”;“牛至”
627;“622”;“greens(青菜)”
628;“622”;”干香草(dried herbs)”
629;“622”;”-;“cabbage pakchoi(白菜)”
630;“622”;“细叶芹”
631;“622”;“芫荽叶”
632;“622”;“酢浆草”
633;“622”;“燕麦根”
634;“622”;“鲜胡荽”
635;“622”;“荨麻”
636;“622”;“水田芥”
637;“622”;“水田芥”
638;“622”;“玫瑰花瓣”
639;“622”;“柠檬香茅”
640;“622”;“竹叶”
641;“622”;“香蕉叶”
642;“622”;“葡萄叶”
643;“622”;“葡萄叶(咸)”
644;“622”;“卡菲尔青柠叶”
645;“622”;“青柠叶”
646;“622”;“蒲公英叶”
647;“622”;“小葱”
648;“622”;”-;“韭葱”
649;“622”;“墨角兰”
650;“622”;“chard(甜菜)”
651;“622”;“蜜蜂花”
652;“622”;“柠檬香蜂草”
653;“622”;“薄荷”
654;“622”;“牛至”
655;“622”;“香芹”
656;“622”;“干香芹”
657;“622”;“车前草”
658;“622”;“艾草”
659;“622”;“碎洋甘菊”
660;“622”;“芝麻菜”
661;“622”;“冰冻生菜”
662;“622”;“青菜沙拉”
663;“622”;“玉米沙拉”
664;“622”;“莴苣”
665;“622”;“叶莴苣”
666;“622”;“美津浓沙拉”
667;“622”;”:“橡树叶生菜”
668;“622”;“菊苣沙拉”
669;“622”;“长叶莴苣”
670;“622”;“沙拉弗里斯”
671;“622”;“什锦沙拉”
672;“622”;“水芹”
673;“622”;“柠檬香茅”
674;“622”;“意大利香草”
675;“622”;“辛辣的香草”
676;“622”;莳萝
677;“622”;“蒲公英花”
678;“622”;“花”
679;“622”;“薰衣草花”
680;“622”;“菊苣”
681;“622”;“百里香”
682;“622”;“阔叶葱”
683;“622”;“藏红花”
684;“622”;“玫瑰果”
685;“622”;“韭菜”
686;“622”;“菠菜”
687;“622”;“酢浆草”
688;“622”;“龙蒿”
689;“0”;“谷物豆类和面粉”
690;“689”;“菜豆”
691;“689”;“绿豆”
692;“689”;“碾碎的干小麦”
693;“689”;“爆米花”
694;“689”;“荞麦绿”
695;“689”;“藜麦”
696;“689”;“荞麦”
697;“689”;“玉米糝”
698;“689”;“粗粒小麦粉”
699;“689”;“燕麦”
700;“689”;“珍珠大麦”
701;“689”;“谷物小麦”
702;“689”;“蒸粗麦粉”
703;“689”;“面粉”
704;“689”;“荞麦粉”
705;“689”;“栗粉”
706;“689”;“玉米粉”
707;“689”;“杏仁粉”
708;“689”;“鹰嘴豆粉”
709;“689”;“燕麦粉”
710;“689”;“小麦粉”
711;“689”;“黑麦粉”
712;“689”;“大米粉”
713;“689”;“鹰嘴豆”
714;“689”;“米糠”
715;“689”;“小米”
716;“689”;“图”
717;“689”;“图巴亚”
718;“689”;“印度香米”
719;“689”;“糙米”
720;“689”;“野生稻”
721;“689”;“圆粒大米”
722;“689”;“semola(硬质小麦粉)”
723;“689”;“菜豆”
724;“689”;“白菜豆”
725;“689”;“红菜豆”
726;“689”;“荞麦片”
727;“689”;“谷粒”
728;“689”;“燕麦片”
729;“689”;“扁豆”
730;“689”;“大麦”
731;“0”;“香料和调味品”
732;“731”;“八角茴香”
733;“731”;“白胡椒”
734;“731”;“香兰素”
735;“731”;“香草”
736;“731”;“香草精”
737;“731”;“香草粉”
738;“731”;“芥末酱”
739;“731”;“菱角”
740;“731”;“garam masala”
741;“731”;“麝香石竹”
742;“731”;“丁香碎末”
743;“731”;“芥末”
744;“731”;“甜芥末”
745;“731”;“甜胡椒豆”
746;“731”;“芥末粒”
747;“731”;“小茴香”
748;“731”;“姜粉”
749;“731”;“酸豆”
750;“731”;“小豆蔻”
751;“731”;“咖喱”
752;“731”;“香菜”
753;“731”;“香菜粉”
754;“731”;“肉桂”
755;“731”;“咖啡精”
756;“731”;“香醋奶油”
757;“731”;“芝麻”
758;“731”;“姜黄”
759;“731”;“月桂叶”
760;“731”;“柠檬胡椒”
761;“731”;“罂粟籽”
762;“731”;“橄榄”
763;“731”;“橄榄干”
764;“731”;“鳄梨油”
765;“731”;“凤尾鱼酱”
766;“731”;“花生油”
767;“731”;“芥末油”
768;“731”;“煎炸油”
769;“731”;“香油”
770;“731”;“葡萄籽油”
771;“731”;“菜籽油”
772;“731”;“玉米油”
773;“731”;“芝麻油”
774;“731”;“亚麻籽油”
775;“731”;“橄榄油”
776;“731”;“花生酱”
777;“731”;“葵花籽油”
778;“731”;“贫油”
779;“731”;“植物油”
780;“731”;“精炼油”
781;“731”;“含油种子”
782;“731”;“大豆油”
783;“731”;“松露油”
784;“731”;“南瓜油”
785;“731”;“杏仁锤”
786;“731”;“味增酱”
787;“731”;“海盐”
788;“731”;“肉豆蔻”
789;“731”;“橄榄”
790;“731”;“利古里亚橄榄”
791;“731”;“红辣椒”
792;“731”;“辣椒”
793;“731”;“胡芦巴”
794;“731”;“辣椒粉”
795;“731”;“香茅酱”
796;“731”;“peperoncini(辣椒)”
797;“731”;“pepper pink polka dots(胡椒粉圆点)”
798;“731”;“chili(辣椒)”
799;“731”;“干辣椒”
800;“731”;“芥末粉”
801;“731”;“调味鱼”
802;“731”;“发酵粉”
803;“731”;“迷迭香”
804;“731”;“粉色胡椒粉”
805;“731”;“糖”
806;“731”;“香草糖”
807;“731”;“红糖”
808;“731”;“黑砂糖”
809;“731”;“甘蔗糖”
810;“731”;“粉状糖”
811;“731”;“金莲花种子”
812;“731”;“黑种草种子”
813;“731”;“茴香籽”
814;“731”;“”;“香料混合“taco””
815;“731”;“苏打”
816;“731”;“榨姜汁”
817;“731”;“柠檬汁”
818;“731”;“盐”
819;“731”;“柠檬酸盐”
820;“731”;“葡萄酱”
821;“731”;“sauce narsharab”
822;“731”;“柑橘酢”
823;“731”;“酱油”
824;“731”;“番茄酱”
825;“731”;“辣椒酱”
826;“731”;“香料”
827;“731”;“漆树”
828;“731”;“百里香”
829;“731”;“孜然”
830;“731”;“地中海香草”
831;“731”;“法国香草”
832;“731”;“醋”
833;“731”;“balsamic vinegar(香醋)”
834;“731”;“酒醋”
835;“731”;“白葡萄酒醋”
836;“731”;“红葡萄酒醋”
837;“731”;“樱桃醋”
838;“731”;“覆盆子醋”
839;“731”;“米醋”
840;“731”;“苹果醋”
841;“731”;-”;“hops suneli”
842;“731”;“香薄荷”
843;“731”;“酸辣酱”
844;“731”;“黑胡椒”
845;“731”;“黑胡椒豆”
846;“731”;“干大蒜”
847;“731”;“鼠尾草”
848;“0”;“制成品”
849;“848”;“菠萝罐头”
850;“848”;“朝鲜蓟罐头”
851;“848”;“腌朝鲜蓟”
852;“848”;“baguette(法式面包)”
853;“848”;“loaf(面包)”
854;“848”;“巧克力棒”
855;“848”;“酥皮”
856;“848”;“饼干”
857;“848”;“菜豆罐头”
858;“848”;“小圆包”
859;“848”;“汉堡包”
860;“848”;“肉汤”
861;“848”;“牛肉汤”
862;“848”;“鸡肉汤”
863;“848”;“鱼汤”
864;“848”;“果酱”
865;“848”;“杏酱”
866;“848”;“越橘酱”
867;“848”;“樱桃酱”
868;“848”;“黑加仑酱”
869;“848”;“覆盆子酱”
870;“848”;“蓝莓酱”
871;“848”;“Wafer(薄脆饼)”
872;“848”;“樱桃罐头”
873;“848”;“Glaze”
874;“848”;“第戎芥末”
875;“848”;“油炸面包块”
876;“848”;“腌蘑菇”
877;“848”;“Demiglas apple”
878;“848”;“酵母”
879;“848”;“果冻”
880;“848”;“发酵曲”
881;“848”;“蜀葵糖剂”
882;“848”;“碎番茄汁”
883;“848”;“腌姜”
884;“848”;“可可”
885;“848”;“腌仙人掌”
886;“848”;“腌酸豆”
887;“848”;“酸白菜”
888;“848”;“海甘蓝”
889;“848”;“韩式泡菜”
890;“848”;“wafer cakes(薄脆糕)”
891;“848”;“酸黄瓜”
892;“848”;“天然咖啡”
893;“848”;“速溶咖啡”
894;“848”;“脆饼干”
895;“848”;“巧克力粉”
896;“848”;“牛角面包”
897;“848”;“bouillon cubes(肉汤浓缩块)”
898;“848”;“罐头玉米”
899;“848”;“腌玉米”
900;“848”;“皮塔饼”
901;“848”;“lanspik”
902;“848”;“冰”
903;“848”;“letcho”
904;“848”;“面片”
905;“848”;“罐头三文鱼”
906;“848”;“腌洋葱”
907;“848”;“桔子罐头”
908;“848”;“蜀葵糖剂”
909;“848”;“榛子油”
910;“848”;“甜豆腐”
911;“848”;“酸奶”
912;“848”;“蜂蜜”
913;“848”;“蜂蜜梳”
914;“848”;“混合姜”
915;“848”;“炼乳”
916;“848”;“煮过的炼乳”
917;“848”;“奶粉”
918;“848”;“腌胡萝卜”
919;“848”;“冰激凌”
920;“848”;“香草冰激凌”
921;“848”;“巧克力冰激凌”
922;“848”;“盐渍黄瓜”
923;“848”;“腌黄瓜”
924;“848”;“腌黄瓜”
925;“848”;“山核桃”
926;“848”;“甜菜汤”
927;“848”;“玉米棒”
928;“848”;“面包棒”
929;“848”;“番茄酱”
930;“848”;“帕斯塔巧克力”
931;“848”;“pate”
932;“848”;“冻饺子”
933;“848”;“腌辣椒”
934;“848”;“罐头桃”
935;“848”;“曲奇”
936;“848”;“饼干”
937;“848”;“手指曲奇”
938;“848”;“巧克力曲奇”
939;“848”;“皮塔饼”
940;“848”;“补充剂“
941;“848”;“番茄汁”
942;“848”;“番茄罐头”
943;“848”;“爆米花”
944;“848”;“风干火腿”
945;“848”;“姜饼”
946;“848”;“芒果泥”
947;“848”;“土豆泥”
948;“848”;“番茄泥”
949;“848”;“苹果泥”
950;“848”;“腌黄瓜”
951;“848”;“卷”
952;“848”;“腌甜菜”
953;“848”;“猪肉干”
954;“848”;“糖浆”
955;“848”;“生奶油”
956;“848”;“椰子膏”
957;“848”;“麦芽酒”
958;“848”;“冰糕”
959;“848”;“烧烤酱”
960;“848”;“班尼斯汁”
961;“848”;“伯沙美酱”
962;“848”;“伍斯特沙司”
963;“848”;“多蜜酱汁”
964;“848”;“”
965;“848”;糖醋汁
966;“848”;“萨尔萨辣酱”
967;“848”;“甜酱”
968;“848”;“巧克力酱”
969;“848”;“莓酱”
970;“848”;“笋,豆”
971;“848”;“焦糖片”
972;“848”;“碎饼干”
973;“848”;“挞”
974;“848”;“芝麻酱"
975;“848”;“宽面条帕斯塔”
976;“848”;“馄钝面团”
977;“848”;“披萨面团”
978;“848”;“发酵面团”
979;“848”;“千丝卷面团”
980;“848”;“酥皮面团”
981;“848”;“馅饼面团”
982;“848”;“泡芙馅饼”
983;“848”;“干面团”
984;“848”;“费罗糕点”
985;“848”;“干番茄”
986;“848”;“玉米饼”
987;“848”;“吐司”
988;“848”;“豆腐”
989;“848”;“金枪鱼油”
990;“848”;“原汁罐头金枪鱼”
991;“848”;“芝麻酱”
992;“848”;“米馅”
993;“848”;“罐头菜豆”
994;“848”;“白面包”
995;“848”;“烤面包”
996;“848”;“黑麦面包”
997;“848”;“甜面包”
998;“848”;“黑面包”
999;“848”;“黑麦面包”
1000;“848”;“玉米片”
1001;“848”;“夏巴塔”
1002;“848”;“tea Away”
1003;“848”;“薯条”
1004;“848”;“玉米条”
1005;“848”;“腌蘑菇”
1006;“848”;“巧克力玉米球”
1007;“848”;“巧克力”
1008;“848”;“白巧克力”
1009;“848”;“苦巧克力”
1010;“848”;“奶油巧克力”
1011;“848”;“黑巧克力”
1012;“50”;“小牛牛肉片”
1013;“57”;“牛肉片”
1014;“848”;“配“带电乌冬面”汤的酱”
1015;“296”;“柠檬”
1016;“217”;“胡萝卜”
1017;“217”;“西红柿”
表格D:烹饪风格和菜肴的类型
表E:机器人食物准备系统的列表(一实施例)
已经关于可能的实施例尤其详细地描述了本发明。本领域技术人员将认识到可以
通过其他实施例实践本发明。部件的具体命名、术语的大小写、属性、数据结构或者任何其
他的程序设计或结构方面都不具有强制性或者重要性,实施本发明的机制或其特征可以具
有不同的名称、形式或规程。可以通过硬件和软件的组合(如所描述的),完全通过硬件元素
或者完全通过软件元素实施所述系统。文中描述的各种系统部件之间的功能的具体划分只
是示范性的,而非强制性的;相反,可以通过多个部件执行单个系统部件执行的功能,或者
可以通过单个部件执行多个部件执行的功能。
在各实施例中,可以将本发明单独地或者组合地实现为用于执行上文描述的技术
的系统或方法。还提供了文中描述的任何具体特征的组合,尽管未对该组合予以明确的描
述。在另一实施例中,可以将本发明实现为计算机程序产品,其包括计算机可读存储介质和
编码到所述介质上的计算机程序代码,所述代码用于使计算装置内的处理器或者其他电子
装置执行上述技术。
如这里使用的,对“一实施例”或“实施例”的任何提及都表示将结合实施例描述的
特定特征、结构或特性包括在本发明的至少一个实施例中。在本说明书中的不同位置出现
的“在一实施例中”这一短语未必都是指同一实施例。
上文的一些部分是通过计算机存储器中对数据比特进行的操作的算法和符号表
示呈现的。这些算法描述和表示是数据处理领域的技术人员用于将其工作的实质最为有效
地传达给其他本领域技术人员的手段。这里将算法一般性地看作是导致预期结果的自洽的
步骤(指令)的序列。所述步骤是需要对物理量进行实际操纵的步骤。这些量通常但未必一
定采取能够受到存储、转移、合并、比较、变换以及其他操纵的电、磁或光信号的形式。有时
这些信号主要是出于常用的原因便于被称为比特、值、元素、符号、字符、项、数字等。此外,
有时还方便地将某些需要物理量的实际操纵的步骤安排称为模块或代码装置,而不失一般
性。
但是应记住,所有的这些和类似术语都将与适当的物理量相关,其只是应用于这
些量的方便标签。除非从下述讨论中明显地看出了另行的明确指定,否则应当认识到在整
个说明书中,采用诸如“处理”、“计算”、“运算”、“确定”或“显示”等的词语所做的讨论是指
计算机系统或类似电子计算模块和/或装置的操作和处理,其将对被表示为所述计算机系
统的存储器或寄存器或者其他这样的信息存储器、传输或显示装置内的物理量的数据进行
操纵和变换。
本发明的某些方面包括采取算法形式的文中描述的过程步骤和指令。应指出,本
发明的过程步骤和指令可以实现在软件、固件和/或硬件当中,在通过软件实施时,其能够
被下载,从而保存在各种操作系统使用的不同平台上并从所述平台对其进行操作。
本发明还涉及一种用于执行文中的操作的设备。这一设备可以是针对所需的目的
而专门构造的,或者其可以包括由存储在计算机内的计算机程序有选择地激活或重新配置
的通用计算机。这样的计算机程序可以存储在有形计算机可读存储介质中,例如,所述计算
机可读存储介质可以是但不限于包括软盘、光盘、CD-ROM、磁光盘在内的任何类型的盘、只
读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁或光卡、专用集成电路或者任何
类型的适于存储电子指令的介质,它们当中的每者均耦合至计算机系统总线。此外,本说明
书中引述的计算机和/或其他电子装置可以包括单个处理器或者可以是采用提高计算能力
的多处理器设计的架构。
文中呈现的算法和显示并不与任何特定的计算机、虚拟化系统或其他设备存在固
有的关联。也可以将各种通用系统与根据本文教导的程序一起使用,或者可以证明,构建更
为专门的设备来执行期望的方法步骤是方便的。通过文中提供的描述,这些各种各样的系
统所需的结构将变得显而易见。此外,未参照任何特定的编程语言描述本发明。要认识到,
可以使用各种编程语言来实现文中描述的本发明的教导,并且上文提及的任何具体措辞都
是出于公开本发明的实现及最佳方式的目的。
在各实施例中,可以将本发明实现为用于控制计算机系统、计算装置或其他电子
装置的软件、硬件和/或其他元件,或者它们的任何组合或多重设置。根据本领域公知的技
术,这样的电子装置可以包括(例如)处理器、输入装置(例如,键盘、鼠标、触控板、跟踪板、
操纵杆、轨迹球、传声器和/或它们的任何组合)、输出装置(例如,屏幕、扬声器等)、存储器、
长期存储器(例如,磁存储器、光存储器等)和/或网络连接。这样的电子装置可以是便携式
的或者非便携式的。可以用于实施本发明的电子装置的例子包括移动电话、个人数字助理、
智能电话、信息亭、台式计算机、膝上型电脑、消费电子装置、电视、机顶盒等。实施本发明的
电子装置可以采用的操作系统可以是(例如)可从加利福尼亚库佩蒂诺的苹果公司获得的
iOS、可从加利福尼亚山景城的谷歌公司获得的Android、可从华盛顿雷蒙德的微软公司获
得的Microsoft Windows 7、可从加利福尼亚桑尼维尔的Palm公司获得的webOS或者任何其
他适于在所述装置上使用的操作系统。在一些实施例中,用于实施本发明的电子装置包括
用于通过一个或多个网络通信的功能,例如,所述网络包括蜂窝电话网、无线网络和/或诸
如Internet的计算机网络。
可以采用“耦合”和“连接”及其派生词描述一些实施例。应理解,这些术语并非意
在彼此同义。例如,可以在采用词语“连接”指示两个或更多元件相互直接物理或电接触的
情况下描述一些实施例。在另一范例中,例如,可以在采用词语“耦合”指示两个或更多元件
直接物理或电接触的情况下描述一些实施例。不过,术语“耦合”也可以表示两个或更多元
件彼此不直接接触,但仍然彼此协作或交互作用。实施例不限于这种语境。
文中采用的词语“包括”、“包含”、“具有”或者它们的任何其他变型意思是非排他
性地包含。例如,包括一系列元素的过程、方法、物品或设备未必仅局限于这些元素,而是可
以包括其他未明确列举的或者这样的过程、方法、物品或设备所固有的元素。此外,除非做
出明确的相反陈述,否则“或”是指包含性的或而非排他性的或。例如,条件A或B可由下面的
任何一项满足:A为真(或存在)并且B为假(或者不存在)、A为假(或不存在)并且B为真(或存
在)、以及A和B均为真(或存在)。
文中采用的单数冠词被定义为一个或者不止一个。文中采用的词语“多个”被定义
为两个或不止两个。将文中采用的词语“另一个”定义为至少第二个或更多。
普通技术人员在开发文中描述的方法和系统的过程中将不需要额外的说明,但是
通过查验相关领域的标准化参考著作可以找到一些有可能对这些方法和系统的准备有帮
助的指导。
尽管已经联系有限数量的实施例描述了本发明,但是得益于上文的描述的本领域
技术人员将认识到在不背离文中描述的本发明的范围的情况下可以设计出其他实施例。应
指出,说明书中采用的措辞主要是出于易读性和指导目的而加以选择的,选择其的目的并
非在于勾勒或者限制本发明的主题。不应将下面的权利要求中采用的术语推断为使本发明
局限于说明书和权利要求中所公开的具体实施例,而是应当将其视为包含落在下文阐述的
权利要求的范围内的所有方法和系统。相应地,本发明不受本公开的限定,相反其范围完全
由下述权利要求决定。