信息处理装置及其控制方法、店铺系统本申请主张申请日为2014年11月17日、申请号为JP2014-233036的
日本申请为优先权，并引用上述申请的内容。
技术领域
本发明涉及一种信息处理装置及其控制方法、店铺系统。
背景技术
通常在超市等店铺，使用对附有条形码等的码符号的商品进行摄像，并用
从图像数据所包含的码符号中抽取出的编码信息进行商品的销售登记的系统。
并且，该系统在对没附有条形码的商品进行销售登记时，使用具有预先与商品
进行了关联的按钮的预设画面，对预设画面上被选择的商品进行销售登记。
近年，存在一种根据从摄像的图像数据抽取的对象物品的特征量和事先准
备好的词库的对照用的数据(特征量)进行比较得出的相似度，来识别该物品
的种类等(检测检测)的一般物体识别(对象识别)相关的技术。并且，将这
个有关一般物体识别的技术用于果蔬品等商品的识别，进行商品销售登记的系
统得到了提案。不仅如此，具有根据上述的码符号的销售登记功能、根据预设
画面的销售登记功能、以及根据对象识别的销售登记功能中具有双功能的系统
得到了提案。
但是，附有码符号的商品有在商品包装上印着果蔬品等照片的情况。依据
对象识别进行销售登记的系统，存在将包装上的果蔬品照片误认为商品，从而
将错误的商品进行销售登记的可能性。因此，操作员为了防止将错误的商品进
行商品登记，必须根据商品进行将对象识别切换为根据码符号的销售登记的设
定。并且，在进行预设画面上被选择的按钮所关联的商品的登记时，操作员也
必须将画面切换为预设画面。但是该操作极为繁杂，成为妨碍高效处理的主要
原因。
发明内容
鉴于上述问题，本发明的目的在于提供一种用简单的操作就能够根据一般
物体识别进行销售登记的信息处理装置及其控制方法、店铺系统。
本发明第一方面涉及的信息处理装置包括：摄像部、第一识别部、显示控
制部、输入部、登记部。所述摄像部用于摄像对准摄像部的物体。所述第一识
别部将所述摄像部摄像的图像数据抽取的对象物品的特征量和事先存储在词库
中的各个商品的对照用的特征量进行比较，根据其相似度从所述商品中识别出
符合所述物体的商品。所述显示控制部使所述第一识别部识别出的所述商品所
关联的第一输入装置和事先与商品进行关联的第二输入装置显示在第一画面上。
所述输入部对选择所述显示控制部显示的所述第一输入装置或所述第二输入装
置的操作进行接受。所述登记部对所述输入部接受的该第一输入装置或该第二
输入装置所关联的商品进行销售登记。
本发明第二方面涉及的店铺系统，包括：摄像部，用于摄像对准摄像部的
物体；第一识别部，将所述摄像部摄像的所述物体的特征量和事先存储在词库
里的各个商品的对照用的特征量进行比较，根据其相似度从所述商品中识别出
符合所述物体的商品；显示控制部，用于使所述第一识别部识别出的所述商品
所关联的第一输入装置和事先与商品进行关联的第二输入装置显示在第一画面
上；输入部，用于对选择所述显示控制部显示的所述第一输入装置或所述第二
输入装置的操作进行接受；以及登记部，用于对所述输入部接受的该第一输入
装置或该第二输入装置所关联的商品进行销售登记。
本发明第三方面涉及的店铺系统，设置有上述的信息处理装置。
本发明第四方面涉及的信息处理装置的控制方法，包括以下步骤：摄像步
骤，用于摄像对准摄像部的物体；第一识别步骤，将所述摄像步骤摄像的所述
物体的特征量和事先存储在词库里的各个商品的对照用的特征量进行比较，根
据其相似度从所述商品中识别出符合所述物体的商品；显示控制步骤，用于使
所述第一识别步骤识别出的所述商品所关联的第一输入装置和事先与商品进行
关联的第二输入装置显示在第一画面上；输入步骤，用于对选择所述显示控制
步骤显示的所述第一输入装置或所述第二输入装置的操作进行接受；以及登记
步骤，用于对所述输入步骤接受的该第一输入装置或该第二输入装置所关联的
商品进行销售登记。
附图说明
下面，参照附图对本发明所涉及的信息处理装置及其控制方法、店铺系
统进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更
好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用
来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施
例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：
图1是表示关于本发明的结账系统的一例的立体图；
图2是表示POS终端及商品读取装置的硬盘构成的框图；
图3是列举PLU文件的数据构成的概念图；
图4是表示POS终端的功能构成的框图；
图5是表示预设画面的一例说明图；
图6是表示不具有显示框的图像显示区域的预设画面的一例说明图；
图7是表示将商品候补按钮按照与预设按钮相同的形态显示在预设画面的
一例说明图；
图8是表示摄像处理的流程的流程图；
图9是表示根据码符号识别引擎进行商品识别处理的流程的流程图；
图10是表示根据对象识别引擎进行商品识别的流程的流程图；
图11是表示销售登记处理的流程的流程图；
图12是表示自助POS机的结构的外观立体图；以及
图13是表示自助POS机的硬盘结构的框图。
具体实施方式
下面，参照附图，对有关本发明的信息处理装置、店铺系统及程序以结账
系统为例进行说明。店铺系统是具有进行有关一连串交易的商品的销售登记、
结账的POS终端的结账系统(POS系统)等。本实施例是引进到超市等店铺的
结账系统的一个实施例。
图1是表示关于本发明的结账系统的一例的立体图。如图1所示，结账系
统1包括读取有关商品的信息的商品读取装置101，以及进行有关一连串交易
的商品的销售登记、对账的POS终端。以下将POS终端11作为有关本发明的
信息处理装置的实施例进行说明。
POS终端11设置在结账台41上的钱箱21上方。POS终端11控制钱箱21
的开放。POS终端11在上方具有键盘22。键盘22具有操作员(店员)输入操
作用的按键。POS终端22在操作键盘22的操作员的角度看去比键盘22更里侧，
具有面向操作员显示信息的第一显示装置23。第一显示装置23具有触摸面板
26所层叠的显示面23a。
POS终端11在第一显示装置23的更里侧，具有面向顾客显示信息的第二
显示装置24。此外，图1所示的第二显示装置24的显示面24a面向图1的跟
前侧。但是第二显示装置24可以旋转为将显示面24a朝向图1的里侧从而面向
顾客显示信息。
柜台151是横向长方形的桌子。柜台151被配置在与设置了POS终端11
的结账台41形成L字的位置上。柜台151在上方形成负荷接受面152。负荷接
受面152放置着收纳商品的购物筐153。购物筐153包含第一购物筐153a及第
二购物筐153b。第一购物筐153a是顾客放入购买对象商品的筐。第二购物筐
153b是放入已读取有关商品信息的商品的筐。第二购物筐153b放置在与第一
购物筐一起将商品读取装置101夹在中间的位置上。此外购物筐153不仅限于
所谓筐状物体、也可以是托盘、箱子状、或袋子状等物体。
商品读取装置101设置在柜台151的负荷接受面上。商品读取装置101能
够与POS终端11进行收发数据。商品读取装置101具有超薄长方形形状的机
壳102。机壳102在正面具有读取窗103。机壳102在上部具有显示·操作部
104。
显示·操作部104具有第一显示装置106。第一显示装置106是诸如触摸
面板105在表面上层叠的液晶显示装置等。显示·操作部104在第一显示装置
106的右边具有键盘107。显示·操作部104在键盘107的右边具有读卡器的
读卡槽108。显示·操作部104从操作员看起背面的左边更里侧具有第二显示
装置109。第二显示装置109是诸如面向顾客提供信息的液晶显示器等。
就这样商品读取装置101具有商品读取部110(参照图2)。商品读取部110
在读取窗103的内部配置了摄像部164(参照图2)。
操作商品读取装置101的操作员将第一购物筐153a里的商品移动到第二购
物筐153b。操作员在这个移动过程中，将商品对准商品读取装置101的读取窗
103。此时，摄像部164(参照图2)拍摄商品。
商品读取装置101向POS终端11通知要进行销售登记的商品的商品ID。
具体来讲，商品读取装置101将指定销售登记的对象商品是否与保存在PLU文
件F1(参照图3)中的某一个商品对应的画面显示在显示·操作部104上。并
且，商品读取装置101向POS终端11通知被指定的商品的商品ID。在POS终
端11中，根据从商品读取装置101得到通知的商品ID将有关销售登记的信息
记录在销售主文件(未图示)等进行销售登记。有关销售登记的信息是指诸如
商品ID所对应的商品的商品分类、商品名、或单价等。
图2是表示POS终端及商品读取装置的硬盘构成的框图。POS终端11具
有作为执行信息处理的信息处理部的微型计算机60。微型计算机60具有CPU
(CentralProcessingUnit)61、ROM(ReadOnlyMemory)62和RAM(Random
AccessMemory)63。微型计算机60进行各种运算处理并对控制各部的CPU61、
ROM62和RAM63进行总线连接。
POS终端11的CPU61通过各种输入输出电路(未图示)、连接所述钱箱
21、键盘22、第一显示装置23、触摸面板26和第二显示装置24。这些机器被
CPU61所控制。
键盘22具有数字和运算等的数字键22d、临时固定键22e和固定键22f。
POS终端11的CPU61上连接着HDD64(HardDiskDrive)。HDD64用于
存储程序或各种文件。CPU61在POS终端11启动时通过以下操作得到执行：
存储在HDD64上的程序或各种文件的全部或一部分复制到RAM63。HDD64
存储商品销售数据处理用的程序PR1、自动登录可否信息641、PLU文件F1。
商品销售数据处理用的程序PR1是存储在HDD64上的程序的一例。此外，只
要是存储装置，HDD64也可以是SSD(SolidStateDrive)等其他记忆介质所构
成的存储装置。
商品销售数据处理用的程序PR1是具有有关商品销售数据处理的各种功能
的程序。
自动登记可否信息641是，后述对象识别引擎620(参照图4)在识别了满
足规定条件的商品时，判断即使在没有操作员来操作的情况下是否允许自动进
行销售登记的设定信息。当设定为允许时，满足规定条件的商品进行自动登记。
另一方面，当设定为禁止时，满足规定条件的商品不进行自动登记。
PLU文件F1是按照每个陈列在店铺销售的商品将有关的销售登记信息进
行储存的商品文件。在以下说明中，将PLU文件F1作为词库使用，但是这个
词库也可以是与PLU文件F1不同的文件。词库对多个商品进行从摄像的图像
信息中抽取用于识别商品的对照用数据(特征量)的存储。当词库是不同于PLU
文件F1的文件时，将存储在词库里的对照用数据(特征量)和PLU文件F1
的信息(识别信息)进行关联再存储。特征量是将商品的标准形状、表面颜色、
花纹、凹凸状况等外观特征进行参数化的数据。
图3是列举PLU文件的数据结构成的概念图。如图3所示，PLU文件F1
是对应每个商品，将商品ID、有关商品的信息、图解图像和特征量作为此商品
的商品信息存储的文件。商品ID是能够识别商品的识别信息。有关商品的信息
是商品所属的商品分类、商品名称、品种、单价等信息。图解图像是显示那个
商品的图像。特征量是从摄像的商品图像读取的颜色及表面的凹凸状况等信息。
此外，特征量是用于后述的相似度的判定的对比用数据。此外，通过后述的连
接接口65，商品读取装置101能够读取PLU文件F1。
回到图2，在POS终端11的CPU61上，为了执行与店铺计算机SC的数
据通信，通过输入输出电路(未图示)连接了通信接口25。店铺计算机SC设
置在店铺的后台等。店铺计算机SC的HDD(未图示)中，存储被传送到POS
终端11的PLU文件F1。
而且，在POS终端11的CPU61上，连接着在商品读取装置101之间让数
据的收发变为可能的连接接口65。连接接口65上连接着商品读取装置101。并
且，POS终端11的CPU61上连接着将文字印到收据上的打印机66。打印机66
在CPU61的控制下，打印一连串交易的交易内容。
商品读取装置101具有微型计算机160。微型计算机160具有CPU161、
ROM162和RAM163。微型计算机160对CPU161、ROM162、RAM163进行总
线连接。ROM162上存储根据CPU161执行的程序。CPU161通过各输出输入
电路(均未图示)连接摄像部164及声音输出部165。CPU161控制摄像部164
及声音输出部165的动作。
显示·操作部104通过连接接口176来连接商品读取部110及POS终端
11。显示·操作部104被CPU161和POS终端11的CPU61控制其动作。
摄像部164具有彩色CCD图像传感器和彩色COMS图像传感器等图像传
感器(未图示)和LED等光源(未图示)。摄像部164在CPU161的控制下从
读取窗103的内部摄像商品等物体。摄像部164摄像诸如30fps(FramePer
Second)的帧图像。摄像部164按照规定的帧滞后依次摄像的帧图像被保存在
RAM163上。
声音输出部165是播放事先设定好的警告音等的声音电路和扩音器等。声
音输出部165在CPU161的控制下进行根据警报音或声音的报告。
而且，CPU161与连接接口175相连接。连接接口175和POS终端11的连
接接口65相连接，从而和POS终端11进行数据的收发。并且，连接接口175
和显示·操作部104的连接接口176相连接，从而和显示·操作部104进行数
据的收发。
其次，对有关通过CPU61执行程序(商品销售数据处理用程序PR1)从而
实现的CPU61的功能构成进行说明。图4是表示POS终端11的功能构成的框
图。
如图4所示，POS终端11的CPU61通过执行存储在ROM62和/或RAM64
上的程序从而发挥各种功能。具体来讲，POS终端11的CPU61所起到的作用
如下：作为图像采集部611、作为并列控制部612、作为对象识别引擎620、作
为码符号识别引擎630、作为接受输入部613、作为销售登记部614、以及作为
显示控制部615。在这里，作为第一识别部的对象识别引擎620具有商品检测
部621、相似度计算部622及相似度判定部623。
作为摄像手段的图像采集部611，将摄像控制信号输出给摄像部164从而
使摄像部164开始摄像动作。图像采集部611对由摄像部164在摄像动作开始
后摄像并保存在RAM163上的帧图像按照保存到RAM163上的顺序进行采集。
但是，当摄像部164在摄像部164的光源附近、即读取窗103的附近没有
商品(对象)时，拍摄亮度为0或近似状态的帧图像。并且，图像的亮度在将
想要识别的商品(对象)接近读取窗103时，由光源发出的光在商品(对象)
上反光因此会变亮。
图像采集部611感知(检测)这样的亮度变化(颜色属性的变化)、在亮度
高于指定的基准值时，判定为有商品(对象)对准的状态。另一方面，在亮度
低于指定的基准值时，判定为没有商品(对象)对准的状态、即判定为处于框
架外的状态。
并列控制部612控制基于对象识别引擎620和码符号识别引擎630的并列
处理。具体来讲，并列控制部612通知图像采集部611已将帧图像采集到
RAM163。从而，对象识别引擎620、码符号识别引擎630开始并列处理。
(对象识别引擎)
对象识别引擎620对摄像部164摄像的商品的特征量和预先存储在PLU文
件F1上的词库里的各商品的对照用的特征量进行比较。并且，对象识别引擎
620根据其相似度，在存储在词库里的各商品中识别出与摄像部164摄像的商
品所对应的商品。以下，对对象识别引擎620具有的详细功能进行说明。
商品检测部621在从并列控制部612得到帧图像已保存在RAM163的通知
后，读取保存在RAM163上的帧图像。并且，商品检测部621通过图像采集部
611采集的帧图像所包含的商品的全部或一部，通过模式匹配技术等进行检测。
具体来讲，商品检测部621从被采集的帧图像二值化以后的图像中抽取轮廓线
等。商品检测部621根据上次的帧图像中抽取的轮廓线和这次的帧图像中抽取
的轮廓线进行比较得出的差别检测对准读取窗103的商品。此外，上次的帧图
像是指诸如在启动对象识别引擎620之前已被图像采集部611采集的背景的帧
图像。
商品检测部621作为检测商品的另一种方法，检测被采集的帧图像中有无
肤色区域。其次，商品检测部621在检测有肤色区域时，即检测有店员的手时，
在这个肤色区域的附近检测所述轮廓线。由此，商品检测部621检测设想拿在
店员的手里的商品的轮廓线。此时，商品检测部621在检测呈现手的形状的轮
廓和在手的轮廓附近有其他物体的轮廓时，根据这个物体的轮廓检测商品。
相似度计算部622从摄像部164摄像的商品的全部或一部分的帧图像中，
将商品的色调和/或表面的凹凸状况等表面状态作为特征量来抽取。此外，相似
度计算部622为了达到缩短处理时间的目的，规定不考虑商品的轮廓和大小。
并且，相似度计算部622通过比较保存在PLU文件F1上的各商品(以下
称为登记商品)的特征量和包含在帧图像里的商品的特征量从而算出相似度。
在这里，当设定为保存在PLU文件F1上的登记商品的特征量100％＝“相似度
1.0”时，相似度所表示的是商品的全部或一部分的特征量的相似度在何种程度
上。此外，相似度计算部622也可以采取诸如在色调和表面凹凸状况上改变权
重算出相似度的方法。
如上所述，识别包含在图像中的物体称为一般物体识别(genericobject
recognition)。关于这样的一般物体识别，通过下述文献进行了各种识别技术的
说明。
柳井启司，“一般物体识别的现状和将来”，信息处理学会论文杂志，Vol.48,
No.SIG16[平成22年8月10日检索]，网站＜
URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf＞
并且，通过将图像按对象划分其区域的方式进行一般物体识别的技术，在
下述文件中得到了说明。
JamieShotton等，“SemanticTextonForestsforImageCategorizationand
Segmentation”,[平成22年8月10日检索]，网站
<http://citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036﹠rep＝rep1﹠
type＝pdf>
此外，从摄像的帧图像中抽取的商品的特征量和保存在PLU文件F1上的
登记商品的特征量的相似度的计算方法在此不进行限定。诸如相似度可以作为
绝对评价计算，也可以作为相对评价计算。
首先，对相似度作为绝对评价计算的情况进行说明。相似度计算部622对
帧图像中抽取的商品的特征量和保存在PLU文件F1上的各登记商品的特征量
进行一对一的比较。由此，相似度计算部622作为绝对评价计算相似度。
其次，对相似度作为相对评价计算的情况进行说明。相似度计算部622对
帧图像中抽取的商品的特征量和保存在PLU文件F1上的各登记商品的特征量
进行比较。此时，相似度计算部622在计算相似度时使相似度的总合达到1.0
(100％)。从而相似度计算部622作为相对评价计算相似度。
相似度判定部623判定相似度计算部622算出的相似度有没有超过规定的
阈值。由此相似度判定部623判定摄像部164所摄像的商品的销售登记方法是
自动登记、还是商品候补提示、还是无商品候补之中的哪个分类。
当PLU文件F1中包含相似度在第一界限值以上的登记商品(以下称为确
定商品)时，相似度判定部623判定摄像部164摄像的商品按照自动登记进行
销售登记。在这里自动登记是指，因为是摄像部164摄像的商品的概率较高，
因此即使没有操作员的确认操作，也能够对确定商品进行自动销售登记。
此外，当自动登记可否信息641被设定为允许自动登记时，相似度判定部
623判定为符合自动登记。当自动登记可否信号641被设定为禁止自动登记时，
即使相似度在第一阈值以上，相似度判定部623也不会判定为自动登记。在这
种情况，相似度判定部623将摄像部164摄像的商品的销售登记方法判定为根
据商品候补提示进行销售登记。
当没有确定商品、且相似度在第一阈值以下第二阈值以上(小于等于第一
阈值且大于等于第二阈值)的登记商品(以下称为商品候补)包含在PLU文件
F1中时，相似度判定部623将摄像部164摄像的商品判定为根据商品候补提示
进行销售登记。在这里，商品候补提示是指，提示摄像部164摄像的帧图像所
包含的商品的候补、即商品候补、并通过操作员的确认动作进行销售登记。此
外，商品候补可以是一个也可以是多个。并且相似度判定部623将由于自动登
记可否信息641被设定为禁止自动登记从而判断为商品候补提示的确定商品，
也作为商品候补提示给操作员。
当PLU文件F1中不包含相似度在第二阈值以上(大于等于第二阈值)的
登记商品时，相似度判定部623判定为没有与摄像部164摄像的商品相对应的
商品候补。在此，没有商品候补是指，相似度计算部622计算的相似度只有第
二阈值以下(小于等于第二阈值)的登记商品，因此没能识别摄像部164摄像
的商品。
(码符号识别引擎)
码符号识别引擎630从摄像部164摄像的帧图像检测物体附带的码符号。
并且码符号识别引擎630根据码符号识别对应物体的商品。以下，对码符号识
别引擎630具有的详细功能进行说明。
码符号检测部631从并列控制部612得到帧图像已保存在RAM613的通知
后，读取保存在RAM163上的帧图像。并且，码符号检测部631从图像采集部
采集的图像中检测作为商品的信息的附在商品上的条形码或二维码等码符号。
码符号读取部632通过码符号检测部631检测的码符号读取商品ID从而识
别商品。
输入接受部613通过键盘22或触摸面板26等输入部接受操作。具体来讲，
作为输入手段的输入接受部613接受有关销售登记的操作。诸如输入接受部613
从相似度判定部623提示的商品候补接受要进行销售登记商品的选择操作。并
且，诸如接受部613通过显示在预设画面G1(参照图5)的预设按钮B2接受
要进行销售登记的商品选择操作。此外，输入接受部613也可以接受来自键盘
22或触摸面板26之外的输入部的操作。诸如输入部也可以是商品读取装置101
的键盘107或触摸面板105等。
作为登记手段的销售登记部614将被选择的商品和有关销售登记的信息记
录在销售主文件进行销售登记。诸如，根据销售登记部614将预设按钮B2、码
符号、确定商品、及商品候补等被选择的商品记录在销售主文件上。具体来讲，
销售登记部614将已经与预设按钮B2进行了关联的商品记录在销售主文件等。
或者，销售登记部614将根据码符号识别引擎630检测的码符号中读取的商品
记录在销售主文件等。又或者，销售登记部614根据对象识别引擎620识别出
的商品候补中将输入接受部613选择的商品记录在销售主文件等。
作为显示控制手段的显示控制部615控制显示在第一显示装置23上的画面。
诸如，显示控制部615在第一显示装置上显示第一画面预设画面G1。在这里，
图5是显示预设画面G1的一例图。预设画面G1是，通过按下事先设定的预设
按钮B2，将已经与预设按钮B2进行了关联的商品ID的商品进行销售登记的
画面。预设画面G1具有对象识别区域G12、商品分类制表B1和预设按钮B2。
对象识别区域G12是使用在对象识别引擎620所识别出的商品的销售登记
上的区域。对象识别区域G12具有帧图像显示区域G121和商品候补按钮B121。
帧图像显示区域G121是显示摄像部164摄像的帧图像的区域。商品候补按钮
B121是相似度判定部623基于相似度所判定的商品候补的商品ID进行了关联
的按钮。销售登记部614在作为第一输入装置的商品候补按钮B121被按下时，
进行已被关联的商品ID的商品的销售登记。商品分类制表B1是按照商品分类
的制表。显示控制部615在商品分类制表B1被按下时，显示与商品分类制表
B1进行了关联的商品分类的预设按钮B2。预设按钮B2是将事先设定的商品的
商品ID进行了关联的按钮。销售登记部614在作为第二输入装置的预设按钮
B2被按下时，对已进行关联的商品ID的商品进行销售登记。
此外，显示控制部615，即使在商品分类制表B1被按下、并显示其他商品
分类的预设按钮B2的情况下也维持对象识别区域G12的显示。即显示控制部
615，即使被切换成其他商品分类的预设按钮B2的画面仍然显示商品候补按钮
B121。此时，显示控制部615最好是将对象识别区域G12显示在同一个位置上。
由此，操作员能够很容易找到对象识别区域G12。此外，显示控制部615在根
据商品分类制表B1切换画面之后，可以改变对象识别区域G12的显示位置。
并且，在图5显示的帧图像显示区域G121显示在预设画面G1的右下角。
但是显示控制部615也可以将显示帧图像的显示区域G121的地方定为可移动
的。并且，图5表示的帧图像显示区域G121显示三个商品候补。但是显示控
制部615也可以是显示不到三个或四个以上(大于等于四个)的商品候补。
并且，预设画面G1也可以不具有对象识别区域G12的帧图像显示区域
G121。在这里，图6是表示不具有显示框的图像显示区域的预设画面的一例图。
显示控制部615不具有帧图像显示区域G121，就能够显示更多的预设按钮B2。
并且，预设画面G1可以将商品候补按钮B121按照和预设按钮B2相同的
形式显示。在这里图7是表示将商品候补按钮按照预设按钮相同的形态显示在
预设画面的一例图。图7表示的商品候补按钮B121用可以识别的形态显示把
和预设按钮B2相同的形式的按钮作为商品候补的。可以识别的形态是指诸如
改变颜色、标上标记、加上文字行、进行动画处理等。
其次，对有关上述的实施例的POS终端11的CPU61按照控制程序执行的
摄像处理进行说明。摄像处理是指将商品读取部110的摄像部164摄像的帧图
像输出到对象识别引擎620和码符号识别引擎630的处理。通过这个，对象识
别引擎620和码符号识别引擎630对帧图像并列执行处理。
图8是表示摄像处理的流程的流程图。
POS终端11的CPU61(图像采集部611)向摄像部164输出摄像控制信号
从而使摄像部164开始摄像动作(步骤S11)。其次，POS终端11的CPU61(图
像采集部611)将由摄像部164摄像商品并保存在RAM163的帧图像依次进行
采集。(步骤S12)
其次，POS终端11的CPU61(并列控制部612)通知码符号识别引擎630
已将帧图像采集到RAM163(步骤S13)。
再其次，POS终端11的CPU61(并列控制部612)通知对象识别引擎620
已将帧图像采集到RAM163(步骤S14)。
通过以上操作，POS终端11的CPU61结束摄像处理。此外，通知已将帧
图像采集到RAM163的顺序是不做规定的。即POS终端11的CPU61(并列控
制部612)也可以比码符号识别引擎630先通知对象识别引擎620。并且POS
终端11的CPU61(并列控制部612)也可以同时通知码符号识别引擎630和对
象识别引擎620。
其次，对与上述的实施例有关的POS终端11的CPU61按照控制程序，根
据码符号识别引擎630进行的商品识别处理进行说明。根据码符号识别引擎630
进行的商品识别处理是指，码符号识别引擎630根据包含在帧图像中的码符号
对商品进行识别的处理。
图9是表示根据POS终端11的CPU61按照控制程序执行的码符号识别引
擎630进行的商品识别处理的流程的流程图。
POS终端11的CPU61(码符号检测部631)判定有没有从并列控制部612
得到帧图像已被保存到RAM163上的通知(步骤S21)。当没有得到帧图像已被
保存到RAM613上的通知时(步骤S21的否)，POS终端11的CPU61(码符号
检测部631)等待根据码符号识别引擎630进行商品识别处理。
另一方面，当得到帧图像已被保存在RAM613的通知时(步骤S21的是)，
POS终端11的CPU61(码符号检测部631)判定有没有从保存在RAM163上
的帧图像中检测出码符号(步骤S22)。
检测不出码符号时(步骤S22的否)，POS终端11的CPU61(码符号检测
部631)将过渡到步骤S21。
另一方面，当检测出码符号时(步骤S22的是),POS终端11的CPU61(码
符号读取部632)从检测出的码符号读取商品ID(步骤S23)。
其次，POS终端11的CPU61(码符号读取部632)将从码符号读取的商品
ID通知给销售登记部614(步骤S24)。
通过以上操作，POS终端11的CPU61结束根据码符号识别引擎630的商
品识别处理。
其次，对有关所述实施例的POS终端11的CPU61按照控制程序执行的根
据对象识别引擎620进行的商品识别处理进行说明。根据对象识别引擎620进
行的商品识别处理是指，对象识别引擎620抽取包含在帧图像中的商品的特征
量，通过计算出相似度来进行商品的识别的处理。
图10是表示根据POS终端11的CPU61按照控制程序执行的对象识别引
擎进行商品识别的流程的流程图。
POS终端11的CPU61(商品检测部61)判断有没有从并列控制部612得
到帧图像已被保存到RAM163上的通知(步骤S31)。当没有得到帧图像已被保
存到RAM613上的通知时(步骤S31的否)，POS终端11的CPU61(商品检测
部621)处于等待根据码对象识别引擎620进行商品识别处理的状态。
另一方面，当得到帧图像保存在RAM613的通知时(步骤S31的是)，POS
终端11的CPU61(商品检测部621)判断有没有从保存在RAM163上的帧图
像中检测出商品(步骤S32)。当未检测商品时(步骤S32的否)，POS终端11
的CPU61(商品检测部621)将过渡到步骤S31。
另一方面，当检测商品时(步骤S32的是),POS终端11的CPU61(相似
度计算部622)抽取包含在帧图像里的商品的特征量(步骤S33)。
其次，POS终端11的CPU61(相似度计算部622)计算出包含在帧图像里
的商品的相似度(步骤S34)。
其次，POS终端11的CPU61(相似度判定部623)判断存储在HDD64上
的自动登记可否信息641上是否被设定为允许自动登记(步骤S35)。当自动登
记可否信息614上被设定为禁止自动登记时(步骤S35的否)，POS终端11的
CPU61(相似度判定部623)将过渡到步骤S36。
当自动登记可否信息641上被设定为允许自动登记时(步骤S35的是)，
POS终端11的CPU61(相似度判定部623)判定PLU文件F1上是否包含相似度
大于等于第一阈值的登记商品(步骤S36)。
当PLU文件F1上包含相似度大于等于第一阈值的登记商品时(步骤S36
的是)，POS终端11的CPU61(相似度判定部623)将确定商品的商品ID通知
给销售登记部614(步骤S37)。
另一方面，当PLU文件F1上不包含相似度大于等于第一阈值的登记商品
时(步骤S36的否)，POS终端11的CPU61(相似度判定部623)判定将PLU
文件F1上是否包相似度大于等于第二阈值的登记商品(步骤S38)。
当PLU文件F1上包含相似度大于等于第二阈值的登记商品时(步骤S38
的是)，POS终端11的CPU61(相似度判定部623)将商品候补的商品ID通知
给显示控制部615(步骤S39)。因此，POS终端11的CPU61(显示控制部615)
在显示预设画面G1时，将商品候补按钮B121显示出来变为可能。
另一方面，当没有根据计算出的相似度可以作为商品候补列举的商品时(步
骤S38的否)，POS终端11的CPU61(相似度判定部623)不进行特殊的处理。
根据以上，POS终端11的CPU61结束根据对象识别引擎620的商品识别
处理。
其次，对与所述实施例有关的POS终端11的CPU61按照控制程序执行的
销售登记处理进行说明。
图11是表示POS终端11的CPU61根据控制程序进行销售登记处理的流
程的流程图。
POS终端11的CPU61(显示控制部615)显示预设画面G1(步骤S41)。
其次，POS终端11的CPU61(输入接受部613)判定是否检测预设画面G1
的预设按钮B2被按下(步骤S42)。当检测预设画面G1的预设按钮B2被按下
时(步骤S42的是)，POS终端11的CPU61(销售登记部614)将已关联了预设
按钮B2的商品ID的商品进行销售登记(步骤S43)。
另一方面，当未检测预设画面G1的预设按钮B2被按下时(步骤S42的否)，
POS终端11的CPU61(销售登记部614)判定由码符号读取的商品ID是否被通
知(步骤S44)。
当由码符号读取的商品ID被通知时(步骤S44的是)，POS终端11的
CPU61(销售登记部614)将得到通知的商品ID的商品进行销售登记(步骤S45)。
另一方面，当由码符号读取的商品ID未被通知时(步骤S44的否)，POS
终端11的CPU61(输入接受部613)将判定确定商品的商品ID是否被(指步骤
S46)。
当确定商品的商品ID被通知时(步骤S46的是)，POS终端11的CPU61(销
售登记部614)将确定商品的商品ID的商品进行销售登记(步骤S47)。
另一方面，当确定商品的商品ID未被通知时(步骤S46的否)，POS终端
11的CPU61(输入接受部613)判定是否检测商品候补按钮B121被按下(步骤
S48)。
当检测商品候补按钮B121被按下时(步骤S48的是)，POS终端11的CPU61
(销售登记部614)将已关联于商品候补按钮B121的商品ID的商品进行销售
登记(步骤S49)。
另一方面，当未检测商品候补按钮B121被按下时(步骤S48的否)，POS
终端11的CPU61(输入受部613)判定是否检测商品分类制表(商品分类标签)
B1被按下(步骤S50)。
当未检测商品分类制表B1被按下时(步骤S50的否)，POS终端11的
CPU61(输入受部613)返回步骤S42。
另一方面，当检测商品分类制表B1被按下时(步骤S50的是)，POS终端
11的CPU61(销售登记部614)将显示已关联商品分类制表B1的商品分类的预
设画面G1(步骤S51)。此时，POS终端11的CPU61(显示控制部615)将维
持对象识别区域G12的显示。
接着，POS终端11的CPU61判定是否检测固定键22f被按下(步骤S52)。
当未检测固定键22f被按下时(步骤S52的否)，POS终端11的CPU61返回步
骤S41。
另一方面，当检测固定键22f被按下时(步骤S52的是)，POS终端11的
CPU61对已进行销售登记的商品执行结账处理(步骤S53)。
根据以上，POS终端11的CPU61结束销售登记处理。
如上所述，根据本实施例中的POS终端11可知，显示控制部615将对象
识别引擎620所识别的商品候补显示在预设画面G1上，预设画面G1是能够根
据预先与食品进行关联的预设按钮B2进行销售登记，并且销售登记部614将
商品候补或预设按钮B2所选择的商品进行销售登记，因此有关本实施例的POS
终端11无需切换画面，从而能够用简单的操作做到根据一般物体识别进行销售
登记。
此外，对本发明的几个实施例进行了说明，但是这些实施例是作为例子提
出的，并不意图限定发明的范围。这些新颖的实施例可以用其他的各种形式来
实施，在不脱离发明要旨的范围内可以进行各种省略、替换、变更。这些实施
例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所
记载的发明和其等同的范围内。
例如，在所述实施例中，虽然设定为POS终端11具有PLU文件F1的形
式，但是不仅限于此形式，但是也可以是商品读取装置101具有PLU文件F1
的形式。或者也可以是POS终端11及商品读取装置101可以连接的外部装置
具有PLU文件F1的形式。
并且，在所述实施例中，作为拥有图像采集部611、并列控制部612、对象
识别引擎620、码符号识别引擎630、输入接受部613、销售登记部614、及显
示控制部615的功能的信息处理装置，适用了POS终端11。但是并不限于此，
具备上述功能的信息处理装置也可以适用将计算结果和/或判定结果输出给
POS终端11的商品读取装置101。并且在所述实施例中，虽然把核对用数据作
为特征量进行了说明，但是核对用数据也可以是拍摄的商品图像(基准图像)。
并且在所述实施例中，虽然作为店铺系统，适用了POS终端11和商品读
取装置101所构成的结账系统1。但是并不限于此，也可以适用集POS终端11
及商品读取装置101的功能于一台的装置。作为集POS终端11及商品读取装
置101的功能于一台的装置，可以列举在超市等店铺中设置并使用的自助结账
装置(以下成自助POS)。
在这里，图12是表示自助POS机的结构的外观立体图。图13是表示自助
POS机的硬盘结构的框图。此外，以下对关于图1及图2所示的相同构成附加
同一符号表示，对其重复的说明进行省略。如图12及图13所示，自助POS200
的主机202具有在表面上配置了触摸面板105的第一显示装置106、为了识别
(检测)商品的种类读取商品图像的商品读取部110。
第一显示装置106是诸如液晶显示器等。第一显示装置106诸如显示向导
画面、输入画面、销售登记画面及结算画面等。向导画面是告知顾客如何使用
自助POS200的操作的画面。输入画面是要求输入各种信息的画面。销售登记
画面是显示通过商品读取部110读取的商品信息的画面。结算画面是显示商品
的合计金额和/或收取金额、找零金额等、并选择支付方法的画面。
商品读取部110是顾客将附在商品上的码符号对准商品读取部110的读取
窗103，从而由摄像部164读取商品图像的。
并且，主机202在右边具有商品放置台203，用来放置装有未结算的商品
的购物筐153。主机202在左侧具有放置台204，放置台204具有悬挂放入了已
结算商品的袋子用的挂钩205、将已结算商品放入袋子之前临时放置的临时放
置台206。商品放置台203、204分别具有计量器207、208，具有在结算前后确
认其重量为一致的功能。
并且，自助POS200在主机202上具有放入结算用的纸币或领取找零的纸
币的找零机201。
当将这样的构成的自助POS200适用于店铺时，自助POS200将作为信息
处理装置发挥功能。
在所述实施例或变形例的各装置被执行的程序虽然是在各装置所具备的存
储介质(ROM或存储部)上预先组装好再提供的，但是并不限定于此，也可以
采取诸如将可以下载的形式或可以执行的形式的文件储存在CD-ROM、磁盘
(FD)、CD-R、DVD(DigitalVersatileDisk)等可以用计算机读取的记录介质上
提供的构成。并且存储介质不仅限于计算机或组装系统和独立的介质，还包括
通过LAN或网络等传达的程序下载下来进行存储或临时存储的存储介质。
并且，也可以是把在所述实施例或其变形例中的各个装置上执行的程序，
存储在连接了因特网等网络的计算机上，通过网络进行下载的形式来提供的构
成、也可以是通过因特网等网络提供或分发的构成。
附图标记说明
1结账系统11POS终端61CPU611图像采集部612并列控制部613
输入接受部614销售登记部615显示控制部620对象识别引擎621商
品检测部622相似度计算部623相似度判定部630码符号识别引擎
631码符号检测部632码符号读取部64HDD641自动登记可否信息