图像处理方法、图像处理装置及扫描仪.pdf

上传人:Y0****01 文档编号:4336617 上传时间:2018-09-14 格式:PDF 页数:19 大小:612.06KB
返回 下载 相关 举报
摘要
申请专利号:

CN201110159926.1

申请日:

2011.06.15

公开号:

CN102833459A

公开日:

2012.12.19

当前法律状态:

撤回

有效性:

无权

法律详情:

发明专利申请公布后的视为撤回IPC(主分类):H04N 1/387申请公布日:20121219|||实质审查的生效IPC(主分类):H04N 1/387申请日:20110615|||公开

IPC分类号:

H04N1/387; H04N1/56; G06T11/00

主分类号:

H04N1/387

申请人:

富士通株式会社

发明人:

谢术富; 何源; 孙俊; 于浩; 直井聪

地址:

日本神奈川县

优先权:

专利代理机构:

北京集佳知识产权代理有限公司 11227

代理人:

王萍;李春晖

PDF下载: PDF下载
内容摘要

提供一种图像处理方法和图像处理装置。该图像处理方法包括:确定图像中前景对象的边缘图;从所述边缘图得出边界线的候选,从所述边界线的候选中确定边界线,所述边界线限定前景对象中特定对象的边界;去除位于所述边界线以外、除所述特定对象之外的其他前景对象。该方法可用来去除拍摄的图像中特定对象边界外的其他对象的图像,例如手部。利用根据本发明实施例的图像处理方法,可以准确地确定图像中特定对象的边界,由此去除边界之外的其他对象的部分,为后续的其他图像处理提供良好的基础。

权利要求书

1.一种图像处理方法,包括:确定图像中前景对象的边缘图;从所述边缘图得出边界线的候选,从所述边界线的候选中确定边界线,所述边界线限定前景对象中特定对象的边界;以及去除位于所述边界线以外、除所述特定对象之外的其他前景对象。2.根据权利要求1所述的方法,其中确定所述图像中前景对象的边缘图包括:求所述被摄图像的二值模板,在所述二值模板中,背景对象与前景对象被区分开来;然后根据所述二值模板确定所述边缘图。3.根据权利要求2所述的方法,其中根据所述二值模板确定所述边缘图包括:在二值模板图像中心一侧的区域中选择前景像素,如果比所述前景像素更远离所述前景对象中心的、与该前景像素相邻的像素是背景像素,则确定所述前景像素是边缘图的像素。4.根据权利要求1所述的方法,其中确定图像中前景对象的边缘图包括:计算前景对象的前景像素与其邻居像素在亮度上的差异,该邻居像素位于所述前景像素的一侧、与所述前景像素相邻、并且比所述前景像素更远离前景对象中心,如果所述差异超过预定的第一阈值则认为该前景像素是边缘图的像素。5.根据权利要求1所述的方法,其中从所述边缘图得出边界线的候选包括:在得出的所述边缘图上,以预定尺寸的区域为单位获取前景像素的数目,所述前景像素的数目是从所述预定尺寸的区域中包含的所述边缘图中的前景像素统计得到的,并选择其前景像素的数目大于预定的第二阈值的区域;以及从选择的区域中包含的前景像素拟合出所述边界线的候选。6.根据权利要求1所述的方法,从所述边界线的候选中确定边界线包括:对于所述边界线的每个候选,从原始图像中获取在所述边界线的候选的两侧与所述边界线的候选相邻的特定宽度的区域的特征表示;确定两侧的所述区域的特征表示之间的差,并选择特征表示之间的差最大的边界线的候选作为所述边界线。7.根据权利要求6所述的方法,其中选择特征表示之间的差最大且超过设定阈值的候选作为所述边界线。8.根据权利要求6所述的方法,其中所述特征表示包括与两侧的所述区域分别对应的彩色直方图或灰度直方图,其中两侧的所述区域中的每个区域被划分为若干个子区域,并从每个子区域中统计得到彩色或灰度直方图,然后这些子区域的直方图连接起来得到该区域的特征表示。9.一种图像处理装置,该装置包括:边缘图确定部件,用于确定图像中前景对象的边缘图;边界线确定部件,用于从所述边缘图得出边界线的候选,从所述边界线的候选中确定边界线,所述边界线限定前景对象中特定对象的边界;以及去除部件,用于去除位于所述边界线以外、除所述特定对象之外的其他前景对象。10.一种扫描仪,包括如权利要求9所述的图像处理装置。

说明书

图像处理方法、图像处理装置及扫描仪

技术领域

本发明涉及图像处理领域,具体地涉及一种从拍摄的图像中去除特定对
象的边界之外的其他对象的方法。

背景技术

在利用照相机或扫描仪捕获较厚的文档图像时,用户经常需要用手或其
他物品来按压文档的两侧来保持文档的平整,如图1(a)所示。在文档图像中,
手或其他物品的存在会影响一些后续的处理结果,如文档顶点的定位以及文
档图像的校正。如图1(b)所示,手的存在影响了书本角点的检测,使得定位
的角点与真实的角点之间存在偏差。因此需要去除图像中特定对象(例如图
1(b)中书本)边界之外的手部,以尽可能减少手的存在对后续处理结果的影
响。

传统的手部检测方法主要有两大类:一类是利用大量训练数据建立肤色
模型来对图像像素分类,从而检测到手部区域;另一类则基于大量训练数据
建立统计模型对手部进行检测,在检测到手部区域后再利用肤色模型准确地
定位出手部的边界。第一类方法的缺点在于,它受训练数据的影响比较大,
如果肤色模型不能很好地建模测试图像中手部的颜色,或者测试图像中出现
许多与肤色接近的非手部区域,该类方法很可能会失效;第二类方法的缺点
在于,它需要大量的手部训练数据来学习一个具有较强分类能力的分类器。
由于手部姿态变化的多样性,该类方法的有效性不能保证。

发明内容

鉴于以上问题,本发明的实施例提出利用图像中特定对象的边界来保留
两边界之间的区域,从而从图像中间接地去除了手部或者其他非特定对象的
区域。根据本发明的实施例,不需要大量离线的训练数据来构建模型,而只
从当前图像来拟合文档的边界,处理便捷,具有很好的推广性。此外,这种
去除其他对象区域的技术能够显著地提高图像处理的效率和精确度。

根据本发明实施例,提供一种图像处理方法,包括:确定图像中前景对
象的边缘图;从所述边缘图得出边界线的候选,从所述边界线的候选中确定
边界线,所述边界线限定前景对象中特定对象的边界;去除位于所述边界线
以外、除所述特定对象之外的其他前景对象。

根据本发明另一实施例,提供一种图像处理装置,该装置包括:边缘图
确定部件,用于确定图像中前景对象的边缘图;边界线确定部件,用于从所
述边缘图得出边界线的候选,从所述边界线的候选中确定边界线,所述边界
线限定前景对象中特定对象的边界;去除部件,用于去除位于所述边界线以
外、除所述特定对象之外的其他前景对象。

根据本发明的再一实施例,提供一种程序产品,其包含有机器可读取的
指令代码,这些指令代码由机器读取并执行时,可执行上述的图像处理方法。

根据本发明的又一实施例,提供一种存储介质,其承载有上述的根据本
发明实施例的程序产品。

附图说明

下面结合具体的实施例,并参照附图,对本发明实施例的上述和其它目
的和优点做进一步的描述。在附图中,相同的或对应的技术特征或部件将采
用相同或对应的附图标记来表示。在附图中:

图1(a)是示出用手按压书本两侧来保持书本平整的示意图;

图1(b)是示出在书面边界存在手的情况下对角点的误判的示例图;

图2是示出根据本发明实施例去除图1(a)中所示的边界外的手部的处
理过程的示意图;

图3是示出从输入图像确定边缘图的处理的流程图;

图4(a)和图4(b)是示出原始图像和二值模板图像对比图的示例图;

图5(a)和图5(b)是示出得到的左右边缘图的示例图,图5(c)和
图5(d)是示出从左右边缘图拟合得到的边界线候选的示例图;

图6(a)和6(b)是示出从边缘图确定边界线的处理的流程图;

图7(a)是示出在拟合直线两侧取特定宽度区域的示例图,图7(b)
是示出获取拟合直线两侧特征向量的示例图;

图8(a)和图8(b)是示出原始图像和去除手部之后图像的对比示例
图;

图9是根据本发明又一实施例的图像处理装置的配置的框图;

图10(a)和图10(b)分别是示出根据本发明又一实施例的图像处理
装置中的边缘图确定部件的配置的框图;

图11是根据本发明又一实施例的图像处理装置中的边界线确定部件的
配置的框图;以及

图12是示出了可用来实现根据本发明实施例的图像处理方法的通用计
算机系统的结构简图。

具体实施方式

下面参照附图来说明本发明的实施例。应当注意,为了避免因不必要的
细节而模糊了本发明,在附图中仅仅示出了与根据本发明的实施方案密切相
关的设备结构和/或处理步骤,而省略了与本发明关系不大的其他细节。在各
附图中相同或者相似的构成元素或部分利用相同或者类似的附图标记来表
示。

根据本发明实施例,提供一种图像处理方法,该方法包括:确定图像中
前景对象的边缘图(S210);从该边缘图得出边界线的候选,从该边界线的候
选中确定边界线,该边界线限定前景对象中特定对象的边界(S220);以及去
除位于边界线以外、除特定对象之外的其他前景对象(S230)。

下面以去除图1(a)中所示的图像中的非特定对象、在该图中为书本的
边界之外的手部为例,参考附图对本发明的实施例进行详细说明。在图1(a)
中,书本和手部都是前景对象。当然,本领域技术人员理解,根据本发明实
施例的图像处理方法也同样适用于去除书本边界之外的、除了手部的其他对
象。而且,待确定边界以便去除其他对象的区域的特定对象也不限于是书本,
根据需要可以是图像中任何前景对象。

在该实施例中,假定需要确定书本左右边界并去除左右边界之外的手部
区域。但是本领域技术人员了解,如果手部或者其他物品在图像中位于书本
的上下边界处,则根据本发明实施例的图像处理方法可以类似地进行处理。

下面对图2中的各步骤的各种具体实现方式进行详细说明。

首先参考图3描述确定边缘图的步骤S210的一种具体实现方式。

如图3所示,首先在步骤S310从输入图像确定二值模板图像。下面对
获取二值模板图像的一个具体例子进行简单说明。

给定一幅输入图像f(x,y)(0≤x≤w-1,0≤y≤h-1)(w和h分别表示输入图
像的宽度与高度),根据其边界区域估计出背景部分的颜色均值fbackground。这里
假定背景区域是均一的纹理区域,因而根据图像的边界区域可以容易地估算
出背景的颜色均值。然后,根据估计的背景颜色均值可以从原始图像中计算
得到距离图像,如等式(1)所示:

dist(x,y)=|f(x,y)-fbackground|                  (1)

这里,|·|表示两个向量之间的L1距离(街区距离)。L1距离是本领域惯
用的表示两个向量之间距离的参数,其概念及其求取方法为本领域技术人员
所熟知,具体细节在此不再赘述。对距离图像dist(x,y)(0≤x≤w-1,0≤y≤
h-1),根据Otsu算法可以得到阈值T,并根据该阈值对输入图像进行二值化,
如等式(2)所示:

mask ( x , y ) = 0 if dist ( x , y ) > T 255 else - - - ( 2 ) ]]>

图4(a)和(b)分别示出了输入图像及其二值模板图像。可以看到,
图4(b)中模板图像里的前景像素(即黑色像素)包含了手和书本。

返回参考图3,在得到二值模板图像之后,开始从二值模板图像获取边
缘图的处理。具体来讲:在步骤S320,在模板图像中心位置的左侧区域中,
选择前景像素;然后在步骤S330,判断它的左邻居像素是否为背景(白色)像
素,如果是,则在步骤S340将该前景像素选择为左边缘图的像素,否则在
步骤S350拒绝该像素。图3示例性地示出了获取左边缘图像素的过程,类
似地,根据二值模板图像计算右边缘图的过程如下:在模板图像中心位置的
右侧的区域中,如果当前像素是前景像素(黑色)且它的右邻居像素是背景(白
色)像素,则该前景像素是右边缘图的像素。上述处理可以在图4(b)所示
模板图像的上下边界l1、l2之间进行,也可以整个图像的上下边界m1、m2
之间进行,本发明在此不受限制。模板图像的中心、上下边界可通过现有技
术得到,本发明在此不对其进行说明。图5(a)和(b)分别示出了因此得
到的二值模板图像的左边缘图和右边缘图。

从原始文档图像得到边缘图的方式不限于以上所述,还可以采用其他方
式。比如,在获取左边缘图时,计算原始图像上前景像素的亮度值与其左邻
居像素在亮度上的差异,如果差异超过设定的阈值,则认为该像素是左边缘
图像素;类似地,计算原始图像上每个前景像素与其右邻居像素亮度的差异,
如果差异超过设定的阈值则认为该像素是右边缘像素。上述阈值可以根据实
际情况、比如原始图像前景像素与背景像素的亮度差异来设置,也可以通过
若干次试验或者通过经验值得到。

现在返回参考图2,从原始图像确定边缘图S210之后,开始了下一步的
处理,即从该边缘图得出边界线的候选,从该边界线的候选中确定边界线
S220。下面参考图6对步骤S220的一种具体实现方式进行详细说明。

从该边缘图得出边界线的候选,从该边界线的候选中确定边界线(S220)
包括:首先从边缘图拟合出边界线的候选(图6a),然后从边界线的候选中
选择边界线(图6b)。

首先参考图6a说明从边缘图拟合出边界线的候选的一个具体例子的处
理过程。下面的说明以左边缘图为例,对于右边缘图的情况同样适用。在步
骤S610,沿水平方向(即文档的上下边缘的方向)将左边缘图划分为具有预
定尺寸的若干个区域,例如具有预定宽度的若干个矩形区域,并在每个区域
内统计前景像素的数目。在步骤S620,选择前景像素数目超过设定阈值的区
域,即只有前景像素数目超过设定阈值的区域才会保留下来,在步骤S630
利用该区域内的前景像素拟合直线。拟合直线的方法可以例如采用最小二乘
回归方法,当然,也可以利用任何现有技术的合适的直线拟合方法来获得直
线拟合的结果。在步骤S640中,得到拟合直线,即边界线的候选。图5(a)
和(b)分别示出了在左边缘图和右边缘图上拟合得到的直线结果。如图5(a)-(b)
所示,虚线表示拟合得到的边界线候选。虽然每幅图只给出了两条候选,但
是这只是示意,但实际得到的候选可能更多或者更少。当然,在此阶段尚未
确定出该实际的边界线。

从拟合的直线选择边界线的过程的一个例子如图6b所示。具体地讲,
在步骤S650,对每条拟合的直线,即,每个边界线的候选,在直线的每一侧
分别取特定宽度的区域,如图7a所示。注意,该特定宽度的区域是在原始
图像上提取的。图7a示出了在图像中特定对象,即书本的上下边界l1、l2之
间取矩形区域的情况,应理解本发明不限于此,还可以在整个原始图像的上
下边界m1、m2之间取该区域,对此可根据具体情况进行选择。然后,在步
骤S660计算这两个区域的特征表示之间的差。可以通过L1距离、欧式距离
等计算该差,本发明在此不受限制。在步骤S670,对于从左边缘图和右边缘
图拟合得到的直线,分别从中选择出两侧区域差最大的直线。在步骤S680,
判断选择出的直线的两侧区域的差是否超过了设定的阈值,如果是,则在步
骤S690接受该直线作为书本的边界;否则,在步骤S685拒绝该直线。在一
种可替选实施方式中,也可以不进行最后的判断步骤S680,直接采纳具有最
大的特征表示的差的边界线候选作为最终得到的实际边界线。

如果进行步骤S680的判断,则可以获得进一步的益处,即,可以最大
限度地降低误判率。误判指把书本中间部分的线当作边界线等,从而在接下
来的处理中去除了不该去除的内容,例如书本本身的内容。

在步骤S660中,计算两个区域的特征表示之间的差。下面结合图7(b)
描述如何计算两侧的特征表示之差的一个具体例子。如图7(b)所示,将所
选取的每个区域采用了分区域的直方图特征表示,即:将每个区域沿水平和
竖直方向分别划分,得到若干个子区域;在每个子区域内,将每个像素的R,
G,B颜色值根据设定的量化区间分别量化到不同的区间内,然后分别在R,
G,B三个颜色通道上计算每个子区域的颜色直方图,并将这三个直方图连
接起来作为该子区域的颜色直方图表示;最后,将这些子区域的颜色直方图
表示连接起来得到整个区域的颜色直方图表示。该特征表示也可以不用直方
图来表示,只要能得到待处理的边界线候选两侧的特征表示之差即可。颜色
直方图是本领域常用的概念,其用于描述不同色彩在整幅图像中所占的比
例,而并不关心每种色彩所处的空间位置。直方图中的数值都是统计而来,
描述了该图像中关于颜色的数量特征,可以反映颜色直方图图像颜色的统计
分布和基本色调。有关颜色直方图的更为详细的信息可参见:Shapiro,Linda 
G.以及Stockman,George C.所著的“Computer Vision”Prentice Hall,2003 
ISBN 0130307963;“Color Histogram”
http://en.wikipedia.org/wiki/Color_histogram。

虽然在上述获取特征表示之差的处理中使用的是颜色直方图特征,但
是,当然可以应用任何其他合适的特征表示,只要这种特征表示足以表达出
边界线候选两侧的特定区域(在该例中为特定宽度的矩形区域)之间的差异
即可。此外,用来计算特征表示之差的区域也不必是矩形的,任何适当的形
状都是可用的。

容易理解,在一个具体例子中,如果经过上述的处理只获得了一条边界
线候选,则可径直将该候选作为最终的实际边界线。

返回参考图2,在步骤S220之后,执行步骤S230的处理,即去除位于
边界线以外、除特定对象之外的其他前景对象,在该实施例中为书本边界之
外的手部。这样就得到了去除手部之后的书本图像。图8(a)和(b)分别
绘出了原始图像及去除手部后的示例图像。

注意,在上述的处理中,如果作为特定对象的书本具有较大的倾斜,例
如不在图像竖直方向的一定范围内(例如,-15°~15°),则根据一种优选实施
例,可以先利用一些现有的技术来估计出待处理图像的方向并进行校正,从
而使得待处理图像中书本对象的偏斜在预定范围之内,这样可以更进一步提
升上述的图像处理的精确度。有关估计图像的方向并进行校正的现有技术,
例如请参考Sun Changming,Si Deyi的“Skew and Slant Correction for 
Document Images Using Gradient Direction”,第四届国际文档分析和识别会
议。

在上面的详细描述中,虽然是以去除书本图像边界之外存在的手部图像
为例,但是本领域技术人员了解,这种图像处理技术同样可以应用于去除除
了书本图像边界之外的各种其他的物品的图像,具体细节在此不再逐一赘
述。

而且,上面对各实施例和具体例子的描述都是确定图像中特定对象(例
如书本)的左右边界之间的区域以便去除边界之外的手部区域,但是,根据
本发明的实施例的处理同样可以用于确定图像中特定对象的上下边界之间
的区域以便去除边界之外的其他物品的区域。其处理过程是类似的,为简洁
起见,在此不再赘述。

与本发明实施例提供的图像处理方法相对应,本发明实施例还提供了一
种图像处理装置,参见图9,该装置包括:

边缘图确定部件901,用于确定图像中前景对象的边缘图;

边界线确定部件902,用于从边缘图得出边界线的候选,从边界线的候
选中确定边界线,该边界线限定前景对象中特定对象的边界;

去除部件903,用于去除位于边界线以外、除特定对象之外的其他前景
对象。

根据一个具体例子,在确定边缘图时可以采用二值模板,此时参考图
10a,边缘图确定部件901可以包括:

二值模板确定部件9011,用于求被摄图像的二值模板,在该二值模板中,
背景对象与前景对象被区分开来;边缘图确定部件901根据二值模板确定部
件9011确定的二值模板来确定所述边缘图。

根据另一个具体例子,确定边缘图时还可以采用亮度差异,此时参考图
10b,边缘图确定部件901还可以包括:

亮度差异计算部件9012,用于确定图像中前景对象的前景像素与其邻居
像素的亮度上的差异,该邻居像素位于前景像素的一侧、与前景像素相邻、
并且比前景像素更远离前景对象中心,如果该差异超过预定的第一阈值则认
为该前景像素是边缘图的像素。

根据又一个具体例子,参考图11,边界线确定部件902可包括:

区域获取部件9021,用于在得出的边缘图上,以预定尺寸的区域为单位
获取前景像素的数目,前景像素的数目是从预定尺寸的区域中包含的边缘图
中的前景像素统计得到的,并选择其前景像素的数目大于预定的第二阈值的
区域;

候选拟合部件9022,用于从选择的区域中包含的前景像素拟合出边界线
的候选;

特征表示获取部件9023,用于从原始图像中获取在边界线的候选的两侧
与边界线的候选相邻的特定宽度的区域的特征表示;确定两侧的区域的特征
表示之间的差,并选择特征表示之间的差最大的边界线的候选作为边界线。

上述结合图9-11描述的根据本发明实施例的图像处理装置及其各组成
部件,例如可以被配置成执行上述结合图2-8描述的本发明实施例的图像处
理方法,并且可以获得类似的益处。具体细节可以参见上述相关描述,在此
不再逐一赘述。

上面已通过框图、流程图和/或实施例进行了详细描述,阐明了根据本
发明的实施例的装置和/或方法的不同实施方式。当这些框图、流程图和/或
实施例包含一个或多个功能和/或操作时,本领域的技术人员明白,这些框
图、流程图和/或实施例中的各功能和/或操作可以通过各种硬件、软件、固
件或实质上它们的任意组合而单独地和/或共同地实施。在一种实施方式中,
本说明书中描述的主题的几个部分可通过特定用途集成电路(ASIC)、现场
可编程门阵列(FPGA)、数字信号处理器(DSP)或其他集成形式实现。然而,
本领域的技术人员会认识到,本说明书中描述的实施方式的一些方面能够全
部或部分地在集成电路中以在一个或多个计算机上运行的一个或多个计算
机程序的形式(例如,以在一个或多个计算机系统上运行的一个或多个计算
机程序的形式)、以在一个或多个处理器上运行的一个或多个程序的形式(例
如,以在一个或多个微处理器上运行的一个或多个程序的形式)、以固件的
形式、或以实质上它们的任意组合的形式等效地实施,并且,根据本说明书
中公开的内容,设计用于本公开的电路和/或编写用于本公开的软件和/或固
件的代码完全是在本领域技术人员的能力范围之内。

例如,上述图2、3和6中所示的去除书本边界外的手部的处理流程图
中的各个步骤可以通过软件、固件、硬件或其任意组合的方式来执行。在通
过软件或固件实现的情况下,可从存储介质或网络向具有专用硬件结构的计
算机(例如图12所示的通用计算机1200)安装构成该软件的程序,该计算
机在安装有各种程序时,能够执行各种功能。

图12是示出了可用来实现根据本发明实施例的图像处理方法的通用计
算机系统的结构简图。计算机系统1200只是一个示例,并非暗示对本发明
的方法和装置的使用范围或者功能的局限。也不应将计算机系统1200解释
为对示例性操作系统1200中示出的任一组件或其组合具有依赖或需求。

在图12中,中央处理单元(CPU)1201根据只读存储器(ROM)1202中存
储的程序或从存储部分1208加载到随机存取存储器(RAM)1203的程序执行
各种处理。在RAM 1203中,还根据需要存储当CPU 1201执行各种处理等
等时所需的数据。CPU 1201、ROM 1202和RAM 1203经由总线1204彼此
连接。输入/输出接口1205也连接到总线1204。

下述部件也连接到输入/输出接口1205:输入部分1206(包括键盘、鼠
标等等)、输出部分1207(包括显示器,例如阴极射线管(CRT)、液晶显示
器(LCD)等,和扬声器等)、存储部分1208(包括硬盘等)、通信部分1209
(包括网络接口卡例如LAN卡、调制解调器等)。通信部分1209经由网络
例如因特网执行通信处理。根据需要,驱动器1210也可连接到输入/输出接
口1205。可拆卸介质1211例如磁盘、光盘、磁光盘、半导体存储器等等可
以根据需要被安装在驱动器1210上,使得从中读出的计算机程序可根据需
要被安装到存储部分1208中。

在通过软件实现上述系列处理的情况下,可以从网络例如因特网或从存
储介质例如可拆卸介质1211安装构成软件的程序。

本领域的技术人员应当理解,这种存储介质不局限于图12所示的其中
存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1211。可
拆卸介质1211的例子包含磁盘(包含软盘)、光盘(包含光盘只读存储器
(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半
导体存储器。或者,存储介质可以是ROM 1202、存储部分1208中包含的硬
盘等等,其中存有程序,并且与包含它们的设备一起被分发给用户。

因此,本发明还提出了一种存储有机器可读取的指令代码的程序产品。
所述指令代码由机器读取并执行时,可执行上述根据本发明实施例的获取内
容彼此相对应的多种语言对齐文本的方法。相应地,用于承载这种程序产品
的上面列举的各种存储介质也包括在本发明的公开中。

在上面对本发明具体实施例的描述中,针对一种实施方式描述和/或示出
的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其
它实施方式中的特征相组合,或替代其它实施方式中的特征。

应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的
存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
涉及序数的术语“第一”,“第二”等并不表示这些术语所限定的特征、要素、
步骤或组件的实施顺序或者重要性程度,而仅仅是为了描述清楚起见而用于
在这些特征、要素、步骤或组件之间进行标识。

此外,本发明的各实施例的方法不限于按照说明书中描述的或者附图中
示出的时间顺序来执行,也可以按照其他的时间顺序、并行地或独立地执行。
因此,本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

关于包括以上实施例的实施方式,还公开下述附记:

附记1.一种图像处理方法,包括:

确定图像中前景对象的边缘图;

从所述边缘图得出边界线的候选,从所述边界线的候选中确定边界
线,所述边界线限定前景对象中特定对象的边界;

去除位于所述边界线以外、除所述特定对象之外的其他前景对象。

附记2.根据附记1所述的方法,其中确定所述图像中前景对象的边
缘图包括:求所述被摄图像的二值模板,在所述二值模板中,背景对象与
前景对象被区分开来;然后根据所述二值模板确定所述边缘图。

附记3.根据附记2所述的方法,其中根据所述二值模板确定所述边
缘图包括:在二值模板图像中心一侧的区域中选择前景像素,如果比所述
前景像素更远离所述前景对象中心的、与该前景像素相邻的像素是背景像
素,则确定所述前景像素是边缘图的像素。

附记4.根据附记1所述的方法,其中确定图像中前景对象的边缘图
包括:计算前景对象的前景像素与其邻居像素在亮度上的差异,该邻居像
素位于所述前景像素的一侧、与所述前景像素相邻、并且比所述前景像素
更远离前景对象中心,如果所述差异超过预定的第一阈值则认为该前景像
素是边缘图的像素。

附记5.根据附记1-4中的任一项所述的方法,其中从所述边缘图得出
边界线的候选包括:

在得出的所述边缘图上,以预定尺寸的区域为单位获取前景像素的数
目,所述前景像素的数目是从所述预定尺寸的区域中包含的所述边缘图中
的前景像素统计得到的,并选择其前景像素的数目大于预定的第二阈值的
区域;以及

从选择的区域中包含的前景像素拟合出所述边界线的候选。

附记6.根据附记1-5中的任一项所述的方法,从所述边界线的候选
中确定边界线包括:

对于所述边界线的每个候选,从原始图像中获取在所述边界线的候选
的两侧与所述边界线的候选相邻的特定宽度的区域的特征表示;

确定两侧的所述区域的特征表示之间的差,并选择特征表示之间的差
最大的边界线的候选作为所述边界线。

附记7.根据附记6所述的方法,其中选择特征表示之间的差最大且
超过设定阈值的候选作为所述边界线。

附记8.根据附记6所述的方法,其中所述特征表示包括与两侧的所
述区域分别对应的彩色直方图或灰度直方图,其中两侧的所述区域中的每
个区域被划分为若干个子区域,并从每个子区域中统计得到彩色或灰度直
方图,然后这些子区域的直方图连接起来得到该区域的特征表示。

附记9.根据附记1-8中的任一项所述的方法,其中所述边缘图包括左
边缘图和右边缘图,且所述边界线包括左边界线和右边界线。

附记10.一种图像处理装置,用于执行附记1-9中的任一项所述的方
法,该装置包括:

边缘图确定部件,用于确定图像中前景对象的边缘图;

边界线确定部件,用于从所述边缘图得出边界线的候选,从所述边界
线的候选中确定边界线,所述边界线限定前景对象中特定对象的边界;

去除部件,用于去除位于所述边界线以外、除所述特定对象之外的其
他前景对象。

附记11.根据附记10所述的图像处理装置,其中所述边缘图确定部件
包括:二值模板确定部件,用于求被摄图像的二值模板,在所述二值模板
中,背景对象与前景对象被区分开来。

附记12.根据附记10或11所述的图像处理装置,所述边缘图确定部
件还包括亮度插值计算部件,用于确定图像中前景对象的前景像素与其邻
居像素在亮度上的差异,该邻居像素位于所述前景像素的一侧、与所述前
景像素相邻、并且比所述前景像素更远离前景对象中心,如果所述差异超
过预定的第一阈值则认为该前景像素是边缘图的像素。

附记13.根据附记10-12中的任一项所述的图像处理装置,其中所述
边界线确定部件包括:

区域获取部件,用于在得出的所述边缘图上,以预定尺寸的区域为单
位获取前景像素的数目,所述前景像素的数目是从所述预定尺寸的区域中
包含的所述边缘图中的前景像素统计得到的,并选择其前景像素的数目大
于预定的第二阈值的区域;

候选拟合部件,用于从选择的区域中包含的前景像素拟合出所述边界
线的候选;

特征表示获取部件,用于从原始图像中获取在所述边界线的候选的两
侧与所述边界线的候选相邻的特定宽度的区域的特征表示;确定两侧的所
欲区域的特征表示之间的差,并选择特征表示之间的差最大的边界线的候
选作为边界线。

附记14.一种扫描仪,包括根据附记10-13中的任一项所述的图像处
理装置。

附记15.一种程序产品,其包含有机器可读取的指令代码,这些指令
代码由机器读取并执行时,可执行上述的图像处理方法。

附记16.一种存储介质,其承载有上述的根据本发明实施例的程序产
品。

尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露,
但是,应该理解,本领域的技术人员可在所附权利要求的精神和范围内设计
对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当
被认为包括在本发明的保护范围内。

图像处理方法、图像处理装置及扫描仪.pdf_第1页
第1页 / 共19页
图像处理方法、图像处理装置及扫描仪.pdf_第2页
第2页 / 共19页
图像处理方法、图像处理装置及扫描仪.pdf_第3页
第3页 / 共19页
点击查看更多>>
资源描述

《图像处理方法、图像处理装置及扫描仪.pdf》由会员分享,可在线阅读,更多相关《图像处理方法、图像处理装置及扫描仪.pdf(19页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 102833459 A (43)申请公布日 2012.12.19 C N 1 0 2 8 3 3 4 5 9 A *CN102833459A* (21)申请号 201110159926.1 (22)申请日 2011.06.15 H04N 1/387(2006.01) H04N 1/56(2006.01) G06T 11/00(2006.01) (71)申请人富士通株式会社 地址日本神奈川县 (72)发明人谢术富 何源 孙俊 于浩 直井聪 (74)专利代理机构北京集佳知识产权代理有限 公司 11227 代理人王萍 李春晖 (54) 发明名称 图像处理方法、图像处理装置及。

2、扫描仪 (57) 摘要 提供一种图像处理方法和图像处理装置。该 图像处理方法包括:确定图像中前景对象的边缘 图;从所述边缘图得出边界线的候选,从所述边 界线的候选中确定边界线,所述边界线限定前景 对象中特定对象的边界;去除位于所述边界线以 外、除所述特定对象之外的其他前景对象。该方法 可用来去除拍摄的图像中特定对象边界外的其他 对象的图像,例如手部。利用根据本发明实施例的 图像处理方法,可以准确地确定图像中特定对象 的边界,由此去除边界之外的其他对象的部分,为 后续的其他图像处理提供良好的基础。 (51)Int.Cl. 权利要求书1页 说明书9页 附图8页 (19)中华人民共和国国家知识产权局。

3、 (12)发明专利申请 权利要求书 1 页 说明书 9 页 附图 8 页 1/1页 2 1.一种图像处理方法,包括: 确定图像中前景对象的边缘图; 从所述边缘图得出边界线的候选,从所述边界线的候选中确定边界线,所述边界线限 定前景对象中特定对象的边界;以及 去除位于所述边界线以外、除所述特定对象之外的其他前景对象。 2.根据权利要求1所述的方法,其中确定所述图像中前景对象的边缘图包括:求所述 被摄图像的二值模板,在所述二值模板中,背景对象与前景对象被区分开来;然后根据所述 二值模板确定所述边缘图。 3.根据权利要求2所述的方法,其中根据所述二值模板确定所述边缘图包括:在二值 模板图像中心一侧的。

4、区域中选择前景像素,如果比所述前景像素更远离所述前景对象中心 的、与该前景像素相邻的像素是背景像素,则确定所述前景像素是边缘图的像素。 4.根据权利要求1所述的方法,其中确定图像中前景对象的边缘图包括:计算前景对 象的前景像素与其邻居像素在亮度上的差异,该邻居像素位于所述前景像素的一侧、与所 述前景像素相邻、并且比所述前景像素更远离前景对象中心,如果所述差异超过预定的第 一阈值则认为该前景像素是边缘图的像素。 5.根据权利要求1所述的方法,其中从所述边缘图得出边界线的候选包括: 在得出的所述边缘图上,以预定尺寸的区域为单位获取前景像素的数目,所述前景像 素的数目是从所述预定尺寸的区域中包含的所。

5、述边缘图中的前景像素统计得到的,并选择 其前景像素的数目大于预定的第二阈值的区域;以及 从选择的区域中包含的前景像素拟合出所述边界线的候选。 6.根据权利要求1所述的方法,从所述边界线的候选中确定边界线包括: 对于所述边界线的每个候选,从原始图像中获取在所述边界线的候选的两侧与所述边 界线的候选相邻的特定宽度的区域的特征表示; 确定两侧的所述区域的特征表示之间的差,并选择特征表示之间的差最大的边界线的 候选作为所述边界线。 7.根据权利要求6所述的方法,其中选择特征表示之间的差最大且超过设定阈值的候 选作为所述边界线。 8.根据权利要求6所述的方法,其中所述特征表示包括与两侧的所述区域分别对应。

6、的 彩色直方图或灰度直方图,其中两侧的所述区域中的每个区域被划分为若干个子区域,并 从每个子区域中统计得到彩色或灰度直方图,然后这些子区域的直方图连接起来得到该区 域的特征表示。 9.一种图像处理装置,该装置包括: 边缘图确定部件,用于确定图像中前景对象的边缘图; 边界线确定部件,用于从所述边缘图得出边界线的候选,从所述边界线的候选中确定 边界线,所述边界线限定前景对象中特定对象的边界;以及 去除部件,用于去除位于所述边界线以外、除所述特定对象之外的其他前景对象。 10.一种扫描仪,包括如权利要求9所述的图像处理装置。 权 利 要 求 书CN 102833459 A 1/9页 3 图像处理方法。

7、、 图像处理装置及扫描仪 技术领域 0001 本发明涉及图像处理领域,具体地涉及一种从拍摄的图像中去除特定对象的边界 之外的其他对象的方法。 背景技术 0002 在利用照相机或扫描仪捕获较厚的文档图像时,用户经常需要用手或其他物品来 按压文档的两侧来保持文档的平整,如图1(a)所示。在文档图像中,手或其他物品的存在 会影响一些后续的处理结果,如文档顶点的定位以及文档图像的校正。如图1(b)所示,手 的存在影响了书本角点的检测,使得定位的角点与真实的角点之间存在偏差。因此需要去 除图像中特定对象(例如图1(b)中书本)边界之外的手部,以尽可能减少手的存在对后续 处理结果的影响。 0003 传统的。

8、手部检测方法主要有两大类:一类是利用大量训练数据建立肤色模型来对 图像像素分类,从而检测到手部区域;另一类则基于大量训练数据建立统计模型对手部进 行检测,在检测到手部区域后再利用肤色模型准确地定位出手部的边界。第一类方法的缺 点在于,它受训练数据的影响比较大,如果肤色模型不能很好地建模测试图像中手部的颜 色,或者测试图像中出现许多与肤色接近的非手部区域,该类方法很可能会失效;第二类方 法的缺点在于,它需要大量的手部训练数据来学习一个具有较强分类能力的分类器。由于 手部姿态变化的多样性,该类方法的有效性不能保证。 发明内容 0004 鉴于以上问题,本发明的实施例提出利用图像中特定对象的边界来保留。

9、两边界之 间的区域,从而从图像中间接地去除了手部或者其他非特定对象的区域。根据本发明的实 施例,不需要大量离线的训练数据来构建模型,而只从当前图像来拟合文档的边界,处理便 捷,具有很好的推广性。此外,这种去除其他对象区域的技术能够显著地提高图像处理的效 率和精确度。 0005 根据本发明实施例,提供一种图像处理方法,包括:确定图像中前景对象的边缘 图;从所述边缘图得出边界线的候选,从所述边界线的候选中确定边界线,所述边界线限定 前景对象中特定对象的边界;去除位于所述边界线以外、除所述特定对象之外的其他前景 对象。 0006 根据本发明另一实施例,提供一种图像处理装置,该装置包括:边缘图确定部件。

10、, 用于确定图像中前景对象的边缘图;边界线确定部件,用于从所述边缘图得出边界线的候 选,从所述边界线的候选中确定边界线,所述边界线限定前景对象中特定对象的边界;去除 部件,用于去除位于所述边界线以外、除所述特定对象之外的其他前景对象。 0007 根据本发明的再一实施例,提供一种程序产品,其包含有机器可读取的指令代码, 这些指令代码由机器读取并执行时,可执行上述的图像处理方法。 0008 根据本发明的又一实施例,提供一种存储介质,其承载有上述的根据本发明实施 说 明 书CN 102833459 A 2/9页 4 例的程序产品。 附图说明 0009 下面结合具体的实施例,并参照附图,对本发明实施例。

11、的上述和其它目的和优点 做进一步的描述。在附图中,相同的或对应的技术特征或部件将采用相同或对应的附图标 记来表示。在附图中: 0010 图1(a)是示出用手按压书本两侧来保持书本平整的示意图; 0011 图1(b)是示出在书面边界存在手的情况下对角点的误判的示例图; 0012 图2是示出根据本发明实施例去除图1(a)中所示的边界外的手部的处理过程的 示意图; 0013 图3是示出从输入图像确定边缘图的处理的流程图; 0014 图4(a)和图4(b)是示出原始图像和二值模板图像对比图的示例图; 0015 图5(a)和图5(b)是示出得到的左右边缘图的示例图,图5(c)和图5(d)是示出 从左右边。

12、缘图拟合得到的边界线候选的示例图; 0016 图6(a)和6(b)是示出从边缘图确定边界线的处理的流程图; 0017 图7(a)是示出在拟合直线两侧取特定宽度区域的示例图,图7(b)是示出获取拟 合直线两侧特征向量的示例图; 0018 图8(a)和图8(b)是示出原始图像和去除手部之后图像的对比示例图; 0019 图9是根据本发明又一实施例的图像处理装置的配置的框图; 0020 图10(a)和图10(b)分别是示出根据本发明又一实施例的图像处理装置中的边缘 图确定部件的配置的框图; 0021 图11是根据本发明又一实施例的图像处理装置中的边界线确定部件的配置的框 图;以及 0022 图12是示。

13、出了可用来实现根据本发明实施例的图像处理方法的通用计算机系统 的结构简图。 具体实施方式 0023 下面参照附图来说明本发明的实施例。应当注意,为了避免因不必要的细节而模 糊了本发明,在附图中仅仅示出了与根据本发明的实施方案密切相关的设备结构和/或处 理步骤,而省略了与本发明关系不大的其他细节。在各附图中相同或者相似的构成元素或 部分利用相同或者类似的附图标记来表示。 0024 根据本发明实施例,提供一种图像处理方法,该方法包括:确定图像中前景对象的 边缘图(S210);从该边缘图得出边界线的候选,从该边界线的候选中确定边界线,该边界 线限定前景对象中特定对象的边界(S220);以及去除位于边。

14、界线以外、除特定对象之外的 其他前景对象(S230)。 0025 下面以去除图1(a)中所示的图像中的非特定对象、在该图中为书本的边界之外 的手部为例,参考附图对本发明的实施例进行详细说明。在图1(a)中,书本和手部都是前 景对象。当然,本领域技术人员理解,根据本发明实施例的图像处理方法也同样适用于去除 书本边界之外的、除了手部的其他对象。而且,待确定边界以便去除其他对象的区域的特定 说 明 书CN 102833459 A 3/9页 5 对象也不限于是书本,根据需要可以是图像中任何前景对象。 0026 在该实施例中,假定需要确定书本左右边界并去除左右边界之外的手部区域。但 是本领域技术人员了解。

15、,如果手部或者其他物品在图像中位于书本的上下边界处,则根据 本发明实施例的图像处理方法可以类似地进行处理。 0027 下面对图2中的各步骤的各种具体实现方式进行详细说明。 0028 首先参考图3描述确定边缘图的步骤S210的一种具体实现方式。 0029 如图3所示,首先在步骤S310从输入图像确定二值模板图像。下面对获取二值模 板图像的一个具体例子进行简单说明。 0030 给定一幅输入图像f(x,y)(0xw-1,0yh-1)(w和h分别表示输入图像 的宽度与高度),根据其边界区域估计出背景部分的颜色均值f background 。这里假定背景区域 是均一的纹理区域,因而根据图像的边界区域可以。

16、容易地估算出背景的颜色均值。然后,根 据估计的背景颜色均值可以从原始图像中计算得到距离图像,如等式(1)所示: 0031 dist(x,y)|f(x,y)-f background | (1) 0032 这里,|表示两个向量之间的L 1 距离(街区距离)。L 1 距离是本领域惯用的表 示两个向量之间距离的参数,其概念及其求取方法为本领域技术人员所熟知,具体细节在 此不再赘述。对距离图像dist(x,y)(0xw-1,0yh-1),根据Otsu算法可以得 到阈值T,并根据该阈值对输入图像进行二值化,如等式(2)所示: 0033 0034 图4(a)和(b)分别示出了输入图像及其二值模板图像。可以。

17、看到,图4(b)中模 板图像里的前景像素(即黑色像素)包含了手和书本。 0035 返回参考图3,在得到二值模板图像之后,开始从二值模板图像获取边缘图的处 理。具体来讲:在步骤S320,在模板图像中心位置的左侧区域中,选择前景像素;然后在步 骤S330,判断它的左邻居像素是否为背景(白色)像素,如果是,则在步骤S340将该前景 像素选择为左边缘图的像素,否则在步骤S350拒绝该像素。图3示例性地示出了获取左边 缘图像素的过程,类似地,根据二值模板图像计算右边缘图的过程如下:在模板图像中心位 置的右侧的区域中,如果当前像素是前景像素(黑色)且它的右邻居像素是背景(白色) 像素,则该前景像素是右边缘。

18、图的像素。上述处理可以在图4(b)所示模板图像的上下边界 l 1 、l 2 之间进行,也可以整个图像的上下边界m 1 、m 2 之间进行,本发明在此不受限制。模板图 像的中心、上下边界可通过现有技术得到,本发明在此不对其进行说明。图5(a)和(b)分 别示出了因此得到的二值模板图像的左边缘图和右边缘图。 0036 从原始文档图像得到边缘图的方式不限于以上所述,还可以采用其他方式。比如, 在获取左边缘图时,计算原始图像上前景像素的亮度值与其左邻居像素在亮度上的差异, 如果差异超过设定的阈值,则认为该像素是左边缘图像素;类似地,计算原始图像上每个 前景像素与其右邻居像素亮度的差异,如果差异超过设定。

19、的阈值则认为该像素是右边缘像 素。上述阈值可以根据实际情况、比如原始图像前景像素与背景像素的亮度差异来设置,也 可以通过若干次试验或者通过经验值得到。 0037 现在返回参考图2,从原始图像确定边缘图S210之后,开始了下一步的处理,即从 该边缘图得出边界线的候选,从该边界线的候选中确定边界线S220。下面参考图6对步骤 说 明 书CN 102833459 A 4/9页 6 S220的一种具体实现方式进行详细说明。 0038 从该边缘图得出边界线的候选,从该边界线的候选中确定边界线(S220)包括:首 先从边缘图拟合出边界线的候选(图6a),然后从边界线的候选中选择边界线(图6b)。 0039。

20、 首先参考图6a说明从边缘图拟合出边界线的候选的一个具体例子的处理过程。 下面的说明以左边缘图为例,对于右边缘图的情况同样适用。在步骤S610,沿水平方向(即 文档的上下边缘的方向)将左边缘图划分为具有预定尺寸的若干个区域,例如具有预定宽 度的若干个矩形区域,并在每个区域内统计前景像素的数目。在步骤S620,选择前景像素 数目超过设定阈值的区域,即只有前景像素数目超过设定阈值的区域才会保留下来,在步 骤S630利用该区域内的前景像素拟合直线。拟合直线的方法可以例如采用最小二乘回归 方法,当然,也可以利用任何现有技术的合适的直线拟合方法来获得直线拟合的结果。在步 骤S640中,得到拟合直线,即边。

21、界线的候选。图5(a)和(b)分别示出了在左边缘图和右边 缘图上拟合得到的直线结果。如图5(a)-(b)所示,虚线表示拟合得到的边界线候选。虽然 每幅图只给出了两条候选,但是这只是示意,但实际得到的候选可能更多或者更少。当然, 在此阶段尚未确定出该实际的边界线。 0040 从拟合的直线选择边界线的过程的一个例子如图6b所示。具体地讲,在步骤 S650,对每条拟合的直线,即,每个边界线的候选,在直线的每一侧分别取特定宽度的区域, 如图7a所示。注意,该特定宽度的区域是在原始图像上提取的。图7a示出了在图像中特 定对象,即书本的上下边界l 1 、l 2 之间取矩形区域的情况,应理解本发明不限于此,。

22、还可以 在整个原始图像的上下边界m 1 、m 2 之间取该区域,对此可根据具体情况进行选择。然后,在 步骤S660计算这两个区域的特征表示之间的差。可以通过L 1 距离、欧式距离等计算该差, 本发明在此不受限制。在步骤S670,对于从左边缘图和右边缘图拟合得到的直线,分别从中 选择出两侧区域差最大的直线。在步骤S680,判断选择出的直线的两侧区域的差是否超过 了设定的阈值,如果是,则在步骤S690接受该直线作为书本的边界;否则,在步骤S685拒绝 该直线。在一种可替选实施方式中,也可以不进行最后的判断步骤S680,直接采纳具有最大 的特征表示的差的边界线候选作为最终得到的实际边界线。 0041。

23、 如果进行步骤S680的判断,则可以获得进一步的益处,即,可以最大限度地降低 误判率。误判指把书本中间部分的线当作边界线等,从而在接下来的处理中去除了不该去 除的内容,例如书本本身的内容。 0042 在步骤S660中,计算两个区域的特征表示之间的差。下面结合图7(b)描述如何 计算两侧的特征表示之差的一个具体例子。如图7(b)所示,将所选取的每个区域采用了 分区域的直方图特征表示,即:将每个区域沿水平和竖直方向分别划分,得到若干个子区 域;在每个子区域内,将每个像素的R,G,B颜色值根据设定的量化区间分别量化到不同的 区间内,然后分别在R,G,B三个颜色通道上计算每个子区域的颜色直方图,并将这。

24、三个直 方图连接起来作为该子区域的颜色直方图表示;最后,将这些子区域的颜色直方图表示连 接起来得到整个区域的颜色直方图表示。该特征表示也可以不用直方图来表示,只要能得 到待处理的边界线候选两侧的特征表示之差即可。颜色直方图是本领域常用的概念,其 用于描述不同色彩在整幅图像中所占的比例,而并不关心每种色彩所处的空间位置。直 方图中的数值都是统计而来,描述了该图像中关于颜色的数量特征,可以反映颜色直方图 图像颜色的统计分布和基本色调。有关颜色直方图的更为详细的信息可参见:Shapiro, 说 明 书CN 102833459 A 5/9页 7 Linda G.以及Stockman,George C.。

25、所著的“Computer Vision”Prentice Hall,2003 ISBN 0130307963;“Color Histogram”http:/en.wikipedia.org/wiki/Color_histogram。 0043 虽然在上述获取特征表示之差的处理中使用的是颜色直方图特征,但是,当然可 以应用任何其他合适的特征表示,只要这种特征表示足以表达出边界线候选两侧的特定区 域(在该例中为特定宽度的矩形区域)之间的差异即可。此外,用来计算特征表示之差的 区域也不必是矩形的,任何适当的形状都是可用的。 0044 容易理解,在一个具体例子中,如果经过上述的处理只获得了一条边界线候。

26、选,则 可径直将该候选作为最终的实际边界线。 0045 返回参考图2,在步骤S220之后,执行步骤S230的处理,即去除位于边界线以外、 除特定对象之外的其他前景对象,在该实施例中为书本边界之外的手部。这样就得到了去 除手部之后的书本图像。图8(a)和(b)分别绘出了原始图像及去除手部后的示例图像。 0046 注意,在上述的处理中,如果作为特定对象的书本具有较大的倾斜,例如不在图像 竖直方向的一定范围内(例如,-1515 ),则根据一种优选实施例,可以先利用一些 现有的技术来估计出待处理图像的方向并进行校正,从而使得待处理图像中书本对象的 偏斜在预定范围之内,这样可以更进一步提升上述的图像处理。

27、的精确度。有关估计图像 的方向并进行校正的现有技术,例如请参考Sun Changming,Si Deyi的“Skew and Slant Correction for Document Images Using Gradient Direction”,第四届国际文档分析和 识别会议。 0047 在上面的详细描述中,虽然是以去除书本图像边界之外存在的手部图像为例,但 是本领域技术人员了解,这种图像处理技术同样可以应用于去除除了书本图像边界之外的 各种其他的物品的图像,具体细节在此不再逐一赘述。 0048 而且,上面对各实施例和具体例子的描述都是确定图像中特定对象(例如书本) 的左右边界之间的区域。

28、以便去除边界之外的手部区域,但是,根据本发明的实施例的处理 同样可以用于确定图像中特定对象的上下边界之间的区域以便去除边界之外的其他物品 的区域。其处理过程是类似的,为简洁起见,在此不再赘述。 0049 与本发明实施例提供的图像处理方法相对应,本发明实施例还提供了一种图像处 理装置,参见图9,该装置包括: 0050 边缘图确定部件901,用于确定图像中前景对象的边缘图; 0051 边界线确定部件902,用于从边缘图得出边界线的候选,从边界线的候选中确定边 界线,该边界线限定前景对象中特定对象的边界; 0052 去除部件903,用于去除位于边界线以外、除特定对象之外的其他前景对象。 0053 根。

29、据一个具体例子,在确定边缘图时可以采用二值模板,此时参考图10a,边缘图 确定部件901可以包括: 0054 二值模板确定部件9011,用于求被摄图像的二值模板,在该二值模板中,背景对象 与前景对象被区分开来;边缘图确定部件901根据二值模板确定部件9011确定的二值模板 来确定所述边缘图。 0055 根据另一个具体例子,确定边缘图时还可以采用亮度差异,此时参考图10b,边缘 图确定部件901还可以包括: 0056 亮度差异计算部件9012,用于确定图像中前景对象的前景像素与其邻居像素的亮 说 明 书CN 102833459 A 6/9页 8 度上的差异,该邻居像素位于前景像素的一侧、与前景像。

30、素相邻、并且比前景像素更远离前 景对象中心,如果该差异超过预定的第一阈值则认为该前景像素是边缘图的像素。 0057 根据又一个具体例子,参考图11,边界线确定部件902可包括: 0058 区域获取部件9021,用于在得出的边缘图上,以预定尺寸的区域为单位获取前景 像素的数目,前景像素的数目是从预定尺寸的区域中包含的边缘图中的前景像素统计得到 的,并选择其前景像素的数目大于预定的第二阈值的区域; 0059 候选拟合部件9022,用于从选择的区域中包含的前景像素拟合出边界线的候选; 0060 特征表示获取部件9023,用于从原始图像中获取在边界线的候选的两侧与边界线 的候选相邻的特定宽度的区域的特。

31、征表示;确定两侧的区域的特征表示之间的差,并选择 特征表示之间的差最大的边界线的候选作为边界线。 0061 上述结合图9-11描述的根据本发明实施例的图像处理装置及其各组成部件,例 如可以被配置成执行上述结合图2-8描述的本发明实施例的图像处理方法,并且可以获得 类似的益处。具体细节可以参见上述相关描述,在此不再逐一赘述。 0062 上面已通过框图、流程图和/或实施例进行了详细描述,阐明了根据本发明的实 施例的装置和/或方法的不同实施方式。当这些框图、流程图和/或实施例包含一个或多 个功能和/或操作时,本领域的技术人员明白,这些框图、流程图和/或实施例中的各功能 和/或操作可以通过各种硬件、软。

32、件、固件或实质上它们的任意组合而单独地和/或共同 地实施。在一种实施方式中,本说明书中描述的主题的几个部分可通过特定用途集成电路 (ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其他集成形式实现。然而,本 领域的技术人员会认识到,本说明书中描述的实施方式的一些方面能够全部或部分地在集 成电路中以在一个或多个计算机上运行的一个或多个计算机程序的形式(例如,以在一个 或多个计算机系统上运行的一个或多个计算机程序的形式)、以在一个或多个处理器上运 行的一个或多个程序的形式(例如,以在一个或多个微处理器上运行的一个或多个程序的 形式)、以固件的形式、或以实质上它们的任意组合的形式。

33、等效地实施,并且,根据本说明书 中公开的内容,设计用于本公开的电路和/或编写用于本公开的软件和/或固件的代码完 全是在本领域技术人员的能力范围之内。 0063 例如,上述图2、3和6中所示的去除书本边界外的手部的处理流程图中的各个 步骤可以通过软件、固件、硬件或其任意组合的方式来执行。在通过软件或固件实现的情 况下,可从存储介质或网络向具有专用硬件结构的计算机(例如图12所示的通用计算机 1200)安装构成该软件的程序,该计算机在安装有各种程序时,能够执行各种功能。 0064 图12是示出了可用来实现根据本发明实施例的图像处理方法的通用计算机系统 的结构简图。计算机系统1200只是一个示例,并。

34、非暗示对本发明的方法和装置的使用范围 或者功能的局限。也不应将计算机系统1200解释为对示例性操作系统1200中示出的任一 组件或其组合具有依赖或需求。 0065 在图12中,中央处理单元(CPU)1201根据只读存储器(ROM)1202中存储的程序或 从存储部分1208加载到随机存取存储器(RAM)1203的程序执行各种处理。在RAM 1203中, 还根据需要存储当CPU 1201执行各种处理等等时所需的数据。CPU 1201、ROM 1202和RAM 1203经由总线1204彼此连接。输入/输出接口1205也连接到总线1204。 0066 下述部件也连接到输入/输出接口1205:输入部分1。

35、206(包括键盘、鼠标等等)、 说 明 书CN 102833459 A 7/9页 9 输出部分1207(包括显示器,例如阴极射线管(CRT)、液晶显示器(LCD)等,和扬声器等)、 存储部分1208(包括硬盘等)、通信部分1209(包括网络接口卡例如LAN卡、调制解调器 等)。通信部分1209经由网络例如因特网执行通信处理。根据需要,驱动器1210也可连接 到输入/输出接口1205。可拆卸介质1211例如磁盘、光盘、磁光盘、半导体存储器等等可以 根据需要被安装在驱动器1210上,使得从中读出的计算机程序可根据需要被安装到存储 部分1208中。 0067 在通过软件实现上述系列处理的情况下,可以。

36、从网络例如因特网或从存储介质例 如可拆卸介质1211安装构成软件的程序。 0068 本领域的技术人员应当理解,这种存储介质不局限于图12所示的其中存储有程 序、与设备相分离地分发以向用户提供程序的可拆卸介质1211。可拆卸介质1211的例子包 含磁盘(包含软盘)、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD)、磁光盘 (包含迷你盘(MD)(注册商标)和半导体存储器。或者,存储介质可以是ROM 1202、存储 部分1208中包含的硬盘等等,其中存有程序,并且与包含它们的设备一起被分发给用户。 0069 因此,本发明还提出了一种存储有机器可读取的指令代码的程序产品。所述指令 代码由。

37、机器读取并执行时,可执行上述根据本发明实施例的获取内容彼此相对应的多种语 言对齐文本的方法。相应地,用于承载这种程序产品的上面列举的各种存储介质也包括在 本发明的公开中。 0070 在上面对本发明具体实施例的描述中,针对一种实施方式描述和/或示出的特征 可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征 相组合,或替代其它实施方式中的特征。 0071 应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但 并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。涉及序数的术语“第 一”,“第二”等并不表示这些术语所限定的特征、要素、步骤或组件。

38、的实施顺序或者重要性 程度,而仅仅是为了描述清楚起见而用于在这些特征、要素、步骤或组件之间进行标识。 0072 此外,本发明的各实施例的方法不限于按照说明书中描述的或者附图中示出的时 间顺序来执行,也可以按照其他的时间顺序、并行地或独立地执行。因此,本说明书中描述 的方法的执行顺序不对本发明的技术范围构成限制。 0073 关于包括以上实施例的实施方式,还公开下述附记: 0074 附记1.一种图像处理方法,包括: 0075 确定图像中前景对象的边缘图; 0076 从所述边缘图得出边界线的候选,从所述边界线的候选中确定边界线,所述边界 线限定前景对象中特定对象的边界; 0077 去除位于所述边界线。

39、以外、除所述特定对象之外的其他前景对象。 0078 附记2.根据附记1所述的方法,其中确定所述图像中前景对象的边缘图包括:求 所述被摄图像的二值模板,在所述二值模板中,背景对象与前景对象被区分开来;然后根据 所述二值模板确定所述边缘图。 0079 附记3.根据附记2所述的方法,其中根据所述二值模板确定所述边缘图包括:在 二值模板图像中心一侧的区域中选择前景像素,如果比所述前景像素更远离所述前景对象 中心的、与该前景像素相邻的像素是背景像素,则确定所述前景像素是边缘图的像素。 说 明 书CN 102833459 A 8/9页 10 0080 附记4.根据附记1所述的方法,其中确定图像中前景对象的。

40、边缘图包括:计算前 景对象的前景像素与其邻居像素在亮度上的差异,该邻居像素位于所述前景像素的一侧、 与所述前景像素相邻、并且比所述前景像素更远离前景对象中心,如果所述差异超过预定 的第一阈值则认为该前景像素是边缘图的像素。 0081 附记5.根据附记1-4中的任一项所述的方法,其中从所述边缘图得出边界线的候 选包括: 0082 在得出的所述边缘图上,以预定尺寸的区域为单位获取前景像素的数目,所述前 景像素的数目是从所述预定尺寸的区域中包含的所述边缘图中的前景像素统计得到的,并 选择其前景像素的数目大于预定的第二阈值的区域;以及 0083 从选择的区域中包含的前景像素拟合出所述边界线的候选。 0。

41、084 附记6.根据附记1-5中的任一项所述的方法,从所述边界线的候选中确定边界线 包括: 0085 对于所述边界线的每个候选,从原始图像中获取在所述边界线的候选的两侧与所 述边界线的候选相邻的特定宽度的区域的特征表示; 0086 确定两侧的所述区域的特征表示之间的差,并选择特征表示之间的差最大的边界 线的候选作为所述边界线。 0087 附记7.根据附记6所述的方法,其中选择特征表示之间的差最大且超过设定阈值 的候选作为所述边界线。 0088 附记8.根据附记6所述的方法,其中所述特征表示包括与两侧的所述区域分别 对应的彩色直方图或灰度直方图,其中两侧的所述区域中的每个区域被划分为若干个子区 。

42、域,并从每个子区域中统计得到彩色或灰度直方图,然后这些子区域的直方图连接起来得 到该区域的特征表示。 0089 附记9.根据附记1-8中的任一项所述的方法,其中所述边缘图包括左边缘图和右 边缘图,且所述边界线包括左边界线和右边界线。 0090 附记10.一种图像处理装置,用于执行附记1-9中的任一项所述的方法,该装置包 括: 0091 边缘图确定部件,用于确定图像中前景对象的边缘图; 0092 边界线确定部件,用于从所述边缘图得出边界线的候选,从所述边界线的候选中 确定边界线,所述边界线限定前景对象中特定对象的边界; 0093 去除部件,用于去除位于所述边界线以外、除所述特定对象之外的其他前景。

43、对象。 0094 附记11.根据附记10所述的图像处理装置,其中所述边缘图确定部件包括:二值 模板确定部件,用于求被摄图像的二值模板,在所述二值模板中,背景对象与前景对象被区 分开来。 0095 附记12.根据附记10或11所述的图像处理装置,所述边缘图确定部件还包括亮 度插值计算部件,用于确定图像中前景对象的前景像素与其邻居像素在亮度上的差异,该 邻居像素位于所述前景像素的一侧、与所述前景像素相邻、并且比所述前景像素更远离前 景对象中心,如果所述差异超过预定的第一阈值则认为该前景像素是边缘图的像素。 0096 附记13.根据附记10-12中的任一项所述的图像处理装置,其中所述边界线确定 部件。

44、包括: 说 明 书CN 102833459 A 10 9/9页 11 0097 区域获取部件,用于在得出的所述边缘图上,以预定尺寸的区域为单位获取前景 像素的数目,所述前景像素的数目是从所述预定尺寸的区域中包含的所述边缘图中的前景 像素统计得到的,并选择其前景像素的数目大于预定的第二阈值的区域; 0098 候选拟合部件,用于从选择的区域中包含的前景像素拟合出所述边界线的候选; 0099 特征表示获取部件,用于从原始图像中获取在所述边界线的候选的两侧与所述边 界线的候选相邻的特定宽度的区域的特征表示;确定两侧的所欲区域的特征表示之间的 差,并选择特征表示之间的差最大的边界线的候选作为边界线。 0。

45、100 附记14.一种扫描仪,包括根据附记10-13中的任一项所述的图像处理装置。 0101 附记15.一种程序产品,其包含有机器可读取的指令代码,这些指令代码由机器 读取并执行时,可执行上述的图像处理方法。 0102 附记16.一种存储介质,其承载有上述的根据本发明实施例的程序产品。 0103 尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露,但是,应 该理解,本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、 改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。 说 明 书CN 102833459 A 11 1/8页 12 图1 图。

46、2 说 明 书 附 图CN 102833459 A 12 2/8页 13 图3 说 明 书 附 图CN 102833459 A 13 3/8页 14 图4 图5 说 明 书 附 图CN 102833459 A 14 4/8页 15 图6a 说 明 书 附 图CN 102833459 A 15 5/8页 16 图6b 图7 说 明 书 附 图CN 102833459 A 16 6/8页 17 图8 图9 图10a图10b 说 明 书 附 图CN 102833459 A 17 7/8页 18 图11 说 明 书 附 图CN 102833459 A 18 8/8页 19 图12 说 明 书 附 图CN 102833459 A 19 。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 电学 > 电通信技术


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1