CN200880025134.1
2008.07.16
CN101765860A
2010.06.30
驳回
无权
发明专利申请公布后的驳回IPC(主分类):G06T 1/00申请公布日:20100630|||实质审查的生效IPC(主分类):G06T 1/00申请日:20080716|||公开
G06T1/00; G06T11/00; G06T3/40; G06T5/00; G06T7/60
G06T1/00
智能技术ULC公司
希蒙·班纳吉; 华莱士·克勒克尔; 埃里克·本纳; 安迪·莱昂
加拿大艾伯塔
2007.07.17 US 11/779,006
中原信达知识产权代理有限责任公司 11219
张焕生;安翔
一种用于将数字图像划分成区域的方法,包括基于该数字图像中的边缘内容来识别潜在区域边界。基于该潜在区域边界中用户选择的潜在区域边界将该数字图像划分成区域。一种处理数字图像的区域的方法,包括接收用于表征该区域的姿势数据。自动地启动与该姿势数据相关联的处理工具,并且使用该处理工具来处理该区域。
1. 一种将数字图像划分成区域的方法,包括:基于在所述数字图像中的边缘内容来识别潜在区域边界;以及基于所识别的潜在区域边界中用户选择的潜在区域边界将所述数字图像划分成区域。2. 如权利要求1所述的方法,其中,在所述数字图像中具有大量边缘内容的沿行和列的位置处识别所述潜在边界区域。3. 如权利要求2所述的方法,其中,所述识别包括:计算关于所述数字图像中每个像素行和列的像素强度分布;以及比较所述像素强度分布中的相邻像素强度分布以确定相邻像素强度分布之差超过阈值水平的位置,由此建立所述潜在区域边界的行和列位置。4. 如权利要求3所述的方法,其中,所述阈值水平是固定的。5. 如权利要求4所述的方法,其中,所述阈值水平是0.125强度单位。6. 如权利要求3所述的方法,其中,基于对在所述数字图像中强度波动的测量,计算所述阈值水平。7. 如权利要求6所述的方法,其中,所述强度波动是在所述数字图像中像素强度值的标准偏差。8. 如权利要求1所述的方法,进一步包括:接收对所述区域的子集的选择;以及从所述数字图像移除未选择的区域的内容。9. 如权利要求8所述的方法,进一步包括:响应于用户指令而扩缩所选择的区域。10. 如权利要求9所述的方法,其中,所述扩缩包括:接收用户对区域边界的选择;以及响应于用户指令而移动所述区域边界,由此扩缩所述区域。11. 如权利要求1所述的方法,包括:响应于用户指令而修改至少一个潜在区域边界的位置。12. 如权利要求1所述的方法,进一步包括:响应于用户指令而合并区域。13. 如权利要求12所述的方法,其中,所述合并包括:接收对要合并的至少两个相邻区域的选择;移除划分所述至少两个相邻区域的任何潜在区域边界的一部分;以及合并所述至少两个相邻区域以形成单个连续区域。14. 一种处理数字图像的区域的方法,包括:接收用于表征所述区域的姿势数据;自动地启动与所述姿势数据相关联的处理工具;以及使用所述处理工具来处理所述区域。15. 如权利要求14所述的方法,其中,所述姿势数据定义姿势形状,所述姿势形状是封闭图形,由此表征所述区域的形状、尺寸和位置。16. 如权利要求14所述的方法,其中,所述姿势数据定义姿势形状,所述姿势形状与封闭图形的形状相关联并且定义所述封闭图形的尺寸和位置,由此表征所述区域。17. 如权利要求14所述的方法,其中,所述姿势数据定义姿势形状,所述姿势形状与所述处理工具相关联。18. 如权利要求17所述的方法,其中,所述姿势形状是封闭图形。19. 如权利要求14所述的方法,其中,所述姿势数据包括沿所述区域的边界的坐标。20. 如权利要求14所述的方法,其中,所述自动启动处理工具包括:从所述姿势数据识别姿势形状;搜索处理工具表,以确定在所述处理工具表中与所识别的姿势形状相关联的处理工具;自动启动所述处理工具;以及向所述处理工具提供所述姿势数据。21. 如权利要求20所述的方法,其中,识别所述姿势形状包括:将所述姿势数据与多个形状模板比较,每个形状模板表示唯一的形状;以及确定所述形状模板中与所述区域最类似的形状模板,由此识别所述姿势形状。22. 如权利要求14所述的方法,其中,所述处理工具选自由缩放工具、裁切工具、高亮工具和聚光工具组成的组。23. 如权利要求20所述的方法,其中,所述姿势形状是矩形并且在所述处理工具表中与所述矩形相关联的处理工具是缩放工具。24. 如权利要求20所述的方法,其中,所述姿势形状是椭圆形并且在所述处理工具表中与所述椭圆形相关联的处理工具是高亮/聚光工具。25. 如权利要求14所述的方法,其中,所述处理工具对所述区域的处理可由用户控制。26. 如权利要求25所述的方法,其中,所述处理工具是缩放工具并且所述缩放工具的放大等级进一步可由用户控制。27. 一种包含有用于将数字图像划分成区域的计算机程序的计算机可读介质,所述计算机程序包括:基于在所述数字图像中的边缘内容来识别潜在区域边界的计算机程序代码;以及基于所识别的潜在区域边界中用户选择的潜在区域边界将所述数字图像划分成区域的计算机程序代码。28. 一种包含有用于处理数字图像的区域的计算机程序的计算机可读介质,所述计算机程序包括:接收用于表征所述区域的姿势数据的计算机程序代码;自动地启动与所述姿势数据相关联的处理工具的计算机程序代码;以及使用所述处理工具来处理所述区域的计算机程序代码。29. 一种交互式显示系统,包括:触摸屏幕,所述触摸屏幕定义了上面呈现计算机生成的图像的触摸表面;传感器组件,所述传感器组件检测在所述触摸表面上的指示器接触,并且作为响应,生成用于表征所述计算机生成的图像的区域的姿势数据;以及处理结构,所述处理结构接收所述姿势数据并且自动地启动与所述姿势数据相关联的处理工具用于处理所述区域。30. 如权利要求29所述的系统,进一步包括:存储器,所述存储器存储使至少一个处理工具与各自的姿势形状相关联的处理工具表;其中,所述处理结构从所述姿势数据识别姿势形状,并且从所述处理工具表选择相关联的处理工具用于处理所述区域。31. 如权利要求29所述的系统,其中,所述处理工具选自由缩放工具、裁切工具、高亮工具和聚光工具组成的组。32. 如权利要求30所述的系统,其中,所述姿势形状是矩形并且在所述处理工具表中与所述矩形相关联的所述处理工具是缩放工具。33. 如权利要求30所述的系统,其中,所述姿势形状是椭圆形并且在所述处理工具表中与所述椭圆形关联的所述处理工具是高亮/聚光工具。34. 如权利要求30所述的系统,其中,所述处理工具对所述区域的处理可由用户控制。35. 如权利要求30所述的系统,其中,所述处理工具是缩放工具并且所述缩放工具的放大等级进一步可由用户控制。
用于操纵数字图像的区域的方法 技术领域 本发明总体上涉及图像处理,并且更具体地,涉及一种用于操纵数字图像的区域的方法和装置。 背景技术 在新闻编辑部或其他广播环境中,常常需要传送取自多种源的数字图像作为新闻广播、体育广播的一部分或者用于广告。日益普遍的是,这样的传送的数字图像包括使用个人计算机、计算机工作站等从因特网屏幕捕获的万维网(WWW)页面或者页面部分。 众所周知,网页常常包含数个视觉和功能元素,包括文本列、广告、图像、超链接、实时股票报价机、嵌入式程序等。在需要广播网页的屏幕捕获图像用于显示在电视屏幕上的情况下,在传送之前通常手动编辑图像。完成该操作以移除与报道主题无关的图像区域,和/或扩缩(scale)图像区域,使得一旦它们被传送则在电视屏幕上是更加易读的。例如,新闻广播员可能希望将电视观众的注意力吸引到特定网页上的特定引用(quote),而移除广告和其他无关项目。 手动识别、隔离和操纵网页的图像中的区域可能是耗时的。为此,制作人员通常采用封装有作为图像编辑应用(例如,诸如MicrosoftTMPaint)的一部分的编辑工具集合的图像裁切工具。在图像操纵期间,从原始网页图像手动复制图像区域并且将其粘贴到分立的图像用于与其他图像元素组合。为了确保最终图像是吸引人的和有用的,有利的是,利用像素准确性来识别和隔离图像区域。这么做通常需要制作人员顺序选择区域并且采用放大、缩小、裁切和可能的其他数字图像处理工具。需要细心地控制指示器(即,鼠标、触笔等)以识别数字图像中的每个选择的图像区域的边界。 裁切图像的技术已被考虑。例如,Cohen等人的美国专利No.6,337,925公开了一种用于确定数字图像中的物体的边界以便协助该边界包围的物体的遮蔽的方法。需要用户选择数字图像中的感兴趣的区域,该区域包括一部分待识别的边界。然后,通过估计边界的边缘区的位置、方向和宽度对该边界部分建模。基于所建模的边界部分,识别在该场景中的整个物体的边界。 Nicolas等人的美国专利No.6,593,944公开了一种用于修改网页使得用户可以在具有小屏幕的电子设备上读取其内容的方法和电子系统。该方法预先假定网页被划分为框架,并且布置该网页,使得框架可被单独显示在小屏幕上。每个框架被扩缩成显示器的实际尺寸。 尽管如上文所述常常需要在传送之前操纵数字图像,但是在一些情况下还需要操纵广播图像。例如,在实时电视广播期间,常常需要使评论员可获得图像用于实时显示和进一步操纵。为了在新闻广播期间提供重点,评论员可能希望聚光于包括流行引用的图像区域。又例如,在体育广播期间评论员可能希望圈出冰球比赛中得分进球的图像区域,然后放大该区域以显示越过球门线的冰球。 为了实现实时数字图像处理,评论员可直接采用计算机工作站,或者一些其他用户接口,诸如触摸系统。触摸系统在本领域中是公知的并且通常包括具有触摸表面的触摸屏幕,使用指示器在该触摸表面上进行接触以便生成用户输入。然后,将该用户输入自动地传送到执行一个或多个应用程序的计算机。该计算机使用该用户输入来更新该触摸屏幕上正在呈现的图像,或者经由应用程序执行其他动作,如同正在使用例如鼠标和键盘来操作它们一样。存在许多类型的触摸系统,它们利用不同的技术来识别与触摸表面的接触。这些技术包括例如模拟电阻、表面声波、电容、红外、电磁、基于激光和机器视觉检测布置,以识别与触摸表面的接触。 为了选择区域和处理工具(仅作为几个示例,诸如放大、缩小、聚光、高亮或裁切),评论员通常从菜单预先选择处理工具应用,拿起指示器并且围绕显示在触摸屏幕上的图像中的感兴趣的区域绘制边界。在接收用户输入的计算机上运行的处理工具应用对所选择的图像区域执行所需的处理动作,并且更新呈现在触摸屏幕上的图像。替代地,评论员可首先用指示器选择在所显示的图像中的区域,并且然后从菜单选择所需的处理工具应用。一旦选择,则该处理工具应用对所选择的区域执行其处理动作,并且更新呈现在触摸屏幕上的图像。 处理工具的手动选择和图像区域的手动识别可能是耗时的,特别是在实时广播的背景下。通过允许用户首先识别图像区域并且然后使用特定的指示器姿势(诸如指示缩放(zoom)的上右运动和指示高亮的右左运动)选择特定的图像处理工具,在一定程度上解决了该问题。其他应用需要接收特定的指示器姿势序列以执行多种功能。例如,视频游戏Black&White(由Lionhead Studios开发并且由Electronic Artsand Feral Interactive发布)允许玩游戏者通过使用鼠标移动序列形成形状来施展法术和实现奇迹。与图像处理操作相反,web浏览器Opera使得用户能够使用小的快速的鼠标移动来执行浏览姿势。 向指示器集合中的每个指示器指配不同的处理工具应用是已知的。利用这样的方法,当使用所选择的指示器生成输入时,自动调用与该指示器相关联的处理工具应用。例如,用户可使用缩放指示器来识别将进行缩放处理的图像区域。 尽管如上文所述在传送之前和之后操纵图像的技术是已知的,但是需要改进。因此,本发明的目的是提供一种用于将数字图像划分成用于单独操纵的区域并且用于对数字图像中的区域执行图像处理操作的新颖的方法和装置。 发明内容 根据一个方面,提供了一种将数字图像划分成区域的方法,包括: 基于在该数字图像中的边缘内容来识别潜在区域边界;以及 基于所识别的潜在区域边界中用户选择的潜在区域边界将该数字图像划分成区域。 在一个实施例中,在数字图像中具有大量边缘内容的沿行和列的位置处识别潜在边界区域。该识别包括计算关于该数字图像中像素的每个行和列的像素强度分布(profile)。比较像素强度分布中的相邻像素强度分布以确定相邻像素强度分布之差超过阈值水平的位置,由此建立潜在区域边界的行和列位置。 根据另一方面,提供了一种处理数字图像的区域的方法,包括: 接收用于表征该区域的姿势数据; 自动地启动与该姿势数据相关联的处理工具;以及 使用该处理工具来处理该区域。 根据另一方面,提供了一种包含有用于将数字图像划分成区域的计算机程序的计算机可读介质,该计算机程序包括: 基于在该数字图像中的边缘内容来识别潜在区域边界的计算机程序代码;以及 基于所识别的潜在区域边界中用户选择的潜在区域边界将该数字图像划分成区域的计算机程序代码。 根据又一方面,提供了一种包含有用于处理数字图像的区域的计算机程序的计算机可读介质,该计算机程序包括: 接收用于表征该区域的姿势数据的计算机程序代码; 自动地启动与该姿势数据相关联的处理工具的计算机程序代码;以及 使用该处理工具来处理该区域的计算机程序代码。 根据另一方面,提供了一种交互式显示系统,包括: 触摸屏幕,该触摸屏幕定义了上面呈现计算机生成的图像的触摸表面; 传感器组件,该传感器组件检测在该触摸表面上的指示器接触,并且作为响应生成用于表征该计算机生成的图像的区域的姿势数据;以及 处理结构,该处理结构接收姿势数据并且自动地启动与姿势数据相关联的处理工具用于处理该区域。 以上用于将数字图像划分成区域的方法是有益的,因为,它提供了在数字图像编辑期间对图像区域的准确的识别和操纵。用户能够从预定义的区域边界中选择以将该图像划分成区域并且由此不一定需要费力地手动定义图像区域。同样,显著减少了用户定义图像区域和使用该图像区域编辑图像所花费的时间,特别是对于具有特定类型的内容(即,网页)的数字图像。 用于处理数字图像的区域的方法是有益的,因为它提供了对图像区域的准确的识别和处理,特别是在图像的实时广播期间。用户能够利用单个姿势来识别感兴趣的区域和用于处理该区域的处理工具。同样,显著减少了用户识别图像区域和选择处理工具所花费的时间。 附图说明 现在将参考附图更加全面地描述实施例,在附图中: 图1是示出用于将数字图像划分成区域的步骤的流程图; 图2是示出在识别数字图像中的潜在区域边界期间执行的步骤的流程图; 图3是捕获的网页的图像; 图4是示出计算的列和行强度分布的图3的网页的灰度图像; 图5是示出用于识别参考线位置的已确定阈值的列和行强度分布的图4的灰度网页图像; 图6示出了覆盖在所捕获的网页图像上的所识别的参考线; 图7是示出用于选择和操纵参考线的步骤的流程图; 图8示出了从用户的角度看到的图3的所捕获的网页图像,其中调用了用于从所识别的参考线中选择的垂直扫描工具; 图9示出了在已经完成用于选择参考线的垂直和水平扫描之后图8的所捕获的网页图像; 图10示出了在已经放弃图像区域子集之后图8的所捕获的网页图像; 图11示出了用于操纵图10的网页图像的未放弃的图像区域的尺寸的自由度; 图12示出了已经被操纵以形成完整的简化的网页图像的图10的网页图像的未放弃的图像区域; 图13是触摸系统的平面前视图; 图14是示出用于使用触摸系统处理数字图像区域的步骤的流程图; 图15a示出了通过在触摸系统的触摸表面上绘制的通常矩形的边界描绘的数字图像的区域; 图15b示出了通过应用与所绘制的矩形边界相关联的缩放工具而放大的图15a的数字图像的所描绘的区域; 图16a示出了通过在触摸系统的触摸表面上绘制的通常圆形的边界描绘的另一数字图像的区域;以及 图16b示出了通过应用与所绘制的圆形边界相关联的聚光工具而聚光的图16a的数字图像的所描绘的区域。 具体实施方式 在下面的描述中,公开了包含有用于将数字图像划分成区域并且处理数字图像的区域的计算机程序的方法、装置和计算机可读介质。所述方法和装置可以包含在包括由处理单元执行的计算机可执行指令的软件应用中,该处理单元包括但不限于个人计算机、交互式显示器或触摸系统、诸如例如数字相机的数字图像或视频捕获设备、摄像机或具有视频能力的电子设备或者其他计算系统环境。所述软件应用可作为独立的数字图像工具、嵌入功能来运行或者可合并到其他可用数字图像应用中,以提供针对那些数字图像应用的增强功能。所述软件应用可包括程序模块,该程序模块包括例程、程序、对象组件、数据结构等,并且所述软件应用可体现为存储在计算机可读介质上的计算机可读程序代码。所述计算机可读介质是可以存储数据的任何数据存储设备,该数据此后可由计算机系统读取。计算机可读介质的示例包括例如只读存储器、随机存取存储器、CD-ROM、磁带和光学数据存储设备。所述计算机可读程序代码还可分布在包括耦合的计算机系统的网络上,使得以分布式方式存储和执行所述计算机可读程序代码。现在将参考图1至15描述实施例。 现在转到图1,示出了将数字图像划分成区域的方法。在该方法期间,作为计算机屏幕来抓图或者使用图像捕获设备(例如,诸如数字相机)来捕获数字图像(步骤100)。然后,将该数字图像内的潜在或候选区域边界识别为参考线(步骤200),并且确定用户选择的参考线(步骤300)。基于所选择的参考线,将所捕获的图像划分成区域(步骤400)用于由用户进一步操纵。 图2中示出了用于识别潜在区域边界的步骤(步骤200)。首先,通过从所捕获的图像中提取像素亮度通道来创建灰度图像(步骤210)。然后,计算关于该灰度图像的每个行和列的强度分布(步骤212)。在强度分布的计算期间,该灰度图像的每个行中的像素的亮度值被取平均,由此产生关于每个行的强度分布,该强度分布是该行中的所有像素的平均亮度。对于该灰度图像的列执行相同的操作。 在计算强度分布之后,如下面伪代码中阐述的,关于行的强度分布被确定阈值以识别在该灰度图像中的显著水平边缘的位置: If|IntensityProfile(row(i-1))-Intensity Profile(row(i))|>=Threshold IntensityProfile(row(i))=1 Else IntensityProfile(row(i))=0 End If 已经发现0.125强度单位的固定阈值是适当的。当然也可以采用自适应阈值或者基于对灰度图像中的强度波动的测量(例如,即强度的标准偏差)获得的阈值。 然后,关于列的强度分布通过与上文针对行描述的方式类似的方式被确定阈值。 在已为所述强度分布确定阈值后,具有指定值为“1”的强度分布的位置对应于在所捕获的图像中的区域边界或参考线的位置。因此,在所捕获的图像中具有强度分布=1的行处识别水平参考线(步骤214),并且在所捕获的图像中具有强度分布=1的列处识别垂直参考线(步骤216)。每个水平参考线跨越所捕获的图像的整个宽度,并且每个垂直参考线跨越所捕获的图像的整个高度。 图3至6示出了根据上述步骤的网页图像的处理。更具体地,图3示出了如呈现给用户的捕获的网页图像。图4示出了对应的灰度图像和所计算的列和行强度分布。应当理解,尽管强度分布在图4中是可见的,但是这仅是为了易于理解。不是必须显示强度分布。图5图示了已被确定阈值以识别垂直和水平参考线的灰度图像的列和行强度分布。图6示出了覆盖在所捕获的网页图像上的参考线。应当理解,尽管参考线在图6中是可见的,但是这仅是为了易于理解。如下文将更详细描述的,根据该实施例,在这一点上对于用户而言不是必须同时看到它们显示在屏幕上。 利用所识别的水平和垂直参考线,用户能够选择参考线以便将所捕获的图像划分成用于单独操纵的区域(步骤300)。如下文所述,在图7中示出了在参考线选择期间执行的步骤。 为了查看和选择垂直参考线,调用了垂直扫描工具。一旦调用,用户开始利用指示器对所捕获的图像进行左右扫描(步骤310)。在左右扫描期间,由于垂直参考线“遭遇”指示器,因此使垂直参考线对于用户是可见的(步骤312)。更具体地,当指示器的x位置被确定成与该垂直参考线的x坐标匹配或者至少处于该垂直参考线的x坐标的预定距离内时,该垂直参考线呈现在显示器上。垂直参考线在用户继续使指示器扫描通过垂直参考线的x坐标时保持可见,并且在指示器的实际x坐标超过垂直参考线x坐标阈值量(即,例如10个像素)时消失。该功能使用户易于选择垂直参考线。此外,在显示器包括指示器图标(即,箭头)的情况下,该箭头“粘住”垂直参考线。该“粘住”效应也协助用户识别和选择垂直参考线。如果将选择可见参考线,则用户仅仅需要临时停止扫描并且点击鼠标按钮以选择已临时可见的垂直参考线。 在用户选择了垂直参考线(步骤314)之后,垂直参考线被触发“接通(ON)”并且保持永久可见,而不管指示器的位置(步骤316)。如果用户需要继续左右扫描以选择附加垂直参考线(步骤318),则该方法从步骤312继续。尽管选择了垂直扫描工具,但是用户能够返回并且重新扫描以选择先前已错过的另外的垂直参考线。 为了查看和选择水平参考线,用户调用水平扫描工具并且利用指示器开始上下扫描所捕获的图像(步骤320)以遭遇水平参考线并且从水平参考线选择。通过与上文针对垂直参考线描述的方式类似的方式进行水平参考线的上下扫描和选择。一旦用户已经完成了上下扫描,则每个选择的水平参考线被触发“接通”并且保持可见,而不管指示器的位置。尽管选择了水平扫描工具,但是用户能够返回和重新扫描以选择先前已错过的另外的水平参考线。 如果用户希望,则可以对所选择的参考线取消选择并且由此触发“断开(OFF)”以使其再次不可见。 一旦已经选择了水平和垂直参考线,则将所捕获的图像划分成由所选择的参考线描绘的区域栅格(步骤330)。然后,用户可以调节所选择的参考线以按照需要细调其位置(步骤332)。例如,图6中的一个水平参考线穿过标题“Microsoft Release Windows CE 6beta”。如果在选择之后未调节该水平参考线,则该标题被不期望地裁切。因此,用户调节所选择的参考线,如同重新确定平铺窗口的尺寸。图9至12示出了已被调节成确保标题不会被不期望地裁切的所选择的参考线。基于水平和垂直参考线的交点而将该参考线自动地划分成段,并且用户可选择性地调节该参考线的各个段,由此调节各个图像区域的边界。 一旦所捕获的图像已通过所调节的参考线被划分成所需的图像区域,则用户可选择各个图像区域用于进一步操纵。例如,用户可能希望放弃一些图像区域并且重新确定其他图形区域的位置和/或尺寸。例如,通过使用指示器选择图像区域并且按动键盘上的“delete”键,可放弃图像区域。一旦已经放弃了选择的图像区域,则通过利用指示器选择水平或垂直区域边界并且使用指示器拖拽该区域边界通过空白空间(即放弃的图像区域曾经位于的空间)到达下一未放弃的图像区域的最近边界,可以执行剩余图像区域的尺寸调节。如果拖拽所选择的边界以便与下一未放弃的图像区域重叠,则其“迅速移动(snapping)”以与该未放弃的图像区域的最近边界对准。同样,使该图像区域与该下一未放弃的图像区域整齐对准。对于垂直图像区域边界,通过检测在被拖拽时所选择的图像区域的边界的x坐标何时变得等于或大于下一未放弃的图像区域的对向图像区域边界的x坐标,易化该“迅速移动”功能。在释放时,所选择的图像区域的边界的x坐标被重置为等于对向图像区域边界的x坐标。通过以类似的方式检测和重置y坐标,对水平边界执行相同的操作。 在所选择的图像区域的边界“迅速移动”以与最近边界对准时,现在相邻的图像区域可按照需要合并为单个区域。替代地,对准的边界自身可合并为单个边界,使得单个边界的调节放大两个相邻图像区域之一并且减小另一个。 图8至12示出了当用户从参考线集合中选择以识别图像区域时根据以上步骤的图3的所捕获的网页的处理。更具体地,图8示出了出于用户的角度看到的网页图像,其中已调用了用于选择参考线的垂直扫描工具。图9示出了在完成了用于选择参考线的垂直和水平扫描之后的网页图像。图10示出了在用户已经放弃图像区域子集之后的网页图像。图11示出了正被操纵以由此调节其各自的尺寸的图10的网页图像的未放弃的图像区域。 图12示出了已如上文所述被操纵以形成适用于广播的完整、简化的网页图像的图10的网页图像的未放弃的图像区域。 尽管如上文所述常常需要在传送之前操纵数字图像,但是在一些情况下,还需要在例如实时电视广播期间聚光、放大、缩小或以其他方式操纵数字图像区域。可使用交互式显示器或者诸如图13中示出的触摸系统50来执行在实时电视广播期间的数字图像的操纵。该触摸系统与受让于本申请的受让人SMART Technologies Inc.的美国专利申请序列号为No.11/331,448中描述的触摸系统类似,通过引用的方式将其整体内容合并于此。如可以看到的,触摸系统50包括具有定义感兴趣的区域的触摸表面54的触摸屏幕52,将使用指示器70在该感兴趣的区域上进行指示器接触。在该实施例中,指示器70具有主体72和尖端74,并且触摸屏幕52通常是诸如例如LCD、等离子体、HDTV或其他电视显示设备的平板显示设备的通常平面的表面。传感器组件56沿触摸屏幕52的一侧延伸。传感器组件56包括固定到触摸屏幕52的一侧边缘的帷幔58。数字相机60的位置与帷幔58的相邻相反末端相邻。数字相机60的视场在触摸表面54的整个活动区域上重叠,使得可以视觉上检测在触摸表面54上进行的指示器接触。 红外(IR)接收器62的位置与相关联的数字相机60相邻并且与之通信。每个IR接收器62与在消费类电子设备上找到的IR接收器类似并且包括耦合至增益控制放大器的有透镜的IR检测器。数字相机60经由USB集线器65和诸如例如USB-2的高速数据总线66耦合至计算机64或其他适当的处理设备。计算机64包括存储器和处理器,该处理器执行一个或多个应用程序并且提供在触摸屏幕52上可见的显示输出。触摸屏幕52、计算机64和显示设备形成闭合环路,使得指示器与触摸屏幕52的接触可被记录为文字或图画,和/或记录为用于控制由计算机64执行的应用程序的执行的姿势。 图14是示出用于利用图13的触摸系统选择和处理在实时电视广播过程中识别的数字图像区域的步骤的流程图。与姿势的形状相关联的软件可接入处理工具表或多个表与处理工具一起存储在计算机64的存储器中(步骤600)。下面的表1中示出了处理工具表的概念性内容的示例。 姿势 处理工具 “O” 聚光 (对由“O”形姿势的尺寸和位置表征的区域进行聚光) “□” 缩放 (对由“□”形姿势的尺寸和位置表征的区域进行放 大/缩小)表1 在表1中,椭圆形姿势与“聚光”处理工具相关联,该“聚光”处理工具使识别的区域相对于其周围环境变亮。类似地,矩形姿势与“缩放”处理工具相关联。 当用户在触摸屏幕52上做出姿势以识别所显示的数字图像的区域时,计算机64接收姿势数据(步骤700),并且基于所接收到的姿势数据以已知方式将姿势墨迹显示在显示设备上。该姿势数据是基于指示器接触的采样坐标集合,该采样坐标集合组合地形成诸如椭圆形、矩形、三角形等的封闭图形。单独的采样坐标被视为当指示器保持与触摸表面54接触时一起接收到的集合的一部分。可以使用其他类似准则。在该实施例中,由于姿势数据定义区域的形状、尺寸和位置,所以该姿势数据直接表征所识别的区域。 一旦接收到姿势数据,则由计算机64使用形状识别算法来确定姿势的形状(步骤800)。如上所述,该姿势形状被视为封闭图形(即,矩形、椭圆形、三角形等中的一个)。计算机64可以采用错误处理算法来处理姿势数据无法被合理地视为定义封闭图形的情况(即,直线或者仅略微弯曲的线)。计算机64可采用其他预处理算法来处理尽管姿势数据未固有地定义封闭图形但是可以合理地被视为表示封闭图形的情况。例如,“C”形状或漩涡状均可被视为不精确绘制的椭圆形。从用户的视角看,有利的是,形状识别算法应当是鲁棒的以便处理这样的部分封闭的图形。为了实现这一点,预处理算法处理采样点集合并且可能向该集合添加附加点以导致完全围住正在描绘的区域的封闭图形。 形状识别算法在本领域中是已知的,并且包括将采样坐标集合的特性与分别定义形状或形状模板的预定义的特性相比较的形状识别算法。例如,如果坐标集合与给定形状模板93%匹配,但是仅与另一形状模板22%匹配,则具有93%匹配的形状模板被选为匹配的姿势模板,由此确定姿势形状。 一旦确定了姿势形状,则在显示设备上的原始姿势墨迹被移除并且替换为与所确定的姿势形状相对应的姿势墨迹,所确定的姿势形状被扩缩和定位以便与用户的原始姿势的尺寸和位置相对应。通过使用几何分析处理该采样点集合来确定姿势的尺寸和位置,以确定该姿势的中心及其边界。 然后,计算机64使用该姿势形状作为进入处理工具表的索引的键(key)以识别相关联的处理工具。在表1中,例如,如果该姿势形状被确定为椭圆形“O”,则识别聚光处理工具。 然后,自动启动所识别的处理工具并且将数字图像和姿势数据作为输入参数提供给用于处理该区域的处理工具(步骤1000)。处理工具输入参数可包括姿势数据自身,或者所确定的具有对应的尺寸和位置信息的姿势形状。依赖于姿势形状所关联的处理工具表中的处理工具,处理可自动发生,或者替代地,可给予用户用于进一步指明该处理的性质的选项。例如,如果处理工具是缩放工具,则给予用户放大、缩小或无操作的选项。此外,用户能够转移缩放工具以便处理被绘制为具有相同形状和尺寸但是位于不同位置的区域。一旦被使用,则关闭处理工具,或者通过点击鼠标或者接触由姿势墨迹描绘的区域外部的触摸表面54以其他方式使处理工具失活(de-activated)。 图15a中示出了由使用触摸系统50绘制的基本上矩形的边界描绘的数字图像80的区域82。图15b中示出了通过应用与已做出姿势的矩形边界相关联的缩放处理工具放大的数字图像80的识别区域82。图15a的原始姿势墨迹被自动移除,并且如图15b所示,被替换为识别由缩放处理工具放大的矩形区域82的边界的姿势墨迹。 图16a中示出了由用户使用触摸系统50绘制的圆形/椭圆形边界描绘的不同的数字图像90的区域92。图16b示出了通过应用与已做出姿势的圆形/椭圆形边界相关联的聚光工具聚光的数字图像90的识别区域92。图16a的原始姿势墨迹被自动移除,并且如图16b所示,被替换为识别由聚光处理工具聚光的圆形/椭圆形区域92的边界的姿势墨迹。 尽管上文已描述了处理数字图像的识别区域的新颖方法,但是将理解,许多替代也是可用的。例如,在与各自的处理工具相关联的处理工具表中可以包括诸如三角形或梯形的其他图形形状。 应当理解,存储在先前描述的处理工具表中的姿势形状是用于直接表征区域的那些形状(即,清楚地识别其尺寸、形状和位置),或者可以通过实现软件合理地假设以清楚地表征该区域。例如,椭圆形固有地围住区域,由此全面表征该区域,而“C”形状未固有地表征区域,但是可通过实现软件视为尚未完全绘制的类似尺寸的椭圆形。然后,实现软件将“C”形状视为表征由类似尺寸的椭圆形围住的区域,并且出于处理工具选择的目的,“C”和椭圆形将是相同的姿势并且因此导致选择相同的处理工具。 根据另一实施例,配置处理工具表,使得在“C”和椭圆形“O”表征相同区域(就形状、尺寸和位置而言)时,分别引起选择用于处理该区域的不同的处理工具。例如,绘制“C”形状使椭圆形区域被聚光,而绘制实际的椭圆形“O”使椭圆形区域被裁切。还支持未直接表征区域但是可以分别与封闭图形相关联并且指明其尺寸和位置的其他姿势。例如,在该实施例中“+”符号姿势表征类似尺寸的矩形区域,如同围绕该区域的实际的矩形姿势,但是引起选择与绘制矩形不同的处理工具。“+”符号姿势替代地可表征类似尺寸的椭圆形区域。因此,可以看到,可使用数个不同的姿势形状来表征特定区域的形状、尺寸和位置,由此实际的姿势形状是进入处理工具表的索引的键。下面的表2中示出了这样的替代处理表的概念性内容的示例。 表2 根据表2的内容,如果用户绘制了“+”,则它表示将使用裁切处理工具来处理“O”或者在尺寸和位置上与所绘制的“+”相对应的椭圆形区域。然而,如果用户绘制了“O”,则它表示将处理在尺寸和位置上与所绘制的“O”相对应的相同的椭圆形区域,但是此时使用放大/缩小处理工具。 根据另一实施例,使用虚线绘制的姿势形状来调用与使用实线绘制的具有相同尺寸和位置的姿势形状不同的处理工具。下面的表3中示出了这样的替代处理表的概念性内容的示例。 表3 替代地,虚线区别区域形状、尺寸和位置,但是调用相同的工具。例如,虚线“+”用于识别圆形和裁切处理动作,而实线“+”用于识别正方形和裁切处理动作。其他替代对于本领域的技术人员是显而易见的。例如,在一些实施例中,所确定的姿势形状可取决于采样点的定向。 根据另一实施例,可使用特殊姿势笔在触摸屏幕上绘制姿势形状并且启动对应的处理工具/应用,而其它的笔仅被用来绘制。 可以看到,上述用于处理数字图像的区域的方法有利地允许用户选择区域和用于利用单个姿势对该区域操作的工具。 尽管上文已描述了具体实施例,但是本领域的技术人员将认识到,在不偏离如权利要求限定的本发明的精神和范围的情况下可进行变化和修改。
《用于操纵数字图像的区域的方法.pdf》由会员分享,可在线阅读,更多相关《用于操纵数字图像的区域的方法.pdf(30页珍藏版)》请在专利查询网上搜索。
一种用于将数字图像划分成区域的方法,包括基于该数字图像中的边缘内容来识别潜在区域边界。基于该潜在区域边界中用户选择的潜在区域边界将该数字图像划分成区域。一种处理数字图像的区域的方法,包括接收用于表征该区域的姿势数据。自动地启动与该姿势数据相关联的处理工具,并且使用该处理工具来处理该区域。 。
copyright@ 2017-2020 zhuanlichaxun.net网站版权所有经营许可证编号:粤ICP备2021068784号-1