使用内核融合的数字信号模式检测和分类 【技术领域】
本发明涉及信号处理， 且更具体来说， 涉及检测信号的形状。背景技术 信号的位置检测可对分析和处理信号有用， 其中所述信号表示的变量在所述位置 显示显著改变。 具体来说， 检测位置在一变量中显示显著变量可对分析信号的形状、 信号内 的内容等有用。检测显著改变可在许多领域中有用， 包括图像处理、 音频处理、 视频处理或 任何其它信息处理应用。
举例来说， 在图像处理领域中， 检测显著强度改变出现的图像信号的位置可对检 测图像内的边缘有用。 这些检测到的边缘通常表示所关注的场景的结构属性， 例如， 深度的 不连续性、 表面定向的不连续性、 材料属性的改变、 场景照明的变化等。
图像信号包括表示所关注的场景内的特定位置处的强度和 / 或颜色的多个像素 值。为了检测图像信号内的边缘， 图像处理器将内核滤波器应用于图像。所述内核滤波器
可被视作权重或乘法因子的矩阵。所述矩阵通常比应用所述矩阵的实际图像小得多。用于 边缘检测的典型内核矩阵 ( 例如 ) 可为三个像素乘以三个像素 ( 即， 3×3 内核 )。
为了让图像处理器检测边缘， 图像处理器可通过在图像上滑动内核而依次将内核 矩阵应用于图像的像素中的每一者。 图像处理器依次使内核定位在图像的每一像素上的中 心处， 且将中心像素周围的 3×3 区域的像素值乘以内核矩阵的对应权重以产生经加权的 像素值。
图像处理器对经加权的像素值求和以获得图像信号的 3×3 部分的一阶导数。图 像处理器将图像信号的 3×3 部分的一阶导数与阈值进行比较， 且在一阶导数大于或等于 所述阈值时检测边缘。可应用不同内核以执行不同类型的滤波。 发明内容 本发明针对用于确定信号的形状的技术。 所述技术可用以检测信号的由所述信号 表示的变量显示显著改变的位置并确定所述变量如何在检测到的位置上改变。以此方式， 所述技术可被视作检测数字信号模式和对检测到的模式进行分类。举例来说， 在图像处理 的上下文中， 所述技术可用以检测图像信号内的边缘， 即， 数字图像信号的显示显著强度改 变的位置。在此上下文中， 数字信号模式为图像信号内的边缘。
所述技术可检测边缘， 和同时确定检测到的边缘的形状。 举例来说， 所述技术可用 以确定检测到的边缘是尖锐的还是平滑的。 有时候被称作硬边缘的尖锐边缘可出现在单一 像素上。有时候被称作软边缘的平滑边缘可出现在若干像素上。为了检测边缘并辨别边缘 形状 ( 即， 是尖锐的或平滑的 )， 所述技术可采用融合内核， 其可在单一回合中计算若干位 置处的多个一阶导数。
确定检测到的边缘的形状可增强图像处理器处理图像信号以通过比尖锐边缘更 强力地锐化平滑边缘而产生更尖锐的图像的能力。 本发明中所描述的技术可用以检测信号
( 表示正随时间、 空间或另一维度而改变的变量 ) 内的显著改变和具有显著改变的形状。 举 例来说， 所述技术可用以检测音频信号、 视频信号或其它类型的信号内的显著改变。
在一个方面中， 一种方法包含 ： 将内核应用于信号的一部分以在内核的单一回合 中至少计算信号的所述部分的第一一阶导数和信号的所述部分的第二一阶导数 ； 以及基于 第一一阶导数和第二一阶导数而确定信号的所述部分的形状。
在另一方面中， 一种装置包含包括边缘检测模块的处理器， 所述边缘检测模块用 以： 将内核应用于信号的一部分以在内核的单一回合中至少计算信号的所述部分的第一一 阶导数和信号的所述部分的第二一阶导数 ； 以及基于第一一阶导数和第二一阶导数而确定 信号的所述部分的形状。
在另一方面中， 一种计算机可读媒体包含致使处理器进行以下动作的指令 ： 将内 核应用于信号的一部分以在内核的单一回合中至少计算信号的所述部分的第一一阶导数 和信号的所述部分的第二一阶导数 ； 以及基于第一一阶导数和第二一阶导数而确定信号的 所述部分的形状。
在另一方面中， 一种装置包含 ： 用于将内核应用于信号的一部分以在内核的单一 回合中至少计算信号的所述部分的第一一阶导数和信号的所述部分的第二一阶导数的装 置； 以及用于基于第一一阶导数和第二一阶导数而确定信号的所述部分的形状的装置。 可以硬件、 软件、 固件或其任何组合来实施本发明中所描述的技术。 如果以软件实 施， 则软件可执行于处理器中， 所述处理器可指代一个或一个以上处理器， 例如， 微处理器、 专用集成电路 (ASIC)、 现场可编程门阵列 (FPGA) 或数字信号处理器 (DSP)。执行所述技 术的软件最初可存储于计算机可读媒体中且由处理器加载并执行。因此， 本发明还涵盖计 算机可读媒体， 其包含用以致使处理器执行如本发明中所描述的多种技术中的任一者的指 令。在一些情况中， 计算机可读媒体可形成可出售给制造商和 / 或用于装置中的计算机程 序产品的部分。 计算机程序产品可包括计算机可读媒体， 且在一些情况中， 还可包括封装材 料。
在附图和以下描述中阐述一个或一个以上实例的细节。 从描述和图式以及从权利 要求书中将明白其它特征、 目的和优点。
附图说明 图 1 为实施本发明中所描述的技术的一实例图像俘获装置的框图。
图 2A 和图 2B 说明将锐化掩蔽应用于图像信号内的硬边缘和软边缘。
图 3A 和图 3B 说明包括软边缘的图像信号的一实例部分和对应于图像信号的所述 部分的像素值。
图 4A 和图 4B 说明包括硬边缘的图像信号的一实例部分和对应于图像信号的所述 部分的像素值。
图 5 为说明使用本发明中所描述的技术而确定信号的形状的处理器的示范性操 作的流程图。
图 6 为说明包括实施本发明中所描述的边缘检测技术的图像俘获装置的一实例 无线通信装置的框图。
具体实施方式
图 1 为实施本发明中所描述的技术的一实例图像俘获装置 2 的框图。图像俘获装 置 2 可为数码相机， 例如数字静态图像相机、 数字视频相机， 或两者的组合。此外， 图像俘获 装置 2 可为例如独立相机的独立装置， 或集成于例如无线通信装置的另一装置中。作为一 实例， 图像俘获装置 2 可集成于移动无线电话中以形成所谓的 “相机电话” 或 “视频电话” 。
如图 1 中所展示， 图像俘获装置 2 包括图像传感器 4、 图像处理器 6 和存储模块 8。 图像传感器 4 俘获静态图像， 或有可能俘获整个运动视频序列， 在后一种情况下， 可对视频 序列的一个或一个以上图像帧执行边缘检测技术。图像传感器 4 可包括 ( 例如 ) 以行和列 布置的个别图像传感器元件的二维阵列。在一些方面中， 图像传感器 4 的图像传感器元件 中的每一者可与单一像素相关联。 换句话说， 图像传感器元件与像素之间可存在一一对应。 或者， 可存在与每一像素相关联的一个以上图像传感器元件或与每一图像传感器元件相关 联的一个以上像素。图像传感器 4 可包含 ( 例如 ) 固态传感器 ( 例如互补金属氧化物半导 体 (CMOS) 传感器、 电荷耦合装置 (CCD) 传感器等 ) 的阵列。此外， 图像传感器 4 可维持一 个或一个以上图像缓冲器， 所述图像传感器 4 在图像获取期间将图像信息存储到所述一个 或一个以上图像缓冲器。
为了俘获图像， 图像传感器 4 将图像传感器元件暴露到图像场景以俘获图像。图 像传感器 4 内的图像传感器元件可 ( 例如 ) 在特定像素位置处俘获表示场景中的光的强度 的强度值。更具体来说， 图像传感器元件俘获表示反射离开所关注的场景内的对象的光的 强度的强度值。在一些情况下， 图像传感器 4 的图像传感器元件中的每一者归因于覆盖那 个元件的彩色滤光片而仅对一种颜色或色带敏感。 举例来说， 图像传感器 4 可包含 ( 例如 ) 红色、 绿色和蓝色 (RGB) 滤光片的阵列。然而， 图像传感器 4 可利用其它彩色滤光片， 例如， 青色、 洋红色、 黄色和黑色 (CMYK) 彩色滤光片。因此， 图像传感器 4 的图像传感器元件中的 每一者可俘获仅一种颜色的强度值。因此， 图像信息可包括由图像传感器 4 的传感器元件 俘获的像素强度值。
由图像传感器元件俘获的像素强度值基于反射离开对象的光的强度而在整个图 像中变化。 从小像素强度值到大像素强度值或从大像素强度值到小像素强度值的显著转变 通常对应于图像内的边缘。 举例来说， 强度值的显著改变可表示图像内的对象的边缘。 在一 些例子中， 像素强度值的转变可为出现在一个或两个像素上的急剧转变。 举例来说， 两个相 邻像素可具有显著不同的强度值。这些类型的急剧转变可被称作 “尖锐边缘” 或 “硬边缘” 。 如本文中所使用， 可互换地使用术语尖锐边缘与硬边缘。 在其它例子中， 像素强度值的转变 可逐渐出现在较大数目的像素上。 举例来说， 转变可逐渐出现在五个或五个以上像素值上。 这些类型的平滑、 逐渐的转变可被称作 “平滑边缘” 或 “软边缘” 。如本文中所使用， 可互换 地使用术语平滑边缘与软边缘。软边缘可向用户呈现为模糊边缘， 而硬边缘可呈现为更尖 锐。
图像处理器 6( 例如 ) 从图像传感器 4 的缓冲器获得图像 ( 或帧 ) 的数字图像信 号， 且执行本发明中所描述的形状检测技术。将在检测边缘和同时确定检测到的边缘的形 状 ( 即， 边缘是硬边缘还是软边缘 ) 的方面描述形状检测技术。 图像处理器 6 包括边缘检测 模块 10 和内核选择模块 12。 边缘检测模块 10 在数字图像信号的情况下可分析图像的像素 强度值以识别图像内的边缘。具体来说， 边缘检测模块 10 应用内核以检测图像信号内的边缘。如下文中将更详细地描述， 可将内核视作待应用于图像的部分 ( 例如， 图像的 5×5 部 分 ) 的权重或乘数的矩阵。在一些例子中， 边缘检测模块 10 可应用内核以检测图像内的硬 边缘和软边缘两者。在其它例子中， 边缘检测模块 10 仅可检测软边缘或仅可检测硬边缘。 在此后一种情况下， 边缘检测模块 10 执行选择性边缘检测， 即， 仅检测特定形状的边缘。
边缘检测模块 10 从内核选择模块 12 接收内核。在一些例子中， 内核选择模块 12 可从多个内核选择一内核以应用于图像信号。举例来说， 图像俘获装置 2 可将用以检测垂 直方向上的边缘的第一内核和用以检测水平方向上的边缘的第二内核存储于存储模块 8 中， 且内核选择模块 12 可基于边缘检测模块 10 是正在水平方向上还是在垂直方向上检测 边缘而选择水平边缘检测内核或垂直边缘检测内核。以此方式， 内核选择模块 12 可自动地 选择待用于边缘检测的内核。
作为另一实例， 图像俘获装置 2 可存储多个用于检测具有不同分辨率的图像中的 边缘的内核。随着图像传感器输出的分辨率增加， 所述内核的尺寸可 ( 例如 ) 增加。换句 话说， 图像传感器输出的分辨率越高， 内核的尺寸越大。举例来说， 内核选择模块 12 对于 具有 320×240 的分辨率的图像传感器输出可选择具有 5×5 的尺寸的内核， 且对于具有 2560×1920 的分辨率的图像传感器输出可选择具有 7×7 大小的尺寸的内核。以此方式， 内核选择模块 12 可基于图像传感器输出的分辨率而选择待用于边缘检测的内核。在一些 例子中， 图像俘获装置 2 可能不将预定内核存储于存储模块 8 内， 而是， 内核选择模块 12 可 ( 例如 ) 根据数学函数而在运行中产生内核。 在由内核选择模块 12 选择内核之后， 边缘检测模块 10 将所选择的内核应用于图 像。边缘检测模块 10 可执行图像与内核之间的卷积。为了执行图像卷积， 边缘检测模块 10 依次将内核定位在图像的每一像素上的中心处， 且计算内核与所述像素值的相乘的和。接 着将此和指派到像素。根据本文中所描述的技术， 内核的应用在单一回合中产生表示信号 的部分的至少两个一阶导数的和。换句话说， 通过应用单一内核而产生信号的部分的至少 两个一阶导数。如下文中将更详细地描述， 所产生的和的量值的不同阶的值表示至少两个 一阶导数。举例来说， 对于所产生的和 80， 160， 一阶量值的值 ( 即， 80,000) 可表示第一一 阶导数， 且二阶量值的值 ( 即， 160) 可表示第二一阶导数。 以此方式， 边缘检测模块 10 在单 一内核的单一回合中计算信号的一部分的两个或两个以上一阶导数。 使用本发明的技术而 应用的单一内核可被视作融合内核， 因为其提供通常要求应用一个以上内核的结果。
在单一回合中使用融合内核而计算信号的一部分的两个或两个以上一阶导数可 通过消除在两个或两个以上回合中应用两个或两个以上内核的需要而减少用于边缘检测 的处理资源的量。另外， 所述技术可减少检测图像内的边缘所花费的时间量。不同于本文 中所描述的技术， 常规图像处理器每一回合仅计算一个一阶导数， 且因此将要求一个以上 内核的一个以上回合来检测信号的部分的至少两个一阶导数。为了计算两个一阶导数， 常 规图像处理器将第一内核应用于图像的部分以获得第一一阶导数， 且将第二内核应用于图 像的部分以获得第二一阶导数。
边缘检测模块 10 使用至少两个一阶导数来确定像素是否位于边缘处， 且如果位 于边缘处， 则确定边缘形状 ( 例如， 尖锐 / 硬或平滑 / 软 )。边缘检测模块 10 可使一阶导数 规格化， 且将一阶导数中的至少一者与一个或一个以上阈值或阈值范围进行比较以确定像 素是否位于信号内的边缘处。举例来说， 边缘检测模块 10 可将一阶导数中的至少一者与阈
值进行比较以确保对于一边缘来说， 改变足够显著。如果边缘检测模块 10 确定像素位于边 缘处， 则边缘检测模块 10 可确定像素所处的边缘的形状。举例来说， 边缘检测模块 10 可基 于一阶导数的比率而确定边缘的形状。以此方式， 边缘检测模块 10 分析信号以确定信号的 形状。可调整阈值和范围以使得边缘检测模块 10 检测硬边缘、 软边缘或两者。
图像处理器 6 可使用检测到的边缘来处理所俘获的图像。 举例来说， 图像处理器 6 可基于检测到的边缘来锐化图像。因此， 对图像内的检测到的边缘所执行的锐化的量可随 边缘被检测为硬边缘还是软边缘而变。图像处理器 6 可使用比用以锐化硬边缘的技术更强 力的锐化技术来锐化软边缘。 使用用于锐化软边缘的同一锐化技术来锐化硬边缘可在硬边 缘处形成剪辑假影， 此情形导致噪声和质量降低的图像。因此， 图像处理器 6 可在边缘被检 测为软边缘时使用较强力地增加边缘的两侧之间的对比度的锐化掩蔽， 且在边缘被检测为 硬边缘时使用较不强力地增加边缘的两侧之间的对比度的锐化掩蔽。以此方式， 图像处理 器 6 可将所计算的一阶导数， 且更特定来说， 两个一阶导数的比率用作由图像处理器 6 执行 的锐化功能的启发。图像处理器 6 可基于图像内的检测到的边缘而对图像执行其它图像处 理。换句话说， 经计算的一阶导数可用作由图像处理器 6 执行的其它图像处理功能的启发。
可 由 例 如 一 个 或 一 个 以 上 微 处 理 器、 数 字 信 号 处 理 器 (DSP)、 专用集成电路 (ASIC)、 现场可编程门阵列 (FPGA) 或任何其它等效离散或集成逻辑电路或其组合等一个 或一个以上集成电路装置来实现图像处理器 6。在一些例子中， 图像处理器 6 可形成编码 器 - 解码器 (CODEC) 的部分， 所述 CODEC 根据例如运动图片专家组 (MPEG)-2、 MPEG-4、 国际 电信联盟 (ITU)H.263、 ITU H.264、 联合照相专家组 (JPEG)、 图形交换格式 (GIF)、 标签图像 文件格式 (TIFF) 等特定编码技术或格式来对图像信息进行编码。图像处理器 6 可对图像 信息执行额外处理， 例如图像修剪、 压缩、 增强等。
图像处理器 6 可将所俘获的图像存储于存储模块 8 中。或者， 图像处理器 6 可对 图像执行额外处理， 且将呈经处理或经编码的格式的整个图像存储于存储模块 8 中。如果 图像信息由音频信息伴随， 则音频信息还可独立地或结合包含一个或一个以上帧 ( 含有图 像信息 ) 的视频信息而存储于存储模块 8 中。存储模块 8 可包含任何易失性或非易失性存 储器或存储装置， 例如只读存储器 (ROM)、 电可擦除可编程只读存储器 (EEPROM) 或快闪存 储器， 或例如磁性数据存储装置或光学数据存储装置。
许多其它元件也可包括于图像俘获装置 2 中， 但为了说明的简单和简易而未特定 说明于图 1 中。举例来说， 图像俘获装置 2 可包括用于俘获图像的额外组件， 例如透镜、 快 门、 闪光装置和取景器。图 1 中所说明的架构仅为示范性的， 因为可以多种其它架构来实施 本发明中所描述的技术。此外， 可由硬件和 / 或软件组件的任何合适组合来实现图 1 中所 说明的特征。
尽管本文中在检测图像信号内的边缘的图像俘获装置的上下文中描述所述技术， 但所述技术可由其它类型的装置使用以检测任何信号 ( 表示随时间、 空间或其它维度而改 变的变量 ) 内的具有显著改变的形状。举例来说， 所述技术可用以检测音频信号、 视频信号 或任何其它类型的信号内的显著改变的形状。然而， 所述技术可适用于检测任何信号中的 数字信号模式， 和对检测到的数字信号模式进行分类。
图 2A 和图 2B 说明将锐化掩蔽应用于图像信号内的硬边缘和软边缘。图 2A 说明 将锐化掩蔽应用于包括软边缘的图像信号的一部分。图像信号 14 表示原始图像信号在锐化之前的部分。如上文所说明， 图像信号 14 内的软边缘可归因于像素强度转变出现的平 滑、 逐渐的方式而向观看者呈现为模糊的。为了锐化软边缘， 图像处理器 6 可应用包括加权 值的锐化掩蔽， 所述加权值减小图像信号 14 内的边缘的较暗侧的像素强度值且增加图像 信号 14 内的边缘的较亮侧的像素强度值。锐化掩蔽的加权值足够大， 使得边缘的较暗侧与 边缘的较亮侧之间的对比度使得边缘向观看者更尖锐地呈现。图像信号 16 表示在将锐化 掩蔽应用于图像信号 14 之后所得的图像信号。如图 2A 中所说明， 图像信号 16 的低强度 ( 暗 ) 区域显著低于原始图像信号 14 的低强度 ( 暗 ) 区域， 且图像信号 16 的高强度 ( 亮 ) 区域显著高于原始图像信号 14 的高强度 ( 亮 ) 区域。
图 2B 说明将同一锐化掩蔽应用于包括硬边缘的图像信号的一部分。图像信号 18 表示原始图像信号在锐化之前的部分。如以上所描述， 图像信号 18 内的硬边缘已向观看者 呈现为尖锐的。然而， 如果边缘检测模块不能区分硬边缘与软边缘， 则图像处理器 6 将锐化 掩蔽应用于硬边缘以及软边缘。图像信号 19 表示在将锐化掩蔽应用于图像信号 18 之后所 得的图像信号。如图 2B 中所说明， 将用以锐化软边缘的锐化掩蔽应用到图像信号 18 在图 像信号的低强度和高强度区域中形成剪辑假影。换句话说， 在黑色处夹持图像信号 19 的低 强度区域， 且在白色处夹持图像信号 19 的高强度区域。所得的图像信号包括 ( 例如 ) 可向 观看者呈现为椒盐噪声的噪声。 本发明中所描述的信号形状检测技术允许图像处理器 6 选择性地锐化所俘获的 图像内的边缘。举例来说， 边缘检测模块 10 可选择性地检测图像信号内的边缘， 以使得仅 检测和锐化软边缘。作为另一实例， 边缘检测模块 10 可识别检测到的边缘的形状， 且图像 处理器 6 可使用具有较大权重的锐化滤光片来锐化软边缘， 且使用具有较小权重的锐化滤 光片来锐化硬边缘。举例来说， 图像处理器 6 可基于检测到的边缘而锐化图像。以此方式， 图像处理器 6 可将检测到的边缘的形状用作由图像处理器 6 执行的锐化功能的启发。
图 3A 说明包括软边缘的图像信号的一实例部分。图 3B 说明对应于图像信号的所 述部分的五像素乘以五像素 (5×5) 区域的像素强度值。具体来说， 图 3B 中所展示的 5×5 区域的像素强度值与图 3A 中所说明的图像信号的部分对应。 图 3A 和图 3B 中所说明的图像 信号在五像素跨度上以相对平滑、 逐渐的方式从像素强度值十转变到像素强度值五十。如 通过图 3B 的像素强度值所展示， 图像信号以逐渐的方式从十递增到五十。图 3A 中所说明 的数字图像信号的部分的点 20、 22 和 24 与图 3B 中所说明的像素强度值的第一列、 第三列 和第五列处的像素强度值对应。
将出于说明性目的而描述将一实例内核应用到图像的实例部分的第三行和第三 列中的像素以确定像素处于一边缘上， 且更特定来说， 处于一软边缘上。边缘检测模块 10 可以类似的方式将实例内核应用于图像内的其它像素。在一些例子中， 边缘检测模块 10 可 以类似的方式将内核应用于图像内的所有像素。在其它例子中， 边缘检测模块 10 可将内核 仅应用于图像内的像素的一子集， 例如， 每隔一行或一列中的像素。 尽管在下一页上所说明 的实例内核 (1) 的方面描述所述技术， 但可使用具有不同尺寸的内核、 具有较多或较少的 非零值的内核、 具有不同非零值的内核或其组合来利用所述技术。
以上所说明的实例 5×5 内核具有至少一行， 所述行具有 ： 第一列， 其包括一阶量 值的至少一个负值 ； 第二列， 其包括二阶量值的至少一个负值 ； 以及第三列， 其包括至少一 个正值， 所述至少一个正值包括一阶量值的一分量和二阶量值的一分量。以上所展示的 实例 5×5 内核包括三行， 所述三行包括非零值。内核的第二行包括值 -1、 0、 -1000、 0和 1001， 内核的第三行包括值 -2、 0、 -2000、 0 和 2002， 且内核的第四行包括值 -1、 0、 -1000、 0 和 1001。因此， 三行中的每一者具有 ： 一负值， 其为一阶量值， 即， -1 或 -2 ； 一负值， 其为 二阶量值， 即， -1000 或 -2000 ； 以及一正值， 其具有一阶量值的一分量， 即， 分别为值 -1001 和 -2002 的 -1 或 -2， 且具有二阶量值的一分量， 即， 分别为值 -1001 和 -2002 的 -1000 或 -2000。 如将于下文中详细地描述， 选择具有一阶量值和二阶量值的内核值允许边缘检测 模块 10 在单一回合中产生表示信号的部分的至少两个一阶导数的和。
术语 “一阶量值” 和 “二阶量值” 与不同阶量值对应且不一定是连续阶量值。如以 上实例中所说明， “一阶量值” 的值， 即， 值 -1 和 -2 可被视作与零阶量值对应， 而 “二阶量值” 的值， 即， -1000 和 -2000 可被视作与三阶量值对应。因此， 如本文中所使用， 术语 “一阶量 值” 和 “二阶量值” 与可为连续或可为不连续的不同阶量值对应。
例如， 可由应用设计者根据正被分析的信号的类型而选择用于内核中的非零值的 各阶量值。所说明的实例内核可特别适合于应用到 8 位数字图像信号， 即， 使用 8 位来表示 每一像素值的数字图像信号。 在 8 位数字图像信号中， 每一像素具有 0 与 255 之间的值。 选 择经选择用于非零值的二阶量值， 以使得像素值与一列的一阶量值非零分量的相乘的和溢 出成二阶量值是不可能的或至少存在很小的机率。使用 8 位图像作为一实例， 最大像素值 255 与一阶量值 ( 即， -1、 -2 和 -1) 相乘的和等于 1020。然而， 因为相应位置上的像素中的 每一者具有 255 的值的可能性很小， 所以实例内核具有二阶量值 ( 例如， 1000)。为了消除 溢出的任何机率， 可选择较大的二阶量值， 例如， 10,000。对于用较大或较小数目的位所表 示的信号， 可使用具有较大或较小阶量值的非零值。举例来说， 对于 16 位图像， 可使用具有 较大阶量值的非零值， 例如， 1,000,000。同样， 对于 2 位信号， 可使用具有较小阶量值的非 零值， 例如， 100。以此方式， 可根据信号的最大可能值来选择内核的非零值的二阶量值。
为了应用 (1) 中所展示的实例内核， 边缘检测模块 10 将内核定位在图像的部分上 的中心处， 以使得内核以第三行和第三列定位在像素上的中心处。边缘检测模块 10 对图像 的部分和内核执行卷积以计算内核与所述像素值相乘的和。具体来说， 图像的部分的像素 强度值中的每一者乘以内核内的对应位置的值以获得经加权像素值， 且接着对经加权像素 值求和。在以上所说明的实例中， 边缘检测模块 10 计算中心像素位置的和 80， 160， 即 (-1) (10)+(-1000)(30)+(1001)(50)+(-2)(10)+(-2000)(30)+(2002)(50)+(-1)(10)+(-1000) (30)+(1001)(50)。 以此方式， 根据特定像素的相邻区域中的像素值的至少一部分而计算特 定像素位置的和。 可添加或删除内核的非零值的数目以在确定中包括更多或更少的相邻像
素值。 如以上所描述， 经计算的和表示应用内核的信号的部分的至少两个一阶导数。在 此实例中， 所述和确切表示两个一阶导数， 即， 第一一阶导数， 其对应于图 3A 中所说明的信 号的点 22 与点 24 之间的线 28 的斜率 ； 以及第二一阶导数， 其对应于图 3A 中所说明的信号 的点 20 与点 24 之间的线 26 的斜率。具体来说， 所述和的一阶量值的值 ( 即， 80,000) 对应 于第一一阶导数， 且所述和的二阶量值的值 ( 即， 160) 对应于第二一阶导数。因此， 边缘检 测模块 10 可被视作沿着水平方向在三个点 ( 即， 点 20、 22 和 24) 处对图像信号进行取样。
边缘检测模块 10 可通过执行将经计算的和 80， 160 除以 1000 且将商 ( 即， 80) 用 作第一一阶导数并将余数 ( 即， 160) 用作第二一阶导数的除法运算而识别第一和第二一阶 导数的值。在一些例子中， 边缘检测模块 10 可执行模运算以获得余数 160。第一一阶导数 对应于像素值在点 22 与点 24 之间的第一跨度上增加的量， 且第二一阶导数对应于像素值 在点 20 与点 24 之间的第二跨度上增加的量。根据线 26 和线 28 的斜率， 第一一阶导数对 应于点 22 与点 24 之间的行程上的第一上升， 且第二一阶导数对应于点 20 与点 24 之间的 行程上的第二上升。点 22 与点 24 之间的第一一阶导数可被视作超前一阶导数 ( 或斜率 )， 且点 20 与点 24 之间的第二一阶导数可被视作滞后一阶导数 ( 或斜率 )。
边缘检测模块 10 可进一步在相同行程上将第一和第二上升规格化。第一上升与 三像素行程对应， 而第二上升与五像素行程对应。 为了在同一长度的行程上将上升规格化， 边缘检测模块 10 可将第一上升乘以二。以此方式， 上升经规格化， 以使得两种上升与五像 素跨度上的行程对应。 在以上所描述的实例中， 经规格化的第一和第二上升均等于 160。 通 过将上升规格化以使其在五像素行程上， 为了分析线 26 和线 28 的斜率的目的， 边缘检测模 块 10 可使用上升的值。
在其它例子中， 边缘检测模块 10 可不将上升规格化。而是， 边缘检测模块 10 可通 过将上升中的每一者除以对应行程来单独计算线 26 和线 28 的斜率， 且接着比较斜率。 举例 来说， 边缘检测模块可通过将第一上升除以二 ( 即， 第三像素与第五像素之间的行程 ) 来计 算线 28 的斜率， 且通过将第二上升除以四 ( 即， 第一像素与第五像素之间的行程 ) 来计算 线 26 的斜率。然而， 将行程规格化和比较行程可减少边缘检测模块 10 执行的数学运算的 数目。 具体来说， 计算两种斜率要求两个除法运算， 且接着比较两种斜率的比率要求另一除 法运算。 然而， 将上升规格化仅要求一个乘法运算 ( 即， 将第一上升乘以二 )， 且比较两种上 升的比率要求一除法运算。 当对具有数千或甚至数百万像素的图像进行运算时， 结果将为， 对于每一被分析的像素减少一个数学运算， 从而导致显著减少数学运算和相关联的计算开 销和功率消耗。
边缘检测模块 10 分析线 26 和线 28 的斜率以确定像素位置是否对应于一边缘， 且 如果对应于一边缘， 则确定边缘为软边缘还是硬边缘。在一些方面中， 边缘检测模块 10 可 通过分析经规格化的上升而分析线 26 和线 28 的斜率。因为在相同行程长度上 ( 即， 在五 像素跨度上 ) 将上升规格化， 所以边缘检测模块 10 可使用上升来分析斜率。边缘检测模块 10 可将对应于点 20 到点 24 的跨度的第二经规格化的上升与阈值范围进行比较。 作为一个 实例， 边缘检测模块 10 可确定第二经规格化的上升是否大于或等于 120 且小于或等于 300。 可根据像素的最大可能值、 斜率在其上行进的像素的数目， 或所述两者来选择阈值范围。 如 果第二经规格化的上升大于 300， 则认为点 20 到点 24 的斜率过大而不能构成软边缘。如
果第二经规格化的上升小于 120， 则认为点 20 到点 24 的斜率不足以构成显而易见的边缘。 可基于正被分析的图像的类型或内核的各阶量值来调整阈值范围的值。
如果第二经规格化的上升落在阈值范围内， 则边缘检测模块 10 计算两种上升的 比率以确定边缘是软边缘还是硬边缘。 如果两种经规格化的上升的经计算比率大于或等于 0.4 且小于或等于 1.6， 则边缘检测模块 10 将边缘检测为软边缘。换句话说， 两种上升彼此 足够靠近以被认为是平滑、 逐渐的边缘。如果两种上升的比率小于 0.4 或大于 1.6， 则边缘 检测模块 10 将边缘检测为硬边缘。以此方式， 边缘检测模块 10 基于线 26 与线 28 的斜率 的比率而确定检测到的边缘是硬边缘还是软边缘。
可调整斜率和斜率的比率的阈值和 / 或范围以更强力地检测边缘或较不强力地 检测边缘。 此外， 还可调整斜率的阈值和 / 或范围， 以使得边缘检测模块 10 检测硬边缘和软 边缘两者， 仅检测软边缘， 或仅检测硬边缘。因此， 可调整斜率的阈值和 / 或范围以配置边 缘检测模块 10 来选择性地检测特定形状的边缘， 例如， 仅平滑边缘和 / 或仅尖锐边缘。仅 检测平滑边缘可允许图像处理器 6( 图 1) 选择性地锐化检测到的边缘， 以使得不以降低尖 锐边缘的质量的方式来锐化所述尖锐边缘。 常规的一阶和二阶边缘检测内核可经调谐以找 到硬边缘和软边缘。然而， 因为一阶和二阶边缘检测内核不产生关于图像的部分上的相邻 斜率或斜率的改变率的信息， 所以常规的一阶和二阶边缘检测内核不能经调谐以在单一回 合中检测边缘的形状 ( 例如， 边缘是硬边缘还是软边缘 )。 在图 3A 和图 3B 中所说明的信号的实例部分中， 第一和第二经规格化的上升等于 160。第一经规格化的上升落在对应的阈值范围 120-300 内。第二经规格化的上升落在对 应的阈值范围 25-300 内。因此， 边缘检测模块确定所述像素位于一边缘上。此外， 上升的 比率等于 1， 其处于构成软边缘的范围内。 因此， 边缘检测模块 10 检测到第三行和第三列的 像素位于一软边缘上。以此方式， 边缘检测模块 10 分析数字图像信号以确定信号的形状。
以此方式， 边缘检测模块 10 在单一回合中计算信号的一部分的两个或两个以上 一阶导数， 且使用所述两个或两个以上一阶导数来确定信号的形状。 然而， 常规的边缘检测 器要求应用两个内核以检测信号的部分的至少两个一阶导数。举例来说， 常规的边缘检测 器可应用以下所说明的内核 (2) 和 (3) 以产生两个一阶导数。具体来说， 常规的边缘检测 器可应用内核 (2) 以检测图像信号的部分的第一一阶导数， 且应用内核 (3) 以检测图像信 号的部分的第二一阶导数。
因此常规的边缘检测技术要求大约两倍的处理资源和时间的量以实现本文中所 揭示的技术的类似结果。边缘检测模块 10 可通过仅应用单一内核 ( 例如， (1) 中所说明的 内核 ) 而获得同一结果。以此方式， (1) 中所说明的内核可被视作内核 (2) 和内核 (3) 融 合成单一内核。
为了进一步优化内核， 图像处理器 6 可将 (1) 中所展示的内核浓缩成 3×3 内核。 具体来说， 可从 5×5 矩阵 ( 如 (4) 中所展示 ) 中移除包括所有零值的行和列， 以形成 3×3 浓缩内核 ( 如 (5) 中所展示 )。
尽管内核被浓缩且存储为 3×3 内核， 但边缘检测模块 10 仍可将内核应用于图像 信号的 5×5 部分。
由边缘检测模块 10 应用以上 (1) 中所展示的实例内核以检测图像内的垂直边缘。 边缘检测模块 10 可应用具有实质上类似性质的第二内核以检测图像信号内的水平边缘。 以下说明可用以根据本发明的技术而检测图像信号内的水平边缘的一实例内核。
边缘检测模块 10 可同时或在单独的若干回合期间将第一和第二内核应用于像素 位置。如同用于检测垂直边缘的内核， 用以检测水平边缘的内核 (6) 可被视为内核 (7) 与 (8) 的融合。16
101903893 A CN 101903895说明书11/15 页
尽管根据以上 (1) 中所说明的实例内核进行描述， 但可使用具有不同尺寸的内 核、 具有较多或较少的非零值的内核、 在内核内的不同位置上具有非零值的内核、 具有不同 非零值的内核或其组合来利用所述技术。作为一实例， 可使用为二的幂的非零值来取代 内核 (1) 的非零值。举例来说， 在 (1) 和 (4) 中所展示的 5×5 内核中， 可使用 -1024 取 代值 -1000， 可使用 1025 取代值 1001， 可使用 -2048 取代值 -2000， 且可使用 2050 取代值 2002， 如 (9) 中所展示。使用为二的幂的非零值可允许边缘检测模块 10 利用较快的移位运 算子， 例如， 仅使用移位和除法。
作为另一实例， 内核可包括具有三个不同量值的四个非零值的行。下文说明所述 内核的一实例。
实例内核包含若干行， 所述行包括一阶量值的第一负值、 二阶量值的第二负值、 三 阶量值的第三负值， 和一正值， 所述正值具有一阶量值的一分量、 二阶量值的一分量与三阶 量值的一分量。使用所述内核允许边缘检测模块 10 在单一回合中计算三个一阶导数， 即， 三个不同跨度的斜率。因此， 边缘检测模块 10 可能够更准确地确定信号的部分内的边缘的 形状。
作为另一实例， 内核可包括以径向方式而非水平和垂直方式布置的非零值。以下 说明所述内核。
可使用具有不同尺寸的内核、 具有较多或较少的非零值的内核、 具有不同非零值 的内核或其组合来利用所述技术。
图 4A 说明包括硬边缘的图像信号的一实例部分。图 4B 说明对应于图像信号的所 述部分的五像素乘以五像素 (5×5) 区域的像素强度值。具体来说， 图 4B 中所展示的 5×5 区域的像素强度值与图 4A 中所展示的图像信号的部分对应。如同图 3A 和图 3B 中所说明 的图像信号的 5×5 部分， 图 4A 和图 4B 中所说明的图像信号的 5×5 部分从像素强度值十 转变到像素强度值五十。然而， 图 4A 和图 4B 中所说明的图像信号的部分在单一像素上急 剧转变， 而非在五像素跨度上逐渐转变。如由图 4B 的像素强度值所展示， 此急剧转变出现 于第三列像素与第四列像素之间。图 4A 中所说明的图像信号的部分的点 30、 32 和 34 与图 4B 中所说明的像素强度值的列一、 列三和列五处的像素强度值对应。
以上所说明的由边缘检测模块 10 应用 5×5 内核 (1) 来检测图 4A 和图 4B 中所说 明的信号的部分中的硬边缘将作为另一实例进行描述。边缘检测模块 10 将内核定位在图 像的部分上的中心处， 以使得内核以第三行和第三列定位在像素上的中心处。边缘检测模 块 10 对图像的部分和内核执行卷积以计算经加权的像素值， 且对经加权的像素值求和。对 于图 3A 和图 3B 中所说明的信号， 边缘检测模块 10 计算中心像素位置的和 160， 160， 即 (-1) (10)+(-1000)(10)+(1001)(50)+(-2)(10)+(-2000)(10)+(2002)(50)+(-1)(10)+(-1000) (10)+(1001)(50)。
所述经计算的和的一阶量值的值 ( 即， 160,000) 对应于第一一阶导数， 且二阶量 值的值 ( 即， 160) 对应于第二一阶导数。 边缘检测模块 10 最初可通过使用除法运算的商和 余数将第一和第二一阶导数的值规格化成同一阶量值。具体来说， 除法运算的商 ( 即， 160) 与第一一阶导数对应， 且余数 ( 即， 160) 与第二一阶导数对应。如以上所描述， 经规格化的 第一一阶导数对应于点 32 与点 34 之间的行程上的第一上升， 且经规格化的第二一阶导数 对应于点 30 与点 34 之间的行程上的第二上升。
边缘检测模块 10 可通过将第一上升乘以二而进一步在相同行程上将第一和第二 上升规格化。以此方式， 将上升规格化， 以使得两种上升与五像素跨度上的行程对应。在以 上所描述的实例中， 经规格化的第一上升等于 320， 且第二上升等于 160。通过将上升规格 化以使其在五像素行程上， 边缘检测模块 10 可出于分析线 26 和线 28 的斜率而非个别地计 算斜率中的每一者的目的使用上升的值。如以上所描述， 所述技术可减少由边缘检测模块 10 执行的算术运算的数目。
在此情况下， 两种上升的比率等于 2， 其处于 0.4 到 1.6 的范围之外。 因此， 边缘检 测模块 10 将边缘表征为硬边缘。如以上所描述， 边缘检测模块 10 可在不在相同行程长度 上将上升规格化的情况下计算斜率， 且分析经计算的斜率。 然而， 所述分析可要求边缘检测 模块 10 执行额外的数学运算。
图 5 为说明图像处理器 ( 例如， 图 1 的使用本文中所描述的技术来确定信号的形 状的图像处理器 6) 的示范性操作的流程图。最初， 图像处理器 6 获得信号 (40)。图像处理 器 6 可 ( 例如 ) 从图像处理器 6 耦合到的图像传感器 4( 图 1) 获得图像信号。然而， 图像 处理器 6 可从其它源 ( 例如， 经由图像处理器 6 耦合到的网络 ) 获得图像信号。
图像处理器 6 的内核选择模块 12 选择多个内核中的一者以应用于信号 (42)。内 核选择模块 12 可基于图像处理器 6 的边缘检测模块 10 正检测垂直还是水平方向上的边缘 而选择内核。 举例来说， 一些内核可经公式化以用于垂直检测， 而其它内核经公式化以用于 水平检测。内核选择模块 12 还可基于其它参数 ( 例如， 图像的分辨率 ) 而选择内核。
边缘检测模块 10 将内核应用于第一像素以针对所述像素计算和 (44)。 具体来说， 边缘检测模块 10 将内核定位在第一像素上的中心处， 且执行一卷积， 将图像的一部分内的 第一像素周围的像素值中的每一者乘以内核内的对应位置的值， 且接着对所述结果求和。 边缘检测模块 10 基于经计算的和而识别至少两个一阶导数 (46)。 如以上所描述， 经计算的 和的一阶量值的值对应于第一一阶导数， 且所述和的二阶量值的值对应于第二一阶导数。 边缘检测模块 10 可通过对经计算的和执行除法运算且将除法运算的商和余数分别用作第 一一阶导数和第二一阶导数而获得第一一阶导数和第二一阶导数。
边缘检测模块 10 可在像素的相同跨度上将至少两个一阶导数 (48) 规格化。第 一一阶导数对应于像素的第一跨度上的第一上升， 且第二一阶导数对应于像素的第二跨度 上的第二上升。在一个实例中， 第一一阶导数可表示点 22 与点 24 之间的斜率 ( 图 3A)， 且 第二一阶导数可表示点 20 与点 24 之间的斜率 ( 图 3A)。可在像素的相同跨度上将一阶导 数规格化。此导致减小的计算复杂性， 且因此提供优于使用除法运算来计算斜率的若干效 率优势。
边缘检测模块 10 确定第二一阶导数是否处于值的阈值范围内 (52)。当第二一阶 导数不处于值的阈值范围内时 (52 的 “否” 分支 )， 边缘检测模块 10 确定第二一阶导数是否 超过阈值范围 (54)。在边缘检测模块 10 确定第二一阶导数超过阈值范围时 (54 的 “是” 分 支 )， 边缘检测模块 10 检测到像素位于硬边缘处 (56)。 在边缘检测模块 10 确定第二一阶导 数不超过阈值范围时 (54 的 “否” 分支 )， 边缘检测模块 10 检测到像素不位于边缘处 (58)。
当第二一阶导数处于值的阈值范围内时 (52 的 “是” 分支 )， 边缘检测模块 10 确定 第一一阶导数与第二一阶导数的比率是否处于比率的阈值范围内 (60)。在比率大于或小 于比率的阈值范围时 (60 的 “否” 分支 )， 边缘检测模块 10 检测到像素位于硬边缘处 (56)。 在比率处于比率的阈值范围时 (60 的 “是” 分支 )， 边缘检测模块 10 检测到像素位于软边缘 处 (62)。边缘检测模块 10 确定图像信号内是否存在应用内核的额外像素 (64)。在不存在 额外像素时 (64 的 “否” 分支 )， 图像处理器 6 等待获得另一信号 (40)。在存在额外像素时 (64 的 “是” 分支 )， 边缘检测模块 10 将内核应用于图像信号中的下一个像素 (44)。以此方 式， 图像处理器 6 在内核的单一回合中确定信号的部分的形状， 例如， 检测像素是否处于边 缘处。
图 6 为说明包括实施本发明中所描述的边缘检测技术的图像俘获装置 2 的一实例 无线通信装置 70 的框图。图 6 展示与无线通信装置 70 集成的图像俘获装置 2。在上文中 关于图 1 描述了图像俘获装置 2 的操作， 且因此在此将不详细地描述。无线通信装置 70 可 包含无线通信装置手持机， 例如具有图像俘获能力的蜂窝式电话 ( 例如， 所谓的相机电话或视频电话 )、 视频记录器、 网络摄像头、 个人数字助理 (PDA)、 膝上型计算机， 或具有图像 俘获和无线通信能力的任何其它装置。尽管在无线通信装置的上下文中进行说明， 但本发 明的技术还可适用于有线通信装置。
在图 6 的实例中， 无线通信装置 70 包括图像俘获装置 2、 编码模块 72、 发射器 74 和 取景器 76。编码模块 72 可对经俘获的图像信息进行编码以将图像压缩成特定图像压缩格 式以用于存储和 / 或发射。编码模块 72 可使用若干图像压缩格式 ( 包括 JPEG、 TIFF、 GIF 或其它图像压缩格式 ) 中的任一者来压缩图像。在视频的情况下， 编码模块 72 可使用任何 数目的视频压缩格式 ( 例如， MPEG、 MPEG 高级视频译码 (AVC) 部分 10、 ITUH.264 等 ) 来压 缩视频。
无线通信装置 70 可经由发射器 74 将经编码的图像发射到另一装置。发射器 74 通常提供到蜂窝式网络 ( 例如， 码分多址 (CDMA) 网络、 宽带码分多址 (W-CDMA) 网络、 时分 多址 (TDMA) 网络， 和全球移动通信系统 (GSM) 系统， 或其它类似网络 ) 的接口。除了蜂窝 式网络之外， 或作为蜂窝式网络的替代， 发射器 74 可提供到如由相关的电气电子工程师协 会 (IEEE)802.11 标准中的任一者所界定的无线网络， 或任何其它有线或无线网络的接口。
无线通信装置 70 可在取景器 76 上呈现由图像俘获装置 2 俘获的图像或待由图像 俘获装置 2 俘获的所关注的场景的实时图像 ( 即， 图像预览 )。取景器 76 可包含电子取景 器。示范性电子取景器通常包括一种或一种以上类型的显示器， 例如液晶显示器 (LCD)、 有 机发光二极管 (OLED) 显示器、 等离子体显示面板 (PDP)、 发光二极管 (LED) 显示器 ( 例如， 有源矩阵 LED 显示器 )， 或能够呈现经俘获或实时的图像的任何其它类型的显示器。 取景器 76 还可包含替代以上所描述的电子取景器的较常规的光学取景器。在无线通信装置 70 的 情况下， 取景器 76 可包含通用电子显示器， 其中所述显示器还呈现关于无线通信装置 70 可 执行的其它功能的信息。举例来说， 如果无线通信装置 70 表示所谓的相机电话， 则取景器 76 还可呈现关于蜂窝式电话呼叫的发射和接收的信息。
尽管被描述为仅包括图像俘获装置 2、 编码模块 72、 发射器 74 和取景器 76， 但所述 无线通信装置 70 还可包括其它模块， 例如用于与用户介接的用户接口 ( 例如， 小键盘 )、 一 个或一个以上用于执行额外操作的处理器， 和用于接纳可装卸存储器、 耳机、 电源和任何其 它所述外围装置的各种端口和插座。
可以硬件、 软件、 固件或其任何组合来实施本文中所描述的技术。经描述为模块 或组件的任何特征可一起实施于集成逻辑装置中或单独地实施为离散的但可互操作的逻 辑装置。在一些情况下， 可将各种特征实施为集成电路装置， 例如集成电路芯片或芯片组。 如果以软件实施， 则可至少部分由包含指令的计算机可读媒体实现所述技术， 所述指令在 执行时致使处理器执行以上所描述的方法中的一者或一者以上。计算机可读媒体可形成 可包括封装材料的计算机程序产品的部分。计算机可读媒体可包含例如同步动态随机存 取存储器 (SDRAM) 的随机存取存储器 (RAM)、 只读存储器 (ROM)、 非易失性随机存取存储器 (NVRAM)、 电可擦除可编程只读存储器 (EEPROM)、 快闪存储器、 磁性或光学数据存储媒体等。 除此之外或替代地， 可至少部分由以指令或数据结构的形式载运或传送代码且可由计算机 存取、 读取且 / 或执行的计算机可读通信媒体实现所述技术。
代码可由一个或一个以上处理器执行， 所述处理器例如为一个或一个以上 DSP、 通 用微处理器、 ASIC、 现场可编程逻辑阵列 FPGA 或其它等效集成或离散逻辑电路。因此， 本文使用的术语 “处理器” 可指代前述结构中的任一者或适于实施本文描述的技术的任一其它 结构。 另外， 在一些方面中， 可将本文描述的功能性提供于经配置以用于编码和解码的专用 软件模块或硬件模块内， 或并入于组合式视频编码器解码器 (CODEC) 中。因此， 本发明还预 期包括用以实施本发明中描述的技术中的一者或一者以上的电路的多种集成电路装置中 的任一者。所述电路可提供于单个集成电路芯片中或提供于多个、 可互操作的集成电路芯 片中。
尽管在数字图像信号的上下文中描述本发明中所描述的技术， 但所述技术可用以 检测显示任何信号 ( 表示正随时间、 空间或其它维度而改变的变量 ) 内的显著改变的信号 的位置 ( 例如， 边缘 )。此外， 本发明的技术可用以确定所述变量如何在检测到的位置上改 变。以此方式， 所述技术可被视作检测数字信号模式和对检测到的模式进行分类。举例来 说， 本发明的所述技术可用以检测音频信号、 视频信号或任何其它类型的信号内的数字信 号模式， 且对那些检测到的模式进行分类。
已描述了各种方面。这些和其它方面处于所附权利要求书的范围内。