用于像素内插的系统及方法.pdf

本发明涉及用于像素内插的系统及方法。本发明揭示一种内插像素值的方法，且所述方法可包含定位缺漏像素。进一步来说，所述方法可包含确定多个最接近像素、确定用于所述多个最接近像素中的每一者的值，以及确定所述缺漏像素与所述多个最接近像素中的每一者之间的距离。所述方法还可包含将所述多个最接近像素中的每一者分类为边缘像素或非边缘像素，以及至少部分基于所述多个最接近像素中的每一者的所述值、所述缺漏像素与所述多个最接近像素中的每一者之间的所述距离以及对所述多个最接近像素中的每一者的分类来确定所述缺漏像素的值。

权利要求书1.  一种细化中点的方法，所述方法包括： 接收多个中点； 使用来自多个中点像素中的每一者的预定步长角沿预定数目的方向对多个像素 进行扫描； 确定当前像素位置是否大于最大扫描距离；以及 在所述当前像素位置不大于所述最大扫描距离的情况下，确定当前像素是否为边 缘像素。 2.  根据权利要求1所述的方法，其进一步包括： 在所述当前像素不是边缘像素的情况下，确定所述当前像素是否是中点像素；以 及 在所述当前像素为中点像素时，从中点图中移除所述当前像素。 3.  根据权利要求1所述的方法，其中所述预定数目的方向包括八个方向。 4.  根据权利要求3所述的方法，其中所述预定步长角为四十五度(45°)。 5.  一种装置，其包括： 用于接收多个中点的装置； 用于使用来自多个中点像素中的每一者的预定步长角沿预定数目的方向对多个 像素进行扫描的装置； 用于确定当前像素位置是否大于最大扫描距离的装置；以及 用于在所述当前像素位置不大于最大扫描距离的情况下确定当前像素是否为边 缘像素的装置。 6.  根据权利要求5所述的装置，其进一步包括： 用于在所述当前像素不是边缘像素的情况下确定所述当前像素是否为中点像素 的装置； 用于在所述当前像素为中点像素时从中点图中移除所述当前像素的装置。 7.  根据权利要求5所述的装置，其中所述预定数目的方向包括八个方向。 8.  根据权利要求7所述的装置，其中所述预定步长角为四十五度(45°)。 9.  一种装置，所述装置包括： 处理器，其中所述处理器可操作以： 接收多个中点； 使用来自多个中点像素中的每一者的预定步长角沿预定数目的方向对多个像素 进行扫描； 确定当前像素位置是否大于最大扫描距离；以及 在所述当前像素位置不大于所述最大扫描距离的情况下，确定当前像素是否为边 缘像素。 10.  根据权利要求9所述的装置，其中所述处理器进一步可操作以： 在所述当前像素不是边缘像素的情况下，确定所述当前像素是否为中点像素；以 及 在所述当前像素为中点像素时，从中点图中移除所述当前像素。 11.  根据权利要求9所述的装置，其中所述预定数目的方向包括八个方向。 12.  根据权利要求11所述的装置，其中所述预定步长角为四十五度(45°)。 13.  一种计算机程序产品，其包括： 计算机可读媒体，其包括： 用于接收多个中点的至少一个指令； 用于使用来自多个中点像素中的每一者的预定步长角沿预定数目的方向对多个 像素进行扫描的至少一个指令； 用于确定当前像素位置是否大于最大扫描距离的至少一个指令；以及 用于在所述当前像素位置不大于所述最大扫描距离的情况下确定当前像素是否 为边缘像素的至少一个指令。 14.  根据权利要求13所述的计算机程序产品，其中所述计算机可读媒体进一步包括： 用于在所述当前像素不是边缘像素的情况下确定所述当前像素是否为中点像素 的至少一个指令；以及 用于在所述当前像素为中点像素时从中点图中移除所述当前像素的至少一个指 令。 15.  根据权利要求13所述的计算机程序产品，其中所述预定数目的方向包括八个方向。 16.  根据权利要求15所述的计算机程序产品，其中所述预定步长角为四十五度(45°)。

说明书用于像素内插的系统及方法
分案申请信息
本发明专利申请是申请日为2010年7月29日，申请号为201080038969.8，以及发 明名称为“用于像素内插的系统及方法”的发明专利申请案的分案申请。
相关申请案
本申请案以全文引用的方式并入有与本申请案主张其优先权的第12/511,349号美国 专利申请案在同一日期申请的标题为“压缩视频内容的系统及方法”的第12/511,329号 共同待决美国专利申请案。
技术领域
背景技术
当外部显示器或投影仪使用无线链路连接到移动装置时，数据必须经由无线信道传 送。如果信道的容量不够大而无法处理数据传送，那么源(即原始视频)可能会被压缩。 由于无线电链路的物理层的技术限制(例如阻止信道用于最大容量的干扰)，容量可能 不够大。如果信道在其它装置之间共享，那么容量也可能会不够大。或者，如果为误差 减轻或校正保留信道带宽的一部分，那么容量可能会不够大。当前的压缩方法具有各种 限制。
因此，所需要的是用于压缩视频内容的改进的系统及方法。
发明内容
本发明揭示一种内插像素值的方法，且所述方法可包含定位缺漏像素、确定多个最 接近像素、确定用于所述多个最接近像素中的每一者的值、确定缺漏像素与所述多个最 接近像素中的每一者之间的距离、将所述多个最接近像素中的每一者分类为边缘像素或 非边缘像素，以及至少部分基于所述多个最接近像素中的每一者的值、缺漏像素与所述 多个最接近像素中的每一者之间的距离以及所述多个最接近像素中的每一者的分类来 确定缺漏像素的值。
在一特定方面中，所述多个最接近像素可包含沿垂直轴的第一像素、沿垂直轴的第 二像素、沿水平轴的第三像素以及沿水平轴的第四像素。缺漏像素与多个最接近像素中 的每一者之间的距离可包含沿垂直轴的第一距离、沿垂直轴的第二距离、沿水平轴的第 三距离以及沿水平轴的第四距离。进一步来说，沿垂直轴的第一像素可包含第一值，沿 垂直轴的第二像素可包含第二值，沿水平轴的第三像素可包含第三值，且沿水平轴的第 四像素可包含第四值。沿垂直轴的第一像素可包含第一分类，沿垂直轴的第二像素可包 含第二分类，沿水平轴的第三像素可包含第三分类，且沿水平轴的第四像素可包含第四 分类。
在此方面中，所述方法可进一步包含：在第一分类为边缘像素或非边缘像素的情况 下，设置第一掩模等于零或一；在第二分类为边缘像素或非边缘像素的情况下，设置第 二掩模等于零或一；在第三分类为边缘像素或非边缘像素的情况下，设置第三掩模等于 零或一；以及在第四分类为边缘像素或非边缘像素的情况下，设置第四掩模等于零或一。 所述方法还可包含确定垂直预测值，其中所述垂直预测值根据Vert_Pred＝(LA*A*b+ LB*B*a)/(LB*a+LA*b)确定，其中Vert_Pred为垂直预测值，LA为第一掩模，A为第一 值，b为第二距离，LB为第二掩模，B为第二值且a为第一距离。此外，所述方法可包 含确定水平预测值，其中所述水平预测值根据Horz_Pred＝(LC*C*d+ LD*D*c)/(LD*c+LC*d)确定，其中Horz_Pred为水平预测值，LC为第三掩模，C为第三 值，d为第四距离，LD为第四掩模，D为第四值，以及c为第三距离。所述方法还可包 含根据P＝(Vert_Pred+Horz_Pred)/2确定用于缺漏像素的所内插值，其中Vert_Pred为 垂直预测值，以及Horz_Pred为水平预测值。
进一步来说，在此方面，非边缘像素可为中点像素。可根据基础层位流、增强层位 流或其组合获得中点像素。此外，多个最接近像素中的每一者的值可选自由以下各项组 成的群组：亮度值、色密度值、对比度值或梯度值。
在另一方面中，本发明揭示一种解码器装置，且所述解码器装置可包含用于定位缺 漏像素的装置、用于确定多个最接近像素的装置、用于确定用于所述多个最接近像素中 的每一者的值的装置、用于确定缺漏像素与所述多个最接近像素中的每一者之间的距离 的装置、用于将所述多个最接近像素中的每一者分类为边缘像素或非边缘像素的装置以 及用于至少部分基于所述多个最接近像素中的每一者的值、缺漏像素与所述多个最接近 像素中的每一者之间的距离以及所述多个最接近像素中的每一者的分类来确定缺漏像 素的值的装置。
在此方面中，所述多个最接近像素可包含沿垂直轴的第一像素、沿垂直轴的第二像 素、沿水平轴的第三像素以及沿水平轴的第四像素。缺漏像素与多个最接近像素中的每 一者之间的距离可包含沿垂直轴的第一距离、沿垂直轴的第二距离、沿水平轴的第三距 离以及沿水平轴的第四距离。进一步来说，沿垂直轴的第一像素可包含第一值，沿垂直 轴的第二像素可包含第二值，沿水平轴的第三像素可包含第三值，且沿水平轴的第四像 素可包含第四值。沿垂直轴的第一像素可包含第一分类，沿垂直轴的第二像素可包含第 二分类，沿水平轴的第三像素可包含第三分类，且沿水平轴的第四像素可包含第四分类。
所述解码器装置还可包含：用于在第一分类为边缘像素或非边缘像素的情况下设置 第一掩模等于零或一的装置、用于在第二分类为边缘像素或非边缘像素的情况下设置第 二掩模等于零或一的装置、用于在第三分类为边缘像素或非边缘像素的情况下设置第三 掩模等于零或一的装置以及用于在第四分类为边缘像素或非边缘像素的情况下设置第 四掩模等于零或一的装置。进一步来说，所述解码器装置可包含用于确定垂直预测值的 装置，其中所述垂直预测值根据Vert_Pred＝(LA*A*b+LB*B*a)/(LB*a+LA*b)确定，其 中Vert_Pred为垂直预测值，LA为第一掩模，A为第一值，b为第二距离，LB为第二掩 模，B为第二值，以及a为第一距离。所述解码器装置可包含用于确定水平预测值的装 置，其中所述水平预测值根据Horz_Pred＝(LC*C*d+LD*D*c)/(LD*c+LC*d)确定，其 中Horz_Pred为水平预测值，LC为第三掩模，C为第三值，d为第四距离，LD为第四 掩模，D为第四值，且c为第三距离。所述解码器装置还可包含用于根据P＝(Vert_Pred +Horz_Pred)/2确定用于缺漏像素的所内插值的装置，其中Vert_Pred为垂直预测值，且 Horz_Pred为水平预测值。
在此方面中，非边缘像素可为中点像素。可根据基础层位流、增强层位流或其组合 获得中点像素。此外，多个最接近像素中的每一者的值可选自由以下各项组成的群组： 亮度值、色密度值、对比度值或梯度值。
在又一方面中，本发明揭示一种装置，且所述装置可包含处理器。所述处理器可操 作以定位缺漏像素、确定多个最接近像素、确定用于所述多个最接近像素中的每一者的 值、确定缺漏像素与所述多个最接近像素中的每一者之间的距离、将所述多个最接近像 素中的每一者分类为边缘像素或非边缘像素，且至少部分基于所述多个最接近像素中的 每一者的值、缺漏像素与所述多个最接近像素中的每一者之间的距离以及所述多个最接 近像素中的每一者的分类来确定缺漏像素的值。
在此方面中，所述多个最接近像素可包含沿垂直轴的第一像素、沿垂直轴的第二像 素、沿水平轴的第三像素以及沿水平轴的第四像素。缺漏像素与所述多个最接近像素中 的每一者之间的距离可包含沿垂直轴的第一距离、沿垂直轴的第二距离、沿水平轴的第 三距离以及沿水平轴的第四距离。进一步来说，沿垂直轴的第一像素可包含第一值，沿 垂直轴的第二像素可包含第二值，沿水平轴的第三像素可包含第三值，且沿水平轴的第 四像素可包含第四值。沿垂直轴的第一像素可包含第一分类，沿垂直轴的第二像素可包 含第二分类，沿水平轴的第三像素可包含第三分类，且沿水平轴的第四像素可包含第四 分类。
所述处理器可进一步操作以在第一分类为边缘像素或非边缘像素的情况下设置第 一掩模等于零或一，在第二分类为边缘像素或非边缘像素的情况下设置第二掩模等于零 或一，在第三分类为边缘像素或非边缘像素的情况下设置第三掩模等于零或一，且在第 四分类为边缘像素或非边缘像素的情况下设置第四掩模等于零或一。所述处理器可操作 以确定垂直预测值，其中所述垂直预测值根据Vert_Pred＝(LA*A*b+ LB*B*a)/(LB*a+LA*b)确定，其中Vert_Pred为垂直预测值，LA为第一掩模，A为第一 值，b为第二距离，LB为第二掩模，B为第二值以及a为第一距离。所述处理器可操作 以确定水平预测值，其中所述水平预测值根据Horz_Pred＝(LC*C*d+ LD*D*c)/(LD*c+LC*d)确定，其中Horz_Pred为水平预测值，LC为第三掩模，C为第三 值，d为第四距离，LD为第四掩模，D为第四值，以及c为第三距离。此外，所述处理 器可操作以根据P＝(Vert_Pred+Horz_Pred)/2确定用于缺漏像素的所内插值，其中 Vert_Pred为垂直预测值，且Horz_Pred为水平预测值。
在此方面中，非边缘像素可为中点像素。可根据基础层位流、增强层位流或其组合 获得中点像素。此外，多个最接近像素中的每一者的值可选自由以下各项组成的群组： 亮度值、色密度值、对比度值或梯度值。
在另一方面中，本发明揭示一种计算机程序产品，且所述计算机程序产品可包含计 算机可读媒体。所述计算机可读媒体可包含用于定位缺漏像素的至少一个指令、用于确 定多个最接近像素的至少一个指令、用于确定用于所述多个最接近像素中的每一者的值 的至少一个指令、用于确定缺漏像素与所述多个最接近像素中的每一者之间的距离的至 少一个指令、用于将所述多个最接近像素中的每一者分类为边缘像素或非边缘像素的至 少一个指令以及用于至少部分基于所述多个最接近像素中的每一者的值、缺漏像素与所 述多个最接近像素中的每一者之间的距离以及所述多个最接近像素中的每一者的分类 来确定缺漏像素的值的至少一个指令。
在此方面中，所述多个最接近像素可包含沿垂直轴的第一像素、沿垂直轴的第二像 素、沿水平轴的第三像素以及沿水平轴的第四像素。缺漏像素与所述多个最接近像素中 的每一者之间的距离可包含沿垂直轴的第一距离、沿垂直轴的第二距离、沿水平轴的第 三距离以及沿水平轴的第四距离。进一步来说，沿垂直轴的第一像素可包含第一值，沿 垂直轴的第二像素可包含第二值，沿水平轴的第三像素可包含第三值，且沿水平轴的第 四像素可包含第四值。沿垂直轴的第一像素可包含第一分类，沿垂直轴的第二像素可包 含第二分类，沿水平轴的第三像素可包含第三分类，且沿水平轴的第四像素可包含第四 分类。
所述计算机可读媒体可包含：用于在第一分类为边缘像素或非边缘像素的情况下设 置第一掩模等于零或一的至少一个指令、用于在第二分类为边缘像素或非边缘像素设置 第二掩模等于零或一的至少一个指令、用于在第三分类为边缘像素或非边缘像素的情况 下设置第三掩模等于零或一的至少一个指令以及用于在第四分类为边缘像素或非边缘 像素的情况下设置第四掩模等于零或一的至少一个指令。此外，所述计算机可读媒体可 包含用于确定垂直预测值的至少一个指令，其中所述垂直预测值根据Vert_Pred＝ (LA*A*b+LB*B*a)/(LB*a+LA*b)确定，其中Vert_Pred为垂直预测值，LA为第一掩模， A为第一值，b为第二距离，LB为第二掩模，B为第二值且a为第一距离。而且，所述 计算机可读媒体可包含用于确定水平预测值的至少一个指令，其中所述水平预测值根据 Horz_Pred＝(LC*C*d+LD*D*c)/(LD*c+LC*d)确定，其中Horz_Pred为垂直预测值，LC 为第三掩模，C为第三值，d为第四距离，LD为第四掩模，D为第四值，以及c为第三 距离。进一步来说，所述计算机可读媒体可包含用于根据P＝(Vert_Pred+Horz_Pred)/2 确定用于缺漏像素的所内插值的至少一个指令，其中Vert_Pred为垂直预测值，且 Horz_Pred为水平预测值。
在此方面中，非边缘像素可为中点像素。可根据基础层位流、增强层位流或其组合 获得中点像素。此外，多个最接近像素中的每一者的值可选自由以下各项组成的群组： 亮度值、色密度值、对比度值或梯度值。
在又一方面中，本发明揭示一种选择性地细化图像隅角的方法，且所述方法可包含 扫描图像的区，将所述区分类为含文本或不含文本，识别含文本区内的任何缺漏隅角以 及将缺漏隅角添加到边缘图。进一步来说，所述方法可包含获得图像内的重叠像素块， 以及绘制所述块中的像素的直方图(HistN)，其中所述直方图包括多个柱(bin)，且每 一柱均对应于一个像素强度。所述方法还可包含使用BPR＝Max(HistN)/Tot_Blk_Pix来 确定背景像素比(BPR)，其中Max(HistN)为直方图中像素的最大数目，且Tot_Blk_Pix 为像素块中的像素的总数。所述方法可包含使用NC＝Sum(HistN＞Th1)来确定组件的 数目(NC)，其中NC为基于直方图超出第一阈值(Th1)的像素的数目。此外，所述方 法可包含确定BPR是否大于第二阈值(Th2)；确定NC是否小于第三阈值(Th3)，以 及在BPR大于Th2且NC小于Th3的情况下，将像素块分类为含文本区。
在此方面中，所述方法可包含对含文本区执行图案匹配。而且，所述方法可包含定 位非边缘像素，考虑至少一个隅角位置中的非边缘像素，定位最接近所述至少一个隅角 位置中的非边缘像素的多个水平像素，以及定位最接近所述至少一个隅角位置的非边缘 像素的多个垂直像素。所述方法可包含确定所述多个水平像素和所述多个垂直像素中的 任一者是否为边缘像素，以及在所述多个水平像素中的任一者和所述多个垂直像素中的 任一者为边缘像素时，将所述非边缘像素标记为边缘像素。所述至少一个隅角位置可选 自由以下各项组成的群组：左上隅角位置、右上隅角位置、左下隅角位置以及右下隅角 位置。
在另一方面中，本发明揭示一种装置，且所述装置可包含用于扫描图像的区的装置、 用于将所述区分类为含文本或不含文本的装置、用于识别含文本区内任何缺漏隅角的装 置以及用于将缺漏隅角添加到边缘图的装置。进一步来说，所述装置可包含用于获得图 像内的重叠像素块并绘制所述块中的像素的直方图(HistN)的装置，其中所述直方图 包括多个柱，且每一柱均对应于一个像素强度。所述装置还可包含用于使用BPR＝ Max(HistN)/Tot_Blk_Pix来确定背景像素比(BPR)的装置，其中Max(HistN)为直方图 中的像素的最大数目，且Tot_Blk_Pix为像素块中的像素的总数。所述装置可包含用于 使用NC＝Sum(HistN＞Th1)来确定组件的数目(NC)的装置，其中NC为基于直方图 超出第一阈值(Th1)的像素的数目。此外，所述装置可包含用于确定BPR是否大于第 二阈值(Th2)；确定NC是否小于第三阈值(Th3)，以及在BPR大于Th2且NC小于 Th3的情况下将像素块分类为含文本区的装置。
在此方面中，所述装置可包含用于对含文本区执行图案匹配的装置。而且，所述装 置可包含用于定位非边缘像素的装置、用于考虑至少一个隅角位置中的非边缘像素的装 置、用于定位最接近所述至少一个隅角位置中的非边缘像素的多个水平像素的装置以及 用于定位最接近所述至少一个隅角位置中的非边缘像素的多个垂直像素的装置。所述装 置可包含用于确定多个水平像素和多个垂直像素中的任一者是否为边缘像素的装置，以 及用于在多个水平像素中的任一者和多个垂直像素中的任一者为边缘像素时将所述非 边缘像素标记为边缘像素的装置。所述至少一个隅角位置可选自由以下各项组成的群 组：左上隅角位置、右上隅角位置、左下隅角位置以及右下隅角位置。
在又一方面中，本发明揭示一种装置，且所述装置可包含处理器。所述处理器可操 作以扫描图像的区，将所述区分类为含文本或不含文本，识别含文本区内的任何缺漏隅 角，以及将缺漏隅角添加到边缘图。所述处理器还可操作以获得图像内的重叠像素块， 且绘制所述块中的像素的直方图(HistN)，其中所述直方图包括多个柱，且每一柱均对 应于一个像素强度。进一步来说，所述处理器可操作以使用BPR＝ Max(HistN)/Tot_Blk_Pix来确定背景像素比(BPR)，其中Max(HistN)为直方图中的像素 的最大数目，且Tot_Blk_Pix为所述像素块中的像素的总数。所述处理器可操作以使用 NC＝Sum(HistN＞Th1)来确定组件的数目(NC)，其中NC为基于直方图超出第一阈值 (Th1)的像素的数目。而且，所述处理器可操作以确定BPR是否大于第二阈值(Th2)， 确定NC是否小于第三阈值(Th3)，且在BPR大于Th2且NC小于Th3的情况下，将 所述像素块分类为含文本区。
在此方面中，所述处理器可操作以对含文本区执行图案匹配。所述处理器可操作以 定位非边缘像素，考虑至少一个隅角位置中的非边缘像素，定位最接近所述至少一个隅 角位置中的非边缘像素的多个水平像素以及定位最接近所述至少一个隅角位置中的非 边缘像素的多个垂直像素。而且，所述处理器可操作以确定多个水平像素中的任一者和 多个垂直像素中的任一者是否为边缘像素，且在多个水平像素中的任一者和多个垂直像 素中的任一者为边缘像素时，将所述非边缘像素标记为边缘像素。所述至少一个隅角位 置选自由以下各项组成的群组：左上隅角位置、右上隅角位置、左下隅角位置以及右下 隅角位置。
在又一方面中，本发明揭示一种计算机程序产品，且所述计算机程序产品可包含计 算机可读媒体。所述计算机可读媒体可包含扫描图像的区的至少一个指令、将所述区分 类为含文本或不含文本的至少一个指令、识别含文本区内的任何缺漏隅角的至少一个指 令以及将缺漏隅角添加到边缘图的至少一个指令。进一步来说，所述计算机可读媒体可 包含获得图像内的重叠像素块且绘制所述块中的像素的直方图(HistN)的至少一个指 令，其中所述直方图包括多个柱，且每一柱均对应于一个像素强度。所述计算机可读媒 体还可包含使用BPR＝Max(HistN)/Tot_Blk_Pix来确定背景像素比(BPR)的至少一个 指令，其中Max(HistN)为直方图中的像素的最大数目，且Tot_Blk_Pix为所述像素块中 的像素的总数。所述计算机可读媒体可包含使用NC＝Sum(HistN＞Th1)来确定组件的 数目(NC)的至少一个指令，其中NC为基于直方图超出第一阈值(Th1)的像素的数 目。此外，所述计算机可读媒体可包含至少一个指令，所述至少一个指令确定BPR是否 大于第二阈值(Th2)；确定NC是否小于第三阈值(Th3)，以及在BPR大于Th2且NC 小于Th3的情况下将像素块分类为含文本区。
在此方面中，所述计算机可读媒体可包含对含文本区执行图案匹配的至少一个指 令。而且，所述计算机可读媒体可包含定位非边缘像素的至少一个指令、考虑至少一个 隅角位置中的非边缘像素的至少一个指令、定位最接近所述至少一个隅角位置中的非边 缘像素的多个水平像素的至少一个指令以及定位最接近所述至少一个隅角位置的非边 缘像素的多个垂直像素的至少一个指令。所述计算机可读媒体可包含确定多个水平像素 和多个垂直像素中的任一者是否为边缘像素的至少一个指令，以及在多个水平像素中的 任一者和多个垂直像素中的任一者为边缘像素时，将非边缘像素标记为边缘像素的至少 一个指令。所述至少一个隅角位置可选自由以下各项组成的群组：左上隅角位置、右上 隅角位置、左下隅角位置以及右下隅角位置。
在另一方面中，本发明揭示一种边缘间/中点间预测的方法，且所述方法可包含接收 前一帧数据、初始化搜索半径使其等于一、使用搜索半径围绕前一帧数据中的处于同一 位置的点进行扫描以及确定是否找到参考点。前一帧数据和参考点可包含至少一个中 点。而且，前一帧数据和参考点可包含至少一个边缘。
在此方面中，所述方法可包含：在找到参考点时，设置帧间预测值等于参考点的值。 进一步来说，所述方法可包含：在未找到参考点时，将搜索半径增加一；以及确定搜索 半径是否等于最大范围。所述方法还可包含：在搜索半径不等于最大范围时，使用搜索 半径围绕前一帧数据中的处于同一位置的点进行扫描；确定是否找到参考点；以及在找 到参考点时，设置帧间预测值等于参考点的值。所述方法可包含：在搜索半径等于最大 范围时，设置帧间预测值等于预定默认值。所述预定默认值可为帧数据的值的范围中的 中间值。
在另一方面，本发明揭示一种装置，且所述装置可包含用于接收前一帧数据的装置、 用于初始化搜索半径使其等于一的装置、用于使用搜索半径围绕前一帧数据中的处于同 一位置的点进行扫描的装置以及用于确定是否找到参考点的装置。前一帧数据和参考点 可包含至少一个中点。而且，前一帧数据和参考点可包含至少一个边缘。
在此方面中，所述装置可包含用于在找到参考点时设置帧间预测值等于参考点的值 的装置。进一步来说，所述装置可包含用于在未找到参考点时将搜索半径增加一且确定 搜索半径是否等于最大范围的装置。所述装置还可包含：用于在搜索半径不等于最大范 围时使用所述搜索半径围绕前一帧数据中处于同一位置的点进行扫描的装置、用于确定 是否找到参考点的装置、以及用于在找到参考点时设置帧间预测值等于参考点的值的装 置。所述装置可包含用于在搜索半径等于最大范围时设置帧间预测值等于预定默认值的 装置。所述预定默认值可为帧数据的值的范围中的中间值。
在又一方面中，本发明揭示一种装置，且所述装置可包含处理器。所述处理器可操 作以接收前一帧数据、初始化搜索半径使其等于一、使用所述搜索半径围绕前一帧数据 中的处于同一位置的点进行扫描以及确定是否找到参考点。前一帧数据和参考点可包含 至少一个中点。进一步来说，前一帧数据和参考点可包含至少一个边缘。
在此方面中，所述处理器可操作以在找到参考点时设置帧间预测值等于参考点的 值。所述处理器还可操作以在未找到参考点时将搜索半径增加一，并确定搜索半径是否 等于最大范围。进一步来说，所述处理器可操作以在搜索半径不等于最大范围时，使用 搜索半径围绕前一帧数据中处于同一位置的点进行扫描、确定是否找到参考点，以及在 找到参考点时设置帧间预测值等于参考点的值。所述处理器可操作以在搜索半径等于最 大范围时设置帧间预测值等于预定默认值。所述预定默认值可为帧数据的值的范围中的 中间值。
在另一方面中，本发明揭示一种计算机程序产品，且所述计算机程序产品可包含计 算机可读媒体。所述计算机可读媒体可包含用于接收前一帧数据的至少一个指令、用于 初始化搜索半径使其等于一的至少一个指令、用于使用搜索半径围绕前一帧数据中处于 同一位置的点进行扫描的至少一个指令以及用于确定是否找到参考点的至少一个指令。 前一帧数据和参考点可包含至少一个中点。而且，前一帧数据和参考点可包含至少一个 边缘。
在此方面中，所述计算机可读媒体可包含用于在找到参考点时设置帧间预测值等于 参考点的值的至少一个指令。进一步来说，所述计算机可读媒体可包含用于在未找到参 考点时将搜索半径增加一以及确定搜索半径是否等于最大范围的至少一个指令。所述计 算机可读媒体还可包含用于在搜索半径不等于最大范围时使用搜索半径围绕前一帧数 据中处于同一位置的点进行扫描的至少一个指令、用于确定是否找到参考点的至少一个 指令、以及用于在找到参考点时设置帧间预测值等于参考点的值的至少一个指令。所述 计算机可读媒体可包含用于在搜索半径等于最大范围时设置帧间预测值等于预定默认 值的至少一个指令。所述预定默认值可为帧数据的值的范围中的中间值。
在又一方面中，本发明揭示边缘内/中点内预测的方法，且所述方法可包含确定多个 所发送像素、将图像划分为具有预定大小的多个像素块以及确定每一像素块内的任何像 素是否在所述多个所发送像素内。所述多个所发送像素可包含多个边缘像素和多个中点 像素。所述预定大小可设置为等于上次反复中的比例因子。
在此方面中，所述方法可包含：在像素块内的像素均不在所述多个所发送像素内时， 设置预测值等于预定默认值。所述方法还可包含设置预测值等于像素块内所有所发送像 素值的均值。进一步来说，所述方法可包含确定未发送像素的残数。所述未发送像素的 残数可包含实际值减去预测值。
在另一方面中，本发明揭示一种装置，且所述装置可包含用于确定多个所发送像素 的装置、用于将图像划分为具有预定大小的多个像素块的装置以及用于确定每一像素块 内的任何像素是否在多个所发送像素内的装置。所述多个所发送像素可包含多个边缘像 素和多个中点像素。所述预定大小可设置为等于上次反复中的比例因子。
在此方面中，所述装置可包含用于在像素块内的像素均不在所述多个所发送像素内 时设置预测值等于预定默认值的装置。所述装置还可包含用于设置预测值等于像素块内 所有所发送像素值的均值的装置。进一步来说，所述装置可包含用于确定未发送像素的 残数的装置。所述未发送像素的残数可包含实际值减去预测值。
在又一方面中，本发明揭示一种装置，且所述装置可包含处理器。所述处理器可操 作以确定多个所发送像素、将图像划分为具有预定大小的多个像素块，且确定每一像素 块内的任何像素是否在多个所发送像素内。所述多个所发送像素可包含多个边缘像素和 多个中点像素。所述预定大小可设置为等于上次反复中的比例因子。
在此方面中，所述处理器可操作以在像素块内的像素均不在所述多个所发送像素内 时，设置预测值等于预定默认值。所述处理器还可操作以设置预测值等于像素块内所有 所发送像素值的均值。进一步来说，所述处理器可操作以确定未发送像素的残数。所述 未发送像素的残数可包含实际值减去预测值。
在另一方面中，本发明揭示一种计算机程序产品，且所述计算机程序产品可包含计 算机可读媒体。所述计算机可读媒体可包含用于确定多个所发送像素的至少一个指令、 用于将图像划分为具有预定大小的多个像素块的至少一个指令以及用于确定每一像素 块内的任何像素是否在多个所发送像素内的至少一个指令。所述多个所发送像素可包含 多个边缘像素和多个中点像素。所述预定大小可设置为等于上次反复中的比例因子。
在此方面中，所述计算机可读媒体可包含用于在像素块内的像素均不在多个所发送 像素内时设置预测值等于预定默认值的至少一个指令。所述计算机可读媒体还可包含用 于设置预测值等于像素块内所有所发送像素值的均值的至少一个指令。进一步来说，所 述计算机可读媒体可包含用于确定未发送像素的残数的至少一个指令。所述未发送像素 的残数可包含实际值减去预测值。
在又一方面中，本发明揭示一种细化中点的方法，且所述方法可包含接收多个中点、 使用来自多个中点像素中的每一者的预定步长角沿预定数目的方向对多个像素进行扫 描、确定当前像素位置是否大于最大扫描距离以及在当前像素位置并不大于最大扫描距 离的情况下确定当前像素是否为边缘像素。所述方法还可包含在当前像素不是边缘像素 的情况下确定当前像素是否为中点像素，以及在当前像素是中点像素时从中点图中移除 当前像素。所述预定数目的方向可包含八个方向。所述预定步长角可为四十五度(45°)。
在又一方面中，本发明揭示一种装置，且所述装置可包含用于接收多个中点的装置、 用于使用来自所述多个中点像素中的每一者的预定步长角沿预定数目的方向对多个像 素进行扫描的装置、用于确定当前像素位置是否大于最大扫描距离的装置以及用于在当 前像素位置并不大于最大扫描距离的情况下确定当前像素是否为边缘像素的装置。所述 装置还可包含用于在当前像素不是边缘像素的情况下确定当前像素是否为中点像素且 在当前像素为中点像素时从中点图中移除当前像素的装置。所述预定数目的方向可包含 八个方向。所述预定步长角可为四十五度(45°)。
在又一方面中，本发明揭示一种装置，且所述装置可包含处理器。所述处理器可操 作以接收多个中点、使用来自多个中点像素中的每一者的预定步长角沿预定数目的方向 对多个像素进行扫描、确定当前像素位置是否大于最大扫描距离，且在当前像素位置并 不大于最大扫描距离的情况下确定当前像素是否为边缘像素。进一步来说，所述处理器 可操作以在当前像素不是边缘像素的情况下确定当前像素是否为中点像素，且在当前像 素是中点像素时，从中点图中移除当前像素。所述预定数目的方向可包含八个方向。所 述预定步长角可为四十五度(45°)。
在又一方面中，本发明揭示一种计算机程序产品，且所述计算机程序产品可包含计 算机可读媒体。所述计算机可读媒体可包含用于接收多个中点的至少一个指令、用于使 用来自所述多个中点像素中的每一者的预定步长角沿预定数目的方向对多个像素进行 扫描的至少一个指令、用于确定当前像素位置是否大于最大扫描距离的至少一个指令， 以及用于在当前像素位置并不大于最大扫描距离的情况下确定当前像素是否为边缘像 素的至少一个指令。所述计算机可读媒体还可包含用于在当前像素不是边缘像素的情况 下确定当前像素是否为中点像素且在当前像素是中点像素时从中点图中移除当前像素 的至少一个指令。所述预定数目的方向可包含八个方向。所述预定步长角可为四十五度 (45°)。
附图说明
在图中，各图中相同参考标号始终指代相同部分，除非另有指示。
图1是无线系统的图；
图2是电话的图；
图3是展示说明压缩图形内容和视频内容以供经由无线链路发射的方法的流程图；
图4是说明检测图像边缘的方法的流程图；
图5是说明选择性地细化图像隅角的方法的第一方面的流程图；
图6是说明选择性地细化图像隅角的方法的第二方面的流程图；
图7是说明图案匹配的方法的流程图；
图8是说明文本块隅角的图；
图9是说明游程长度编码的方法的流程图；
图10是说明获得图像中点的方法的流程图；
图11是说明细化中点的方法的流程图；
图12是说明多个像素的图；
图13是说明恢复中点的方法的流程图；
图14是说明边缘间/中点间预测的方法的流程图；
图15是说明多个像素的图；
图16是说明对水平和垂直中点进行编码的方法的流程图；
图17是说明针对未发送像素的边缘内/中点内预测的方法的流程图；
图18是说明内插像素值的方法的第一方面的流程图；
图19是说明内插像素值的方法的第二方面的流程图；以及
图20是多个像素的表示。
具体实施方式
词语“示范性”在本文中用于表示“充当实例、例子或说明”。不一定将本文中描 述为“示范性”的任何方面解释为与其它方面相比为优选或有利的。
在此描述中，术语“应用程序”还可包含具有可执行内容的文件，所述可执行内容 例如是：目标代码、脚本、字节代码、标记语言文件及补丁。另外，本文中所提到的“应 用程序”还可包括本质上不可执行的文件，例如可能需要打开的文档或其它需要存取的 数据文件。
术语“内容”还可包含具有可执行内容的文件，所述可执行内容例如是：目标代码、 脚本、字节代码、标记语言文件及补丁。另外，本文中所提到的任何“内容”还可包括 本质上不可执行的文件，例如可能需要打开的文档或其它需要存取的数据文件。
在此描述中，术语“通信装置”、“无线装置”、“无线电话”、“无线通信装置”及“无 线手持机”可互换使用。随着第三代(3G)无线技术的出现，更大的带宽可用性已实现 具有无线能力的更多电子装置。因此，无线装置可为蜂窝式电话、寻呼机、PDA、智能 电话、导航装置或具有无线连接的计算机。
最初参看图1，展示无线移动数字显示接口(WMDDI)系统，且概括表示为100。 如图所示，WMDDI系统100包含主机装置102及客户端装置104。主机装置102及客 户端装置104可经由无线链路106连接。在特定方面中，主机装置可为移动装置，例如 蜂窝式电话、移动电话、便携式数据助理(PDA)或某一其它手持式无线装置。进一步 来说，客户端装置104可为具有嵌入式能力(例如音频/视频解码、HID或其组合)的无 线显示器。举例来说，客户端装置104可为外部显示器、投影仪或某一其它类似装置。 无线链路106可为WMDDI。
在特定方面中，主机装置102和客户端装置104可能能够建立关联，且使用WMDDI 协议来使用于多媒体内容和控制消息交换的通信安全。在一个方面中，就可沿前向链路 (即，从主机装置102到客户端装置104)交换较大量数据来说，所述通信可能是不对称 的。
在特定方面中，主机装置102可包含可提供多媒体内容的若干应用程序。举例来说， 主机装置102可包含可从文件中解码经压缩的视频和音频位流的媒体播放器。主机装置 102还可包含可处理图形命令以渲染图像内容的一个或一个以上视频游戏。进一步来说， 主机装置102可包含相机，例如电荷耦合装置(CCD)相机、互补金属氧化物半导体 (CMOS)相机或某一其它相机，所述相机可用以流式传输捕捉到的红/绿/蓝(RGB)图 像。这些应用程序中的每一者以及产生图像内容的其它应用程序可向主机装置102上的 内部显示器提供原始视频(例如RGB或Cr/Cb/Y)，主机装置102的分辨率和位深度与 内部显示器的分辨率和位深度匹配。内部显示器可为液晶显示器(LCD)或某一其它显 示器。在下文的表1中展示常用显示分辨率和帧速率下用于原始视频内容(例如RGB) 的位速率。
表1.用于常用显示分辨率和帧速率的RGB位速率。
视频序列(24bpp) 位速率 QVGA(320x240)，30fps 55.3Mbps VGA(640x480)，30fps 221.2Mbps WVGA(864x480)，30fps 298.6Mbps HDTV(1080x1920，30fps 1.5Gbps
当使用无线链路106将客户端装置104连接到主机装置102时，从主机装置102传 送到客户端装置104的数据可经由无线信道传送。如果无线信道的容量不够大，那么可 压缩原始视频数据。无线信道的容量由于无线信道的物理层的技术限制、由于无线信道 在其它装置之间共享、由于信道的某一裕量为误差减轻技术或校正技术而保留，或其组 合而可能不充足。
无线链路106可能并不提供固定的容量。因此，经由无线链路106的视频发射可适 应不同的信道条件。
参看图2，展示无线电话的示范性非限制方面，且概括表示为220。如图所示，无 线装置220包含芯片上系统222，芯片上系统222包含耦合在一起的数字信号处理器224 及模拟信号处理器226。如图2中所说明，显示控制器228及触摸屏控制器230耦合到 数字信号处理器224。处于芯片上系统222外部的触摸屏显示器232又耦合到显示器控 制器228和触摸屏控制器230。
图2进一步指示视频编码器234(例如，逐行倒相制式(PAL)编码器、顺序色彩 与存储制式(SECAM)编码器或美国国家电视系统委员会制式(NTSC)编码器)耦合 到数字信号处理器224。进一步来说，视频放大器236耦合到视频编码器234和触摸屏 显示器232。而且，视频端口238耦合到视频放大器236。如图2中所描绘，通用串行 总线(USB)控制器240耦合到数字信号处理器224。而且，USB端口242耦合到USB 控制器240。存储器244及订户身份模块(SIM)卡246也可耦合到数字信号处理器224。 进一步来说，如图2中所示，数码相机248可耦合到数字信号处理器224。在示范性方 面中，数码相机248是电荷耦合装置(CCD)相机或互补金属氧化物半导体(CMOS) 相机。
如图2中进一步说明，立体声音频编解码器(CODEC)250可耦合到模拟信号处理 器226。此外，音频放大器252可耦合到立体声音频CODEC 250。在示范性方面中，第 一立体声扬声器254及第二立体声扬声器256耦合到音频放大器252。图2表明麦克风 放大器258也可耦合到立体声音频CODEC 250。另外，麦克风260可耦合到麦克风放大 器258。在特定方面中，调频(FM)无线电调谐器262可耦合到立体声音频CODEC 250。 而且，FM天线264耦合到FM无线电调谐器262。此外，立体声耳机266可耦合到立体 声音频CODEC 250。
图2进一步表明射频(RF)收发器268可耦合到模拟信号处理器226。RF开关270 可耦合到RF收发器268及RF天线272。如图2中所示，小键盘274可耦合到模拟信号 处理器226。而且，具有麦克风的单声道头戴耳机276可耦合到模拟信号处理器226。 进一步来说，振动器装置278可耦合到模拟信号处理器226。图2还表明电源280可耦 合到芯片上系统222。在特定方面中，电源280是直流(DC)电源，其将电力提供给无 线装置220的需要电力的各个组件。进一步来说，在特定方面中，电源是可再充电DC 电池或从连接到AC电源的交流(AC)到DC变压器得到的DC电源。
如图2中所描绘，触摸屏显示器232、视频端口238、USB端口242、相机248、第 一立体声扬声器254、第二立体声扬声器256、麦克风260、FM天线264、立体声耳机 266、RF开关270、RF天线272、小键盘274、单声道头戴耳机276、振动器278及电 源280在芯片上系统222外部。
在特定方面中，本文中所述的方法中的一者或一者以上可作为计算机程序指令存储 于存储器244中。这些指令可由处理器224、226执行，以便实施本文中所述的方法。 进一步来说，处理器224、226、存储器244、存储于其中的指令或其组合可充当用于执 行本文中所述的方法中的一者或一者以上的装置。
现在参看图3，展示对用于经由无线链路发射的图形内容和视频内容进行压缩的方 法且概括表示为300。在框302处开始，可至少部分基于高斯西格玛值306、边缘值的 百分比308以及低阈值与高阈值比310对多个像素304执行边缘检测。在框312处，可 对像素304以及在框302处创建的边缘图314执行选择性隅角细化。移到框317，可对 在框308处创建的经细化边缘图316执行游程长度编码。此后，在框318处，可对经游 程长度编码的数据执行算术编码。在特定方面中，经细化边缘图316可存储在当前帧数 据(CFD)缓冲器320中以留做以后使用(如本文中所述)。
进行到框322，可从经细化边缘图316中获得中点以创建中点图324。此后，可在 框326处至少部分基于经细化边缘图316而细化中点图324内的中点。在框328处，可 从经细化边缘图316中获得边缘值330。这些边缘值可存储在CFD缓冲器320中。
移到框332，可基于经细化边缘图316、中点图324、像素304以及在框326处创建 的经细化中点图334而恢复中点。在框336处，可对像素304以及从PFD缓冲器338 接收到的前一帧数据(PFD)执行帧间预测。帧间预测法的结果可包含边缘残数340和 中点残数342，且可在框318处对边缘残数340和中点残数342执行算术编码。可对多 个帧执行帧间预测。
在框344处，可基于中点图324、经细化边缘图316、像素304或其组合对水平和 垂直中点进行编码。水平和垂直中点编码可多次反复执行。此编码步骤的结果可包含中 点残数346，且可在框318处对中点残数346执行算术编码。进一步来说，可将中点图 348输出到CFD缓冲器320。
移到框350，可至少部分基于像素304、CFD缓冲器320内的当前帧数据、中点图 348、边缘图314或其组合执行对未发送像素的帧内预测。在执行帧内预测后，可考虑 编码为无损的。帧内预测的结果可包含无损像素残数，可在框318处对其执行算术编码。 如图所示，图3中所示方法的输出可为位流354。
图4说明检测图像边缘的方法，概括表示为400。在框402处开始，编码器可使用 高斯西格玛符号404来构造高斯掩模。在框406处，所述编码器可使用多个像素408来 修匀图像。移到框410，所述编码器可计算水平梯度、垂直梯度以及梯度量值(MG)。
在框412处，所述编码器可绘制MG的直方图，且至少部分基于边缘414的百分比 获得高阈值(“高Th”)。此后，在框416处，所述编码器可确定低阈值(“低Th”)。所 述编码器可基于等于低Th/高Th的阈值比418确定低Th。在框420处，所述编码器可 执行非最大抑制。在框422处，所述编码器可执行滞后阈值化。此后，在框424处，所 述编码器可输出边缘图。
图5说明选择性地细化图像隅角的方法的第一方面。在框502处开始，可对区进行 扫描。在框504处，可将所述区分类为含文本或不含文本。在决策506处，可确定所述 区是含文本还是不含文本。如果所述区为含文本，那么方法500可继续到框508，且可 识别含文本区内的缺漏隅角。接着，在框510处，可将缺漏隅角添加到边缘图。
移到决策512，可确定另一区是否可用于扫描。如果是，那么方法500可返回到框 502且如本文所述而继续。否则，方法500可移到框514，且可发射经细化边缘图。接 着，方法500可结束。在返回到决策506的情况下，如果所述区为非文本，那么方法500 可直接进行到决策512且如本文所述而继续。
现在参看图6，展示选择性地细化图像隅角的方法的第二方面，且概括表示为600。 在框602处开始，编码器可获得重叠像素块604。可将图像的每一帧划分为正方形像素 块。每一正方形的大小可具有与基本大小(Basic_Size)与图案匹配块大小 (Pattern_Matching_Block_Size)的两倍之和相等的尺寸。换句话说，每一正方形的尺寸 可使用以下公式确定：
Size＝Basic_Size+2*Pattern_Matching_Block_Size
进一步来说，接界的Pattern_Matching_Block_Size像素可与邻近像素块重叠。
在框606处，编码器可获得框中像素的直方图(HistN)，且绘制直方图以使得直方 图中的每一柱均对应于一个像素强度。在框608处，背景像素比(BPR)可使用以下公 式确定：
BPR＝Max(HistN)/Tot_Blk_Pix
其中：
Max(HistN)＝直方图中像素的最大数目；
Tot_Blk_Pix＝像素块中的像素的总数。
在框608处，组件的数目(NC)也可使用以下公式确定：
NC＝Sum(HistN＞Th1)
组件的数目可表示基于直方图具体值超出第一阈值(Th1)的像素的数目。
移到决策步骤610，编码器可确定BPR是否大于第二阈值(Th2)，以及NC是否小 于第三阈值(Th3)。如果是，那么可将像素块分类为文本块，且方法600可进行到框612， 且对于边缘图614中的每个非边缘像素来说，可执行图案匹配。而且，在框612处，对 于每个已找到的匹配来说，可将新的边缘插入到边缘图中以创建经细化边缘图。在框616 处，编码器可输出经细化边缘图。此后，方法600可结束。返回到决策610，如果条件 未满足，那么可将像素块分类为非文本块，且方法600可结束。在特定方面中，第二阈 值(Th2)和第三阈值(Th3)可为基于直方图的预设值。
图7是说明图案匹配的方法(其概括表示为700)的流程图。图8是说明可在图7 中所示方法700的描述期间提到的文本块隅角的图。
框702处开始，对于文本块中每一非边缘像素P来说，可执行以下步骤。在框704 处，可将P可视为好像处于隅角位置(例如左上隅角、右上隅角、左下隅角或右下隅角)。 在框706处，可定位最接近的三(3)个水平像素。在框708处，可定位最接近的三(3) 个垂直像素。在特定方面中，三(3)为选定的Pattern_Matching_Block_Size。
移到决策710，编码器可确定最接近的三(3)个水平像素中的任一者和最接近的三 (3)个垂直像素中的任一者是否是边缘。如果是，那么方法700可移到框712，且可将 像素P标记为边缘。此后，在决策714处，编码器可确定另一像素是否可用于图案匹配。 如果是，那么方法700可返回到框704，且如本文所述而继续。否则，方法700可结束。
返回到决策步骤710，如果最接近的六个像素均不为边缘，那么方法700可移到决 策716，且编码器可确定是否在所有四个隅角中对像素P进行测试。如果否，那么方法 700可进行到框718，且可将像素P移到下一隅角位置。如果在所有隅角位置中对像素P 进行测试，那么方法700可继续到决策714且如本文所述而继续。
在特定方面中，图6和图7中所示的方法600、700可用以通过将缺漏隅角包含在 含有文本的区中来细化边缘图。这些方法600、700可局部性地将区分类为含文本或不 含文本。这可基于亮度的局部直方图来确定。方法600中的决策可基于亮度直方图中的 预定义阈值(即，Th1、Th2和Th3)。进一步来说，方法600、700可选择可能含有缺漏 隅角的含文本区中的区域。可在初始边缘图上使用图案匹配来选择这些区域。对于选定 区域来说，可将缺漏隅角添加到边缘图。
很多众所周知的边缘检测可能无法检测图像的文本部分中的隅角，其中所述图像梯 度并不坚定地沿水平或垂直方向定向。很多边缘像素可能并未得到检测，且致使来自一 个区的中点用于另一区中的内插并引起拖尾假影。结合图6和图7描述的隅角细化法使 用图案匹配来预测未检测边缘(例如隅角)的位置，且在边缘图中引入新的边缘。由于 此举可能会导致大量新的边缘产生，且由此为非文本区引入较高的位速率，因此可包含 预处理步骤(步骤602到510)以便将帧分类成文本或非文本区的块。接着，将隅角细 化选择性地应用于图像的文本区。
对于类似的位速率发射，图6和图7中所示的方法600、700可使像素信噪比(PSNR) 改进大约五到八分贝(5到8dB)。进一步来说，当这些方法600、700利用可使用逐位 运算符优化的简单图案匹配时，它们相对来说计算成本较小。可消除对精心设计的梯度 计算方法(例如哈里斯(Harris)隅角检测器)的需要。
图9说明游程长度编码的方法(其概括表示为900)。在特定方面中，可对可输入到 编码器的经细化边缘图902执行方法900。进一步来说，在执行游程长度编码的过程中， 方法900可利用一个或一个以上像素位置904。
框906处开始，编码器可对经细化边缘图902进行光栅扫描，直到找到下一个边缘 为止。到边缘的像素计数可记录为“Run(游程)”。在决策步骤908处，编码器可确定 Run值是否大于Max_Run(最大_游程)值。如果否，那么可将Run值放入输入缓冲器 中用于算术编码。接着，方法900可结束。返回到决策908，如果Run值大于Max_Run 值，那么可将Max_Run值放入输入缓冲器中“N”次，其中N＝ceil(Run/Max_Run)，且 ceil()取最大整数，使得N＜＝Run/Max_Run，随后获得值为Run＝Run％Max_Run。接着， 方法900可结束。
参看图10，展示获得帧内图像中点的方法，且其概括表示为1000。可通过编码器 对具有多个行1004和多个列1006的经细化边缘图1002执行图10的方法1000。进一步 来说，可对每一行1004和每一列1006执行方法1000。
在框1008处开始，编码器可从当前位置(Curr_Pos)开始沿当前行(Curr_Row) 进行扫描，直到在新位置(New_Pos)处找到边缘、中点或边界为止。在框1010处，将 中点界定为当前位置加上新位置除以二，即中点＝(Curr_Pos+New_Pos)/2。进一步来 说，在框1010处，将当前位置设置为等于新位置，即Curr_Pos＝New_Pos。在框1012 处，可输出多个水平中点。
在框1014处，编码器可从当前位置(Curr_Pos)开始沿当前列(Curr_Col)进行扫 描，直到在新位置(New_Pos)处找到边缘、中点或边界为止。在框1016处，将中点界 定为当前位置加上新位置除以二，即中点＝(Curr_Pos+New_Pos)/2。进一步来说，在 框1016处，将当前位置设置为等于新位置，即Curr_Pos＝New_Pos。在框1018处，可 输出多个垂直中点。接着，方法1000可结束。
图11说明细化中点的方法，概括表示为1100。可使用多个中点1102和多个中点位 置1104来执行方法1100。在框1106处开始，编码器可从每个中点开始，沿八(8)个 方向以四十五度(45°)为步长进行扫描，且对于每个扫描方向来说，Max_Scan_Distance (最大_扫描_距离)位置最大，如图12中所示。
移到决策1108，编码器可确定当前像素位置是否大于Max_Scan_Distance。如果是， 那么方法1100可进行到决策1110，且所述编码器可确定是否对所有八(8)个方向进行 了扫描。如果否，那么方法1100可进行到框1112，且编码器可进行到其它下一扫描方 向。接着，方法1100可返回到框1106且如本文所述而继续。
返回到决策1110，如果对所有八(8)个方向进行了扫描，那么方法1100可进行到 决策1114，且编码器可确定是否已对最后一个中点进行了扫描。如果否，那么方法1100 可进行到框1116，且编码器可移到下一中点。此后，方法1100可返回到框1106且如本 文所述而继续。否则，在决策1114处，如果编码器已围绕所述最后一个中点进行了扫 描，那么方法1100可进行到框1118，且编码器可输出多个经细化中点。接着，方法1100 可结束。
返回到决策1108，如果当前像素位置并不大于Max_Scan_Distance，那么所述方法 可进行到决策1120，且编码器可确定当前像素是否为边缘。如果是，那么方法1100可 返回到决策1110且如本文所述而继续。如果当前中点不是边缘，那么方法1100可进行 到1122，且编码器可确定当前像素是否为中点。如果否，那么方法1100可进行到框1124， 且编码器可沿扫描方向移到下一像素。在决策1122处，如果当前像素为中点，那么方 法1100可进行到框1126，且可从中点图中移除当前中点。在如图11中所述对所有中点 进行处理后，可输出多个经细化中点1112，且方法1100可结束。
可参考图12进一步阐释图11中所示的方法1100，从中点(扫描中心)开始，可沿 图12中所示的八(8)条线中的每一者，以四十五度(45°)为步长对五×五块中的中点 周围的相邻像素进行扫描。可消除相邻中点，直到遇到边缘像素或到达块的端部为止。 在图12所示的实例中，像素M0可充当扫描中心，且由于细化的结果可消除中点M1、 M2和M4。像素M5和M6由于它们横跨边缘因此可能不会被消除，且它们的值可能与 像素M0的值有很明显的不同。
在特定方面中，图11中所示的方法1100可用以减少初始反复中编码的中点量，而 不会显著降低重构的质量。由于进一步反复可为图像帧添加进一步细节，这可能会导致 图像帧的质量较好，因此方法1100可被认为是可按比例缩放编码法的一部分。进一步 来说，与针对同一位速率的其它方法相比，方法1100可提供大体上较好的图像质量。
在帧数据的编码期间，将两个边缘之间沿水平方向或沿垂直方向中心处的像素编码 为中点。由于图像中边缘的性质，图像中的很多均匀区均可包含高密度的中点。额外的 中点(即样本)可能是不必要的，且可能不会导致图像质量有显著的改进。图11中所 示的方法1100可用以消除不必要的中点，且阻止对所述中点的编码。由于线性预测可 假设在上次反复中沿垂直和水平方向编码的每两个边缘之间存在中点，因此可能需要从 相邻中点中恢复被消除的中点。可将这些中点视为界标点，且可能需要恢复这些界标点。
图13说明恢复中点的方法，其概括表示为1300。可使用经细化边缘图1302、多个 像素1304、中点图1306、经细化中点图1308或其组合执行图13的方法1300。
在框1310处开始，可通过那些中点来确定界标点集，所述中点为中点集的一部分 而不是经细化中点集的一部分，即{界标点}＝{中点}-{经细化中点}。在框1312处， 编码器可从每个中点开始，沿八(8)个方向，以四十五度(45°)为步长进行扫描。在 决策1314处，编码器可确定当前帧是否为界标点。如果是，那么方法1300可进行到1316， 且编码器可用中点值填充当前像素。接着，方法1300可结束，且可输出已恢复的中点 图。
返回到决策1314，如果当前像素不是界标点，那么方法1300可继续到决策1318。 在决策1318处，编码器可确定当前像素是否为边缘。如果否，那么方法1300可返回到 框1312且如本文所述而继续。否则，方法1300可结束，且可输出已恢复的中点图。
使用图13中所述的方法1300，可首先计算界标点(即已消除的中点)的位置。接 着，可用中点(其处于扫描中心，例如图12中的像素M0)的值来填充这些位置的值。 由于解码器并不具有这些像素，因此这对确保既沿水平方向又沿垂直方向的每两个边缘 之间存在中点来说可能是有用的。由于界标像素(或界标点)可充当预测值，因此它们 在编码器和解码器处应是同一的。因此，可在编码器和解码器处执行图13中所示的恢 复法1300。
图11和图13中所示的方法1100、1300可用以通过消除不必要的中点而不遭受图 像质量的显著损失来降低数据速率。这些方法1100、1300可依靠边缘信息来保存对象 边界上的中点。进一步来说，方法1100，1300相对较简单，且可在同一扫描程序后进行 编码器处的消除(方法1100)以及解码器处的恢复(1200)。
参看图14，展示说明边缘间/中点间预测的方法的流程图，且概括表示为1400。可 对多个帧每次一个帧数执行方法1400。进一步来说，方法1400可利用前一帧数据(PFD) 1402和多个像素1404(例如，边缘像素、中点像素或其组合)。为清楚起见，在对图14 中所示的方法1400的描述期间，可参考图15。
在框1406处开始，可将搜索半径r初始化为具有值一(1)。在框1408处，编码器 可在半径r周围的前一帧中，围绕处于同一位置的点进行扫描。更具体来说，可在围绕 图15中的中心像素(即像素1)的正方形区中执行所述扫描。在第一反复期间，可从像 素2到像素8执行所述扫描。
在决策1410处，编码器可确定在所述第一扫描反复期间是否找到参考点(RefPt)。 如果是，那么方法1400可继续到框1412，且将经帧间预测的值设置为与所述参考点值 相等。接着，方法1400可结束。在决策1410处，如果未找到参考点，那么方法1400 可继续到框1414，且搜索半径r的值可增加一(1)个单位(即，一(1)个像素)。
此后，在决策1416处，编码器可确定搜索半径r是否大于最大值(MaxRange(最 大范围))。如果r不大于MaxRange，那么方法1400可返回到框1408且如本文所述而 继续。否则，如果r大于MaxRange，那么方法1400可移到框1418，且编码器可设置经 帧间预测的值等于预定默认值。在特定方面中，所述预定默认值等于值的范围内的中间 值。举例来说，当数据帧的值的范围在零(0)与两百五十五(255)之间时，所述预定 默认值可为一百二十八(128)。接着，方法1400可结束。
结合图14描述的方法1400可用于边缘和中点两者。在所述方法用以预测边缘值的 情况下，RefPt可对应于由边缘图给出的位置。在方法1400用以预测中点值的情况下， RefPt可对应于由中点图给出的位置。
图16展示对水平和垂直中点进行编码的方法，其表示为1600。可对当前帧数据 (CFD)1602和像素1604执行方法1600。CFD 1602可包含中点图和边缘图。在框1606 处开始，可获得水平中点的位置。进一步来说，在框1608处，可获得垂直中点的位置。 在框1610处，可获得相邻中点值。进一步来说，在框1612处，可执行线性边缘内/中点 内预测。此后，可输出中点残数，且方法1600可结束。
现在参看图17，展示边缘内/中点内预测的方法，且概括表示为1700。可对边缘图 1702和中点图1704执行图17中显示的方法1700。在框1706处开始，可通过边缘像素 位置{EdgeLocs}以及中点像素位置{MidPtLocs}的联合来确定所发送像素集{SentPix}。 换句话说，{SentPix}＝{EdgeLocs}+{MidPtLocs}。
在框1708处，可将帧图像划分为具有基于上次反复中的比例因子(SFLI)的尺寸 的块。举例来说，如果SFLI等于二(2)，那么可将所述帧图像划分为二乘二(2 x 2) 像素的块。移到决策1710，编码器可确定图像像素块中的像素中是否有至少一者为 SentPix中的一者。如果否，那么方法1700可进行到框1712，且可将预测值设置为与预 定义默认值相等。在特定方面中，所述预定默认值等于一百二十八(128)。否则，如果 图像像素块中的像素中的一者为SentPix中的一者，那么方法1700可移到框1714，且可 将所述预测值设置为等于块中的像素的平均值。
在框1716处，确定未设置像素的残数为实际值减去框1712或框1714处确定的预 测值。此后，可输出无损像素残数1718，且方法1700可结束。
在特定方面中，基于边缘的视频编解码器可对帧中的边缘和中点进行编码。随着反 复的数目增多，所述基于边缘的视频编解码器可通过对越来越多的中点(样本)日益增 多地进行编码来实现可按比例缩放译码。在最后一次反复后，原始帧的像素的子集可保 持未被编码。这些未编码像素可在“无损编码遍”中被编码以便实现无损质量。图17 中所述的方法1700提供基于经编码的边缘和中点的局部平均的预测性译码技术。方法 1700可使用指示先前经编码像素(例如边缘像素、中点像素或其组合)的位置的位图。 比例因子可用以确定水平或垂直方向上的每对边缘之间的最小距离以便确定其间的中 点。
图18说明内插像素值的方法的第一方面，概括表示为1800。在框1802处开始，可 通过解码器定位缺漏像素。在框1804处，解码器可确定多个最接近像素。进一步来说， 在框1806处，解码器可确定用于多个最接近像素中的每一者的值(例如亮度值)。在框 1808处，解码器可确定离所述多个最接近像素中的每一者的距离。在框1810处，解码 器可将多个最接近像素中的每一者分类为边缘像素或非边缘像素。此后，在框1812处， 解码器可基于多个最接近像素中每一者的值、离所述多个最接近像素中的每一者的距离 以及对所述多个最接近像素中的每一者的分类来确定缺漏像素的值。接着，方法1800 可结束。
参看图19，展示内插像素值的方法的第二方面，且概括表示为1900。图20是可能 在对图19中所述方法的论述期间提到的像素的说明。
在框1902处开始，可通过解码器定位缺漏像素P。在框1904处，解码器可定位两 个最接近的垂直像素：A和B。这两个最接近的垂直像素可包含沿垂直轴的第一像素以 及沿垂直轴的第二像素。进一步来说，在框1906处，解码器可定位两个最接近的水平 像素：C和D。这两个最接近的水平像素可包含沿水平轴的第一像素以及沿水平轴的第 二像素。在框1908处，解码器可确定用于最接近像素中的每一者的值(例如色密度值)。 所述值可表示为A、B、C和D。在框1910处，从P到每一最接近像素的距离可由所述 解码器确定。所述距离可表示为a、b、c和d。如图20中所示，a为离像素A的距离、 b为离像素B的距离、c为离像素C的距离且d为离像素D的距离。
移到决策1912，解码器可确定特定像素A、B、C或D是边缘还是中点。如果特定 像素为边缘，那么方法1900可进行到框1914，且解码器可设置针对所述特定像素的掩 模L等于零(0)。另一方面，如果特定像素为中点，那么方法1900可继续到框1916， 且解码器可设置针对所述特定像素的掩模L等于一(1)。从框1914或框1916中开始， 方法1900可继续到框1918。
在框1918处，解码器可确定垂直预测值(Vert_Pred)。所述垂直预测值可使用以下 公式确定：
Vert_Pred＝(LA*A*b+LB*B*a)/(LB*a+LA*b)
其中：
LA＝像素A的掩模，
A＝像素A的值，
b＝离像素B的距离，
LB＝像素B的掩模，
b＝像素B的值，且
a＝离像素A的距离。
移到块1920，解码器可确定水平预测值(Horz_Pred)。所述水平预测值可使用以下 公式确定：
Horz_Pred＝(LC*C*d+Ld*D*c)/(LD*c+LC*d)
其中：
LC＝像素C的掩模，
C＝像素C的值，
d＝离像素D的距离，
LD＝像素D的掩模，
D＝像素D的值，且
d＝离像素D的距离。
在框1922处，解码器可根据所述垂直预测值和所述水平预测值确定针对P的所内 插值。可根据以下公式确定针对P的所述所内插值：
所内插值(P)＝(Vert_Pred+Horz_Pred)/2
其中：
Vert_Pred＝在框1918处确定的垂直预测值；且
Horz_Pred＝在框1920确定的水平预测值。
在特定方面中，结合图19所述的方法1900可使用四个最接近像素(两个水平和两 个垂直)的值、四个最接近像素的位置(距离)以及最接近可用像素的分类(边缘或中 点)来预测(或内插)缺漏像素的值。如果最接近像素为边缘，那么所述像素无法用于 内插。如果最接近像素为中点，那么所述像素可用于通过应用距离加权因子来内插缺漏 像素的值。
结合图19所述的方法1900相对较简单，且由于方法1900仅使用线性运算符，因 此其计算成本可能较小。然而，方法1900可扩展到较高阶等式，用于在损失额外计算 成本的情况下获得较好的性能。进一步来说，由于仅仅中点而不是边缘用于内插，因此 方法1900可确保可能与经内插像素值的真实值显著不同的边缘上的样本并不用作预测 值。此外，经加权预测可帮助改变各种参考点的影响。经加权预测在具有从上到下或从 左到右的平滑转变的区中可能非常有效。
将理解，本文中所述的方法未必必须以所述的次序执行。进一步来说，例如“此后”、 “接着”、“接下来”等词语并不意在限制步骤的次序。这些词语只是用来引导读者浏览 对方法的描述。
通过本文所述配置，本文所揭示的系统和方法提供内插算法，所述内插算法可用以 使用内插从可用像素中恢复一个或一个以上缺漏像素。进一步来说，本文中的系统和方 法提供选择性隅角细化。可识别含文本的区，且接着可检测文本内的隅角并将所述隅角 添加到边缘图。另外，本文揭示的系统和方法提供帧间预测法和帧内预测法。本文的系 统和方法还提供用于减小中点的密度并恢复界标点的方法。可将沿水平或垂直方向的两 个边缘之间的中心处的像素编码为中点。然而，由于图像中边缘的性质，图像中的很多 均匀区均可包含高密度的中点。可从所发射的位流中减少任何额外的中点，因为它们并 不导致图像质量有显著的改进。
在一个或一个以上示范性方面中，可以硬件、软件、固件或其任何组合来实施所述 的功能。如果以软件实施，那么可将功能作为一个或一个以上指令或代码存储在计算机 可读媒体上或经由计算机可读媒体而传输。计算机可读媒体包含计算机存储媒体与通信 媒体两者，所述通信媒体包含促进计算机程序从一处传送到另一处的任何媒体。存储媒 体可为可由计算机存取的任何可用媒体。作为实例而非限制，所述计算机可读媒体可包 括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性 存储装置，或可用以运载或存储呈指令或数据结构形式的所要程序代码且可由计算机存 取的任何其它媒体。而且，严格地说，任何连接均被称作计算机可读媒体。举例来说， 如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及 微波等无线技术从网站、服务器或其它远程源传输软件，那么同轴电缆、光纤缆线、双 绞线、DSL或例如红外线、无线电及微波等无线技术包含在媒体的定义中。如本文中所 使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、 软磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘使用激光以光学方式再 现数据。上述各项的组合也应包含在计算机可读媒体的范围内。
虽然已详细说明及描述了选定方面，但将理解，在不脱离所附权利要求书界定的本 发明的精神及范围的情况下，可在本发明中进行各种替代及更改。