影像处理的方法与相关装置.pdf

上传人:000****221 文档编号:4296844 上传时间:2018-09-13 格式:PDF 页数:13 大小:516.97KB
返回 下载 相关 举报
摘要
申请专利号:

CN201110134115.6

申请日:

2011.05.13

公开号:

CN102780855A

公开日:

2012.11.14

当前法律状态:

授权

有效性:

有权

法律详情:

授权|||实质审查的生效IPC(主分类):H04N 5/272申请日:20110513|||公开

IPC分类号:

H04N5/272; H04N5/262

主分类号:

H04N5/272

申请人:

晨星软件研发(深圳)有限公司; 晨星半导体股份有限公司

发明人:

郑昆楠

地址:

518057 广东省深圳市高新区南区科技南十路深圳航天科技创新研究院C座4楼

优先权:

专利代理机构:

上海专利商标事务所有限公司 31100

代理人:

陈亮

PDF下载: PDF下载
内容摘要

本发明涉及一种影像处理的方法与相关装置,为一影像的各部分分别取得对应的三维深度值,并依据各部分对应的三维深度值而将影像的一部分撷取为一影像物件,使此影像物件可以和其他的影像物件合成。

权利要求书

1: 一种影像处理的方法, 包含 : 接收至少一第一影像及至少一第二影像, 为每一该第一影像的至少一部分取得对应的至少一三维深度值 ; 依据该三维深度值, 将每一第一影像的该部分撷取为一第一影像物件, 以产生一第一 迭加物件 ; 依据每一该至少一第二影像的至少一部分取得一第二影像物件, 以产生一第二迭加物 件; 以及 将该至少一第一迭加物件与该至少一第二迭加物件进行一迭加处理以产生一合成影 像。2: 如权利要求 1 所述的方法, 其特征在于, 每一第一影像由多影像画面所产生, 该多影 像画面各包含相同的多物件 ; 以及 为该每一第一影像的该至少一部分分别取得对应的该至少一三维深度值的步骤分别 计算每一该多物件于该多影像画面之间的多至少一位移, 以取得相关于该多物件的多三维 深度值 ; 其中, 该每一第一影像的该每一部分相关于该多物件之一。3: 如权利要求 1 所述的方法, 其特征在于, 还包含接收对应于该每一第一影像的该至 少一部分的一感测距离 ; 以及 为该每一第一影像的该至少一部分取得对应的该三维深度值的步骤根据该对应于该 至少一部分的该感测距离, 分别取得对应的该三维深度值。4: 如权利要求 1 所述的方法, 其特征在于, 该每一第一影像为一电脑绘图, 其提供对应 于该至少一部分的至少一关联于距离值的参数 ; 以及 为该每一第一影像的该至少一部分取得对应的该三维深度值的步骤根据该对应于该 至少一部分的该至少一关联于距离值的参数, 分别取得对应的该三维深度值。5: 如权利要求 1 所述的方法, 其特征在于, 将该每一第一影像的该部分撷取为该第一 影像物件, 以产生该第一迭加物件的步骤包含 : 对该每一第一影像物件进行一前处理, 以分别产生该第一迭加物件 ; 其中, 该前处理包 括调整该多第一影像物件的大小、 颜色、 亮度、 锐利度或者三维深度值。6: 如权利要求 1 所述的方法, 其特征在于, 依据该每一第二影像的该至少一部分取得 该第二影像物件, 以产生该第二迭加物件的步骤包含 : 对该每一第二影像物件进行一前处理, 以分别产生该第二迭加物件 ; 其中, 该前处理包 括调整该多第二影像物件的大小、 颜色、 亮度、 锐利度或者三维深度值。7: 如权利要求 1 所述的方法, 其特征在于, 依据该每一该至少一第二影像的该至少一 部分取得该第二影像物件, 以产生该第二迭加物件的步骤包含 : 为该每一第二影像的该至少一部分取得对应的至少一三维深度值, 而将该每一第二影 像的该至少一部分撷取为一第二影像物件。8: 如权利要求 7 所述的方法, 其特征在于, 该迭加处理包含 : 依据该至少一第一影像物件与该至少一第二影像物件所对应的多三维深度值, 分别对 该至少一第一迭加物件与该至少一第二迭加物件提供对应的多优先权重, 相关于一迭加顺 序; 以及 进行一迭加覆盖区处理, 依据该迭加顺序将该至少一第一迭加物件与该至少一第二迭 2 加物件迭加合成至该合成影像中。9: 如权利要求 1 所述的方法, 其特征在于, 还包含为该至少一第二影像物件分别指定 对应的至少一三维深度值。10: 如权利要求 9 所述的方法, 其特征在于, 为该至少一第二影像物件分别指定对应的 至少一三维深度值的步骤包含 : 参考该第一影像物件对应的该三维深度值而指定该第二影 像物件对应的该三维深度值。11: 如权利要求 9 所述的方法, 其特征在于, 为该至少一第二影像物件分别指定对应的 至少一三维深度值的步骤包含 : 参考一手动输入设定信息而指定该第二影像物件对应的该 三维深度值。12: 如权利要求 9 所述的方法, 其特征在于, 该迭加处理包含 : 依据该第一影像物件与该第二影像物件所对应的多三维深度值, 分别对该第一影像物 件与该第二影像物件提供对应的多优先权重, 相关于一迭加顺序 ; 以及 进行一迭加覆盖区处理, 依据该迭加顺序将该至少一第一迭加物件与该至少一第二迭 加物件迭加合成至该合成影像中。13: 如权利要求 1 所述的方法, 其特征在于, 该迭加处理还包含对该合成影像进行一迭 加后处理, 包含对该至少一第一迭加物件与该至少一第二迭加物件的多边缘进行混色、 抗 锯齿及羽化处理。14: 一种影像处理的装置, 包含 : 一深度值模块, 用于为一第一影像的至少一部分取得对应的至少一三维深度值 ; 一第一影像处理模块, 用于依据该三维深度值, 将该第一影像的该部分撷取为一第一 影像物件, 以产生一第一迭加物件 ; 一第二影像处理模块, 用于依据一至少一第二影像取得一第二影像物件, 以产生一第 二迭加物件 ; 以及 一迭加处理模块, 将该至少一第一迭加物件与该至少一第二迭加物件进行一迭加处理 以产生一合成影像。15: 如权利要求 14 所述的装置, 其特征在于, 每一第一影像由多影像画面所产生, 该多 影像画面各包含相同的多物件 ; 以及 该第一影像处理模块分别计算每一该多物件于该多影像画面之间的多至少一位移, 以 取得相关于该多物件的多三维深度值 ; 其中, 该每一第一影像的该每一部分相关于该多物 件之一。16: 如权利要求 14 所述的装置, 其特征在于, 还包含接收对应于该每一第一影像的该 至少一部分之一感测距离 ; 以及 该第一影像处理模块根据该对应于该至少一部分的该感测距离, 分别取得对应的该三 维深度值。17: 如权利要求 14 所述的装置, 其特征在于, 该每一第一影像为一电脑绘图, 其提供对 应于该至少一部分的至少一关联于距离值的参数 ; 以及 该第一影像处理模块根据该对应于该至少一部分的该至少一关联于距离值的参数, 分 别取得对应的该三维深度值。18: 如权利要求 14 所述的装置, 其特征在于, 该第一影像处理模块包含 : 3 一前处理模块, 用以对该每一第一影像物件进行一前处理, 以分别产生该第一迭加物 件; 其中, 该前处理包括调整该多第一影像物件的大小、 颜色、 亮度、 锐利度或者三维深度 值。19: 如权利要求 14 所述的装置, 其特征在于, 该第二影像处理模块包含 : 一前处理模块, 用以对该每一第二影像物件进行一前处理, 以分别产生该第二迭加物 件; 其中, 该前处理包括调整该多第二影像物件的大小、 颜色、 亮度、 锐利度或者三维深度 值。20: 如权利要求 14 所述的装置, 其特征在于, 该第二影像处理模块包含一撷取模块, 用 以为该第二影像的至少一部分取得对应的至少一三维深度值, 而将该第二影像的该至少一 部分撷取为一第二影像物件。21: 如权利要求 20 所述的装置, 其特征在于, 该迭加处理模块包含 : 一迭加优先权处理模块, 用以依据该至少一第一影像物件与该至少一第二影像物件所 对应的多三维深度值, 分别对该至少一第一迭加物件与该至少一第二迭加物件提供对应的 多优先权重, 相关于一迭加顺序 ; 以及 一迭加覆盖区处理模块, 用以依据该迭加顺序将该至少一第一迭加物件与该至少一第 二迭加物件迭加合成至该合成影像中。22: 如权利要求 14 所述的装置, 其特征在于, 还包含一深度值指定模块, 用以为该至少 一第二影像物件分别指定对应的至少一三维深度值。23: 如权利要求 22 所述的装置, 其特征在于, 该深度值指定模块参考该第一影像物件 对应的该三维深度值而指定该第二影像物件对应的该三维深度值。24: 如权利要求 22 所述的装置, 其特征在于, 该深度值指定模块参考一手动输入设定 信息而指定该第二影像物件对应的该三维深度值。25: 如权利要求 22 所述的装置, 其特征在于, 该迭加处理模块包含 : 一迭加优先权处理模块, 用以依据该至少一第一影像物件与该至少一第二影像物件所 对应的多三维深度值, 分别对该至少一第一迭加物件与该至少一第二迭加物件提供对应的 多优先权重, 相关于一迭加顺序 ; 以及 一迭加覆盖区处理模块, 用以依据该迭加顺序将该至少一第一迭加物件与该至少一第 二迭加物件迭加合成至该合成影像中。26: 如权利要求 14 所述的装置, 其特征在于, 该迭加处理模块还包含 : 一迭加后处理模块, 用以对该合成影像进行一迭加后处理, 包含对该至少一第一迭加 物件与该至少一第二迭加物件的多边缘进行混色、 抗锯齿及羽化处理。

说明书


影像处理的方法与相关装置

    技术领域 本发明是有关于一种影像处理的方法与相关装置, 且特别是有关于一种依据影像 三维深度值而由影像中分离出影像物件并进行应用的方法与相关装置。
     背景技术 为增进静态及 / 或动态影像的品质、 信息、 内容与趣味, 影像处理与合成已被广泛 运用。举例而言, 影像去背 (background removing) 就是一种常用的影像处理。影像去背 的目的是将影像中重要的前景独立撷取为影像物件, 使前景能和较不重要的背景分离。
     在已知技术中, 影像去背多以色度镶迭 (chroma keying) 技术来进行。在进行色 度镶迭时, 形成前景的主要物体会被放置于单色 ( 蓝色或绿色 ) 的背景下, 让前景与单色背 景一并被撷取至影像中。然后, 经由影像后制, 就可将颜色已知的单色背景去除, 将前景的 影像撷取为前景影像物件。然后, 前景影像物件便可以和另行制作的背景影像迭加合成在 一起, 成为新的影像数据。另一已知影像去背技术则是依据前景与背景间的边缘及 / 或颜
     色差异来将前景影像物件从背景中分离出来。
     然而, 前述已知技术尚有应用上的缺点。若前景影像中有某些部分的颜色近似或 相同于背景的颜色, 就会在去背时被去除, 使前景影像不完整。 此外, 若前景影像较为复杂, 以及 / 或者和背景的边缘不明显, 均会使已知技术难以从影像中正确分辨出前景影像物 件。 发明内容
     本发明提供一种依据三维深度值进行影像处理的技术, 可利用三维深度值将一动 态或静态影像的前景撷取为影像物件, 以方便后续的影像处理, 例如说是影像合成。
     本发明的目的之一是提供一种影像处理的方法, 包括 : 接收一影像, 为影像的各部 分分别取得对应的三维深度值, 并依据影像各部分所对应的三维深度值而将该影像的一部 分撷取为一影像物件 ( 第一影像物件 )。取得一第二影像物件后, 进行一迭加处理, 将第一 影像物件与第二影像物件合成于一合成影像中。
     一实施例中, 可对第一影像物件及 / 或第二影像物件进行前处理, 再于迭加处理 时将前处理后的第一影像物件及 / 或前处理后的第二影像物件合成于合成影像中。前处理 可以是对影像物件的缩放、 调整其颜色、 亮度、 对比及 / 或锐利度, 以及 / 或者调整其所对应 的三维深度值及 / 或距离值。
     迭加处理中包括一迭加优先权处理、 一迭加覆盖区处理以及一迭加后处理。进行 迭加优先权处理时, 依据第一影像物件与第二影像物件所对应的三维深度值及 / 或距离值 分别提供一对应的迭加顺序。进行迭加覆盖区处理时, 依据第一影像物件与第二影像物件 所对应的迭加顺序将第一影像物件与第二影像物件迭加合成至合成影像中。例如, 若第一 影像物件的距离值比第二影像物件的距离值更位于前方, 可保留第一影像物件, 将第二影 像物件中与第一影像物件重迭的部分去除, 以将第一影像物件迭合覆盖于第二影像物件之上。 进行迭加后处理时, 针对第一影像物件与第二影像物件的迭加结果作细微的处 理; 举例而言, 将第一、 第二影像物件的迭合边缘作混色、 抗锯齿 (anti-aliasing) 及 / 或羽 化 (feathering) 处理, 使两者迭合的影像看起来更自然。
     第一及 / 或第二影像物件可由影像撷取而得。此影像可以是一三维影像, 各部分 分别对应一视差偏移量 ; 依据影像各部分对应的视差偏移量, 可为影像的各部分分别取得 对应的三维深度值。
     本发明的又一目的是提供一种影像处理的装置, 包括一深度值模块、 一分离模块、 选择性设置的前处理模块与一迭加处理模块。 深度值模块为一影像的各部分分别取得对应 的三维深度值 ; 分离模块依据影像各部分所对应的三维深度值而将影像的一部分撷取为一 影像物件。前处理模块对影像物件进行前处理。迭加处理模块对影像物件进行迭加处理 ; 其包括一迭加优先权处理模块、 一迭加覆盖区处理模块与一迭加后处理模块, 分别进行迭 加优先权处理、 迭加覆盖区处理与迭加后处理。
     为了对本发明的上述及其他方面有更佳的了解, 下文特举较佳实施例, 并配合附 图, 作详细说明如下 :
     附图说明
     图 1 是依据本发明一实施例而以一摄影机摄取三维影像的示意图。 图 2 是依据本发明一实施例的影像处理装置。 图 3 是依据本发明一实施例而进行影像处理的示意图。 主要元件符号说明 10 : 装置 12、 26 : 深度值模块 14 : 分离模块 16、 28 : 前处理模块 18 : 迭加处理模块 20 : 迭加优先权处理模块 22 : 迭加覆盖区处理模块 24 : 迭加后处理模块 30 : 测距装置 Pi_A、 Pi_B : 影像数据 MS : 摄影机 CL-CR : 镜头 OB1-OB2 : 物体 IR1-IR2、 IL1-IL2、 I1-I2 : 成像 PR-PL、 PRo-PLo、 Po : 影像 Y1-Y2、 Ys1-Ys2 : 距离值 Yob1-Yob2 : 三维深度值 X1-X2 : 视差偏移量Iob1、 Iob2 : 影像物件 Iovlp : 重迭部分具体实施方式
     由于左眼与右眼看到同一个物件时, 左眼与右眼的呈现的影像会有些许不同, 而 人体的大脑即根据双眼看到的影像来建立三维 (3D) 影像。 请参考图 1A, 其依据本发明一实 施例而以一摄影机 MS 摄取一三维影像的示意图。摄影机 MS 设有左镜头 CL 与右镜头 CR ; 对于一个与摄影机 MS 相隔距离值 Y1 的物体 OB1, 左镜头 CL 将物体 OB1 撷取为左影像 PL 中 的成像 IL1, 右镜头 CR 则将物体 OB1 撷取为右影像 PR 中的成像 IR1。根据左影像 PL 与右 影像 PR, 可形成一三维影像, 其中, 左影像 PL 与右影像 PR 之成像 IL1 与成像 IR1 间有一视 差偏移量 X1。 当要播放三维影像时, 左影像 PL 与右影像 PR 被分别呈现至观赏者的左右眼, 透过成像 IL1 与 IR1 间的视差偏移量 X1, 即可使观赏者看到物体 OB1 的三维影像。
     类似地, 对一个与摄影机 MS 相隔距离值 Y2 的物体 OB2 而言, 左镜头 CL 将物体 OB2 撷取为左影像 PL 中的成像 IL2, 右镜头 CR 则将物体 OB1 撷取为右影像 PR 中的成像 IR2 ; 左 影像 PL 与右影像 PR 之成像 IL2 与 IR2 间有一视差偏移量 X2, 如图 1B 所示。应特别注意的 是, 相较于物体 OB1, 物体 OB2 与摄影机 MS 距离较远 ( 即距离值 Y2 大于 Y1), 则成像 IL2 与 IR2 间的视差偏移量 X2 小于成像 IL1 与 IR1 间的视差偏移量 X1。 根据上述的特性, 发展出一种三维深度值 (3D depth) 的概念。由图 1A 与图 1B 可 知, 比对形成三维影像的左影像 IL 与右影像 IR 各部分的视差偏移量, 就可得知物体与摄影 机 MS 间的距离。假设图 1A 的左影像 PL 被定义为一参考影像 (reference image), 则左影 像 PL 与右影像 PR 中物体 OB1 之成像 IL1 与 IR1 间的视差偏移量 X1 的正值, 即为成像 IL1 与 IR1 的三维深度值。同理, 在图 1B 中, 当左影像 PL 同样被定义为一参考影像, 左影像 PL 与右影像 PR 中物体 OB2 的成像 IL2 与 IR2 间的视差偏移量 X2 的正值, 即为成像 IL2 与 IR2 的三维深度值。反之, 在图 1A 及图 1B 中, 若定义右影像 PR 为参考影像, 则成像 IL1 与 IR1 的三维深度值即为视差偏移量 X1 的负值, 成像 IL2 与 IR2 的三维深度值则为视差偏移量 X2 的负值。如图 1C 所示, 在左右影像 IL 与 IR 间比对出成像 IL1 与 IR1 的三维深度值, 就可 得知物体 OB1 与摄影机 MS 之间的距离值 Y1。同理, 比对左右影像 IL 与 IR 中的成像 IL2 与 IR2, 就可由成像 IL2 与 IR2 的三维深度值得知物体 OB2 与摄影机 MS 间的距离值 Y2。换言 之, 依据三维深度值, 可得知物体 OB1 与摄影机 MS 之间距离较近, 物体 OB2 与摄影机 MS 间 距离较远。
     依据图 1C 所示三维深度值的原理, 即可将影像 PL 与 PR 中物体 OB1 的成像和物体 OB2 的成像区分为前景与后景。 详细来说, 依据三维深度值, 可得知物体 OB1 与摄影机 MS 之 间距离较近, 物体 OB2 与摄影机 MS 间距离较远, 而可判断物体 OB1 的成像 IL1 与 IR1 为前 景, 物体 OB2 的成像 IL2 与 IR2 为后景。据此, 即可将物体 OB1 的成像 IL1 与 IR1 由影像 PL 与 PR 中撷取出来成为前景影像物件, 而达成影像去背景的功能。
     请参考图 2 与图 3 ; 图 2 为一依据本发明一实施例的装置 10 的功能方块图, 图3是 一依据本发明一实施例的装置 10 的运作示意图。装置 10 为一影像处理的装置, 设有一深 度值模块 12、 一分离模块 14、 前处理模块 16 与 28, 与一迭加处理模块 18。迭加处理模块 18 中则包括一迭加优先权处理模块 20、 一迭加覆盖区处理模块 22 与一迭加后处理模块 24。
     在装置 10 中, 深度值模块 12 接收一影像数据 Pi_A 的输入, 影像数据 Pi_A 可包括 动态或静态、 二维或三维的影像 ; 深度值模块 12 会为影像的各部分分别取得对应的三维深 度值与距离值, 而分离模块 14 就可依据影像各部分所对应的三维深度值与距离值而将影 像的一部分撷取为一影像物件。以图 3 为例, 影像数据 Pi_A 可包括由左影像 PL 与右影像 PR 形成的三维影像, 深度值模块 12 会针对此三维影像中各部分取得对应的三维深度值, 以 为各部分提供距离值, 并使分离模块 14 得以依据三维深度值及距离值而将前景区分出来, 例如说是依据图 1C 的原理来将前景的成像 IL1 与 IR1 撷取为影像物件 Iob1 ; 影像物件 Iob1 对应于距离值 Yob1, 此距离值 You1 就关联于距离值 Y1。
     除了依据图 1C 的原理, 由摄影机 MS 分别摄取左影像 PL 及右影像 PR, 以取得物体 OB1 及 OB2 的三维深度值外, 于本发明另一实施例中, 若影像数据 Pi_A 本身就关联于一测距 装置所侦测的距离值, 深度值模块 12 也可利用测距装置侦测的距离值辅助产生三维深度 值, 使得本发明得据以分离该影像数据 Pi_A 中之前景。以图 3 举例说明, 在一实施例中, 当 物体 OB1 与 OB2 的 xy 平面分布位置被撷取为影像数据 Pi_A 中的成像 I1 与 I2 时, 测距装 置 30 亦一并测量出物体 OB1 与 OB2 在平面法线 ( 即 z 轴 ) 的距离值 Ys1 与 Ys2, 使成像 I1 与 I2 分别关联于距离值 Ys1 与 Ys2。而深度值模块 12 就可依据距离值 Ys1 与 Ys2 订定成 像 I1 与 I2 的三维深度值, 而分离模块 14 便可据此将前景的成像 I1 分离出来, 作为影像物 件 Iob1。测距装置 30 可以是激光、 红外线、 声波、 超音波及 / 或电磁波的测距装置。 在 另 一实 施例中, 影 像数据 Pi_A 可 以是虚 拟 三维 模型经 由 电脑绘 图 的算图 (rendering) 所得到的, 电脑绘图亦可一并提供三维模型的距离值 ( 例如深度对应图, depth map) 或者关联于距离值的参数, 而深度值模块 12 就可以利用电脑绘图所提供的距 离值或者关联于距离值的参数辅助产生三维深度值, 使分离模块 14 可将影像数据 Pi_A 中 的前景撷取为独立的影像物件。
     在分离模块 14 撷取出影像物件后, 本发明实施例可透过前处理模块 16 对影像物 件进行前处理。前处理可以是对影像物件的缩放、 调整其颜色、 亮度、 对比及 / 或锐利度, 以 及 / 或者调整其所对应的三维深度值及 / 或距离值。
     类似于深度值模块 12 的运作, 本发明实施例亦可包含深度值模块 26 为另一影像 数据 Pi_B 提供对应的距离值。影像数据 Pi_B 可以是一被迭合的影像物件 ; 以图 3 举例说 明, 影像数据 Pi_B 可以是影像物件 Iob2, 对应于距离值 Yob2, 而前处理模块 28 可对其进行 前处理, 类似于前处理模块 16 对影像物件 Iob1 进行的前处理。
     取得影像数据 Pi_A、 Pi_B 的影像物件与对应的距离值后, 迭加处理模块 18 便可在 迭加参数的控制下进行影像物件的迭加处理, 将影像数据 Pi_A 与 Pi_B 的影像物件合成, 以 产生一合成影像 ; 此合成影像可以是二维或三维、 静态或动态的影像。进行迭加处理时, 迭 加处理模块 18 中的迭加优先权处理模块 20 进行迭加优先权处理, 依据各影像物件所对应 的三维深度值及距离值分别提供一对应的迭加顺序。迭加覆盖区处理模块 22 进行迭加覆 盖区处理, 依据各影像物件对应的迭加顺序将各影像物件迭加合成至合成影像中。迭加后 处理模块 24 进行迭加后处理, 将迭加覆盖区处理模块 22 的迭加结果作细微的处理, 例如说 是将影像物件的迭合边缘作混色、 抗锯齿及 / 或羽化处理, 使合成影像看起来更自然。
     以图 3 为例来说明迭加处理的运作。在得到影像物件 Iob1、 Iob2 各自的三维深度 值与对应距离值 Yob1 与 Yob2 后, 迭加优先权处理模块 20 会依据该些三维深度值与距离值
     订定迭加的优先权与顺序 ; 例如, 比较影像物件 Iob1 的三维深度值及距离值 Yob1 与影像物 件 Iob2 的三维深度值及距离值 Yob2, 可得知影像物件 lob1 较影像物件 lob2 更位于前方, 故影像物件 Iob1 的迭加顺序优先于影像物件 Iob2。当迭加覆盖区处理模块 22 将影像物 件 Iob1 与 Iob2 迭加至一二维的合成影像 Po 时, 迭加顺序优先的影像物件 Iob1 会被完整 保留, 而在迭加顺序较低的影像物件 Iob2 中, 若迭加的影像物件 Iob1 与被迭加的影像物件 Iob2 有部分重迭 ( 如重迭部分 Iovlp), 便可将影像物件 Iob2 中重迭的部分去除, 以将影像 物件 Iob1 迭合覆盖于影像物件 Iob2 之上。
     同理, 影像迭合的输出也可以是三维影像, 例如说是由左右影像 PRo 与 PLo 合成的 三维影像。迭加处理模块 18 可为左右影像 PRo 与 PLo 分别进行迭加覆盖区处理与迭加后 处理。在本发明的一种实施例中, 左影像 PRo 中的影像物件 Iob1 来自左影像 PL 中的成像 IL1, 右影像 PLo 中的影像物件 Iob1 则由右影像 PR 中的成像 IR1 形成。同理, 若另一影像 数据 Pi_B 亦包括三维影像的左右影像, 则左影像 PRo 中的影像物件 Iob2 可由影像数据 Pi_ B 的左影像形成, 右影像 PLo 中的影像物件 Iob2 则由影像数据 Pi_B 的右影像形成。
     在其他实施例中, 影像数据 Pi_B 可为二维影像, 则此情况下, 若欲输出影像为二 维影像, 影像物件 Iob1 可以直接迭合覆盖在二维影像元件 Iob2 上, 不需考虑其三维深度值 及距离值 Yob2。因此于此例中深度值模块 26 是选择性设置的, 其可被省略。在另一实施 例中, 影像数据 Pi_B 亦为二维影像, 但欲输出影像为三维影像, 则可赋予影像元件 Iob2 一 预设的三维深度值, 并以影像数据 Pi_B 作为三维影像的左右影像, 用以与其他影像元件迭 合, 以形成三维的输出影像。该三维深度值的赋予, 可参考影像数据 Pi_A 的三维深度值, 亦 可令使用者输入。详言之, 假设于此例中三维深度值越大, 表示该影像元件被置于越前方, 则当影像数据 Pi_B 作为一背景使用时, 其所对应的影像物件 Iob2 被赋予一小于所有其他 影像元件所对应的三维深度值的值, 作为其三维深度值。 或者, 使用者亦可手动输入影像数 据 Pi_B 的三维深度值, 以调整影像元件 Iob2 与影像元件 Iob1 于输出三维影像上的相对距 离。在另一实施例中, 影像数据 Pi_A 及 / 或 Pi_B 亦可以是动态影像。动态影像由多个图 框形成, 装置 10 可以针对每一图框的影像进行影像物件的撷取与迭加。
     应特别注意的是, 二影像数据 Pi_A 及影像数据 Pi_B 的迭合仅为一例, 本发明并不 限于处理二笔影像数据, 而可同时处理及迭合多笔不同类型的影像数据, 以输出各种不同 类型的影像数据。
     在装置 10 中, 前处理模块 16 与 28 可依照影像物件迭加合成的需求调整影像物 件。举例而言, 前处理模块 16 可缩短距离值 Yob1, 并对应地将影像物件 Iob1 放大, 在合成 的影像中使影像物件 Iob1 的位置更向前。以及 / 或者, 前处理模块 16 也将影像物件 Iob1 的亮度增加以突显影像物件 Iob1。相对地, 前处理模块 28 则可将影像物件 Iob2 的亮度降 低, 将其模糊化以减少其锐利度, 使合成影像呈现出浅景深的效果。应注意前处理模块 16 与 28 是选择性设置的, 前处理模块 16 及 / 或 28 可以省略。
     装置 10 中的各模块可以用硬件、 固件及 / 或软件来实现。深度值模块 12 与 26 可 以是同一模块, 前处理模块 16 与 28 亦可以是同一模块。
     本发明的应用可举例说明如下。本发明可应用于电影的拍摄, 影像数据 Pi_A 与 Pi_B 可以是分别拍摄的, 再运用装置 10 的运作原理迭加合成。 本发明亦可应用于照片的影 像处理与影像编辑。再者, 本发明亦可运用于视讯电话、 视讯会议及 / 或网路摄影播放 ; 举例而言, 可用三维摄影机 MS( 图 1) 拍摄视讯参与者以形成影像数据 Pi_A, 并利用本发明技 术将参与者的影像与背景分离, 再与另一影像数据 Pi_B 的背景迭加合成。本发明还可运用 于旅游业、 多媒体应用、 体育、 教育事业、 娱乐及或游戏。例如说, 以三维摄影机 MS 拍摄使用 者, 将使用者影像由背景分离出来, 再与游戏的虚拟背景迭加合成。
     总结来说, 相较于已知技术, 本发明运用三维深度值来进行前景与背景的分离, 使 前景能被独立运用, 使影像处理更精确、 更方便, 也使影像内容更为丰富多元。
     综上所述, 虽然本发明已以较佳实施例揭示如上, 然其并非用以限定本发明。 本发 明所属技术领域中具有通常知识者, 在不脱离本发明的精神和范围内, 当可作各种的更动 与润饰。因此, 本发明的保护范围当由权利要求书界定为准。

影像处理的方法与相关装置.pdf_第1页
第1页 / 共13页
影像处理的方法与相关装置.pdf_第2页
第2页 / 共13页
影像处理的方法与相关装置.pdf_第3页
第3页 / 共13页
点击查看更多>>
资源描述

《影像处理的方法与相关装置.pdf》由会员分享,可在线阅读,更多相关《影像处理的方法与相关装置.pdf(13页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 102780855 A (43)申请公布日 2012.11.14 C N 1 0 2 7 8 0 8 5 5 A *CN102780855A* (21)申请号 201110134115.6 (22)申请日 2011.05.13 H04N 5/272(2006.01) H04N 5/262(2006.01) (71)申请人晨星软件研发(深圳)有限公司 地址 518057 广东省深圳市高新区南区科技 南十路深圳航天科技创新研究院C座4 楼 申请人晨星半导体股份有限公司 (72)发明人郑昆楠 (74)专利代理机构上海专利商标事务所有限公 司 31100 代理人陈亮 (54)。

2、 发明名称 影像处理的方法与相关装置 (57) 摘要 本发明涉及一种影像处理的方法与相关装 置,为一影像的各部分分别取得对应的三维深度 值,并依据各部分对应的三维深度值而将影像的 一部分撷取为一影像物件,使此影像物件可以和 其他的影像物件合成。 (51)Int.Cl. 权利要求书3页 说明书6页 附图3页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 3 页 说明书 6 页 附图 3 页 1/3页 2 1.一种影像处理的方法,包含: 接收至少一第一影像及至少一第二影像, 为每一该第一影像的至少一部分取得对应的至少一三维深度值; 依据该三维深度值,将每一第一影像的该部分。

3、撷取为一第一影像物件,以产生一第一 迭加物件; 依据每一该至少一第二影像的至少一部分取得一第二影像物件,以产生一第二迭加物 件;以及 将该至少一第一迭加物件与该至少一第二迭加物件进行一迭加处理以产生一合成影 像。 2.如权利要求1所述的方法,其特征在于,每一第一影像由多影像画面所产生,该多影 像画面各包含相同的多物件;以及 为该每一第一影像的该至少一部分分别取得对应的该至少一三维深度值的步骤分别 计算每一该多物件于该多影像画面之间的多至少一位移,以取得相关于该多物件的多三维 深度值;其中,该每一第一影像的该每一部分相关于该多物件之一。 3.如权利要求1所述的方法,其特征在于,还包含接收对应于该。

4、每一第一影像的该至 少一部分的一感测距离;以及 为该每一第一影像的该至少一部分取得对应的该三维深度值的步骤根据该对应于该 至少一部分的该感测距离,分别取得对应的该三维深度值。 4.如权利要求1所述的方法,其特征在于,该每一第一影像为一电脑绘图,其提供对应 于该至少一部分的至少一关联于距离值的参数;以及 为该每一第一影像的该至少一部分取得对应的该三维深度值的步骤根据该对应于该 至少一部分的该至少一关联于距离值的参数,分别取得对应的该三维深度值。 5.如权利要求1所述的方法,其特征在于,将该每一第一影像的该部分撷取为该第一 影像物件,以产生该第一迭加物件的步骤包含: 对该每一第一影像物件进行一前处。

5、理,以分别产生该第一迭加物件;其中,该前处理包 括调整该多第一影像物件的大小、颜色、亮度、锐利度或者三维深度值。 6.如权利要求1所述的方法,其特征在于,依据该每一第二影像的该至少一部分取得 该第二影像物件,以产生该第二迭加物件的步骤包含: 对该每一第二影像物件进行一前处理,以分别产生该第二迭加物件;其中,该前处理包 括调整该多第二影像物件的大小、颜色、亮度、锐利度或者三维深度值。 7.如权利要求1所述的方法,其特征在于,依据该每一该至少一第二影像的该至少一 部分取得该第二影像物件,以产生该第二迭加物件的步骤包含: 为该每一第二影像的该至少一部分取得对应的至少一三维深度值,而将该每一第二影 像。

6、的该至少一部分撷取为一第二影像物件。 8.如权利要求7所述的方法,其特征在于,该迭加处理包含: 依据该至少一第一影像物件与该至少一第二影像物件所对应的多三维深度值,分别对 该至少一第一迭加物件与该至少一第二迭加物件提供对应的多优先权重,相关于一迭加顺 序;以及 进行一迭加覆盖区处理,依据该迭加顺序将该至少一第一迭加物件与该至少一第二迭 权 利 要 求 书CN 102780855 A 2/3页 3 加物件迭加合成至该合成影像中。 9.如权利要求1所述的方法,其特征在于,还包含为该至少一第二影像物件分别指定 对应的至少一三维深度值。 10.如权利要求9所述的方法,其特征在于,为该至少一第二影像物件。

7、分别指定对应的 至少一三维深度值的步骤包含:参考该第一影像物件对应的该三维深度值而指定该第二影 像物件对应的该三维深度值。 11.如权利要求9所述的方法,其特征在于,为该至少一第二影像物件分别指定对应的 至少一三维深度值的步骤包含:参考一手动输入设定信息而指定该第二影像物件对应的该 三维深度值。 12.如权利要求9所述的方法,其特征在于,该迭加处理包含: 依据该第一影像物件与该第二影像物件所对应的多三维深度值,分别对该第一影像物 件与该第二影像物件提供对应的多优先权重,相关于一迭加顺序;以及 进行一迭加覆盖区处理,依据该迭加顺序将该至少一第一迭加物件与该至少一第二迭 加物件迭加合成至该合成影像。

8、中。 13.如权利要求1所述的方法,其特征在于,该迭加处理还包含对该合成影像进行一迭 加后处理,包含对该至少一第一迭加物件与该至少一第二迭加物件的多边缘进行混色、抗 锯齿及羽化处理。 14.一种影像处理的装置,包含: 一深度值模块,用于为一第一影像的至少一部分取得对应的至少一三维深度值; 一第一影像处理模块,用于依据该三维深度值,将该第一影像的该部分撷取为一第一 影像物件,以产生一第一迭加物件; 一第二影像处理模块,用于依据一至少一第二影像取得一第二影像物件,以产生一第 二迭加物件;以及 一迭加处理模块,将该至少一第一迭加物件与该至少一第二迭加物件进行一迭加处理 以产生一合成影像。 15.如权。

9、利要求14所述的装置,其特征在于,每一第一影像由多影像画面所产生,该多 影像画面各包含相同的多物件;以及 该第一影像处理模块分别计算每一该多物件于该多影像画面之间的多至少一位移,以 取得相关于该多物件的多三维深度值;其中,该每一第一影像的该每一部分相关于该多物 件之一。 16.如权利要求14所述的装置,其特征在于,还包含接收对应于该每一第一影像的该 至少一部分之一感测距离;以及 该第一影像处理模块根据该对应于该至少一部分的该感测距离,分别取得对应的该三 维深度值。 17.如权利要求14所述的装置,其特征在于,该每一第一影像为一电脑绘图,其提供对 应于该至少一部分的至少一关联于距离值的参数;以及。

10、 该第一影像处理模块根据该对应于该至少一部分的该至少一关联于距离值的参数,分 别取得对应的该三维深度值。 18.如权利要求14所述的装置,其特征在于,该第一影像处理模块包含: 权 利 要 求 书CN 102780855 A 3/3页 4 一前处理模块,用以对该每一第一影像物件进行一前处理,以分别产生该第一迭加物 件;其中,该前处理包括调整该多第一影像物件的大小、颜色、亮度、锐利度或者三维深度 值。 19.如权利要求14所述的装置,其特征在于,该第二影像处理模块包含: 一前处理模块,用以对该每一第二影像物件进行一前处理,以分别产生该第二迭加物 件;其中,该前处理包括调整该多第二影像物件的大小、颜。

11、色、亮度、锐利度或者三维深度 值。 20.如权利要求14所述的装置,其特征在于,该第二影像处理模块包含一撷取模块,用 以为该第二影像的至少一部分取得对应的至少一三维深度值,而将该第二影像的该至少一 部分撷取为一第二影像物件。 21.如权利要求20所述的装置,其特征在于,该迭加处理模块包含: 一迭加优先权处理模块,用以依据该至少一第一影像物件与该至少一第二影像物件所 对应的多三维深度值,分别对该至少一第一迭加物件与该至少一第二迭加物件提供对应的 多优先权重,相关于一迭加顺序;以及 一迭加覆盖区处理模块,用以依据该迭加顺序将该至少一第一迭加物件与该至少一第 二迭加物件迭加合成至该合成影像中。 22。

12、.如权利要求14所述的装置,其特征在于,还包含一深度值指定模块,用以为该至少 一第二影像物件分别指定对应的至少一三维深度值。 23.如权利要求22所述的装置,其特征在于,该深度值指定模块参考该第一影像物件 对应的该三维深度值而指定该第二影像物件对应的该三维深度值。 24.如权利要求22所述的装置,其特征在于,该深度值指定模块参考一手动输入设定 信息而指定该第二影像物件对应的该三维深度值。 25.如权利要求22所述的装置,其特征在于,该迭加处理模块包含: 一迭加优先权处理模块,用以依据该至少一第一影像物件与该至少一第二影像物件所 对应的多三维深度值,分别对该至少一第一迭加物件与该至少一第二迭加物。

13、件提供对应的 多优先权重,相关于一迭加顺序;以及 一迭加覆盖区处理模块,用以依据该迭加顺序将该至少一第一迭加物件与该至少一第 二迭加物件迭加合成至该合成影像中。 26.如权利要求14所述的装置,其特征在于,该迭加处理模块还包含: 一迭加后处理模块,用以对该合成影像进行一迭加后处理,包含对该至少一第一迭加 物件与该至少一第二迭加物件的多边缘进行混色、抗锯齿及羽化处理。 权 利 要 求 书CN 102780855 A 1/6页 5 影像处理的方法与相关装置 技术领域 0001 本发明是有关于一种影像处理的方法与相关装置,且特别是有关于一种依据影像 三维深度值而由影像中分离出影像物件并进行应用的方法。

14、与相关装置。 背景技术 0002 为增进静态及/或动态影像的品质、信息、内容与趣味,影像处理与合成已被广泛 运用。举例而言,影像去背(background removing)就是一种常用的影像处理。影像去背 的目的是将影像中重要的前景独立撷取为影像物件,使前景能和较不重要的背景分离。 0003 在已知技术中,影像去背多以色度镶迭(chroma keying)技术来进行。在进行色 度镶迭时,形成前景的主要物体会被放置于单色(蓝色或绿色)的背景下,让前景与单色背 景一并被撷取至影像中。然后,经由影像后制,就可将颜色已知的单色背景去除,将前景的 影像撷取为前景影像物件。然后,前景影像物件便可以和另行。

15、制作的背景影像迭加合成在 一起,成为新的影像数据。另一已知影像去背技术则是依据前景与背景间的边缘及/或颜 色差异来将前景影像物件从背景中分离出来。 0004 然而,前述已知技术尚有应用上的缺点。若前景影像中有某些部分的颜色近似或 相同于背景的颜色,就会在去背时被去除,使前景影像不完整。此外,若前景影像较为复杂, 以及/或者和背景的边缘不明显,均会使已知技术难以从影像中正确分辨出前景影像物 件。 发明内容 0005 本发明提供一种依据三维深度值进行影像处理的技术,可利用三维深度值将一动 态或静态影像的前景撷取为影像物件,以方便后续的影像处理,例如说是影像合成。 0006 本发明的目的之一是提供一。

16、种影像处理的方法,包括:接收一影像,为影像的各部 分分别取得对应的三维深度值,并依据影像各部分所对应的三维深度值而将该影像的一部 分撷取为一影像物件(第一影像物件)。取得一第二影像物件后,进行一迭加处理,将第一 影像物件与第二影像物件合成于一合成影像中。 0007 一实施例中,可对第一影像物件及/或第二影像物件进行前处理,再于迭加处理 时将前处理后的第一影像物件及/或前处理后的第二影像物件合成于合成影像中。前处理 可以是对影像物件的缩放、调整其颜色、亮度、对比及/或锐利度,以及/或者调整其所对应 的三维深度值及/或距离值。 0008 迭加处理中包括一迭加优先权处理、一迭加覆盖区处理以及一迭加后。

17、处理。进行 迭加优先权处理时,依据第一影像物件与第二影像物件所对应的三维深度值及/或距离值 分别提供一对应的迭加顺序。进行迭加覆盖区处理时,依据第一影像物件与第二影像物件 所对应的迭加顺序将第一影像物件与第二影像物件迭加合成至合成影像中。例如,若第一 影像物件的距离值比第二影像物件的距离值更位于前方,可保留第一影像物件,将第二影 像物件中与第一影像物件重迭的部分去除,以将第一影像物件迭合覆盖于第二影像物件之 说 明 书CN 102780855 A 2/6页 6 上。 0009 进行迭加后处理时,针对第一影像物件与第二影像物件的迭加结果作细微的处 理;举例而言,将第一、第二影像物件的迭合边缘作混。

18、色、抗锯齿(anti-aliasing)及/或羽 化(feathering)处理,使两者迭合的影像看起来更自然。 0010 第一及/或第二影像物件可由影像撷取而得。此影像可以是一三维影像,各部分 分别对应一视差偏移量;依据影像各部分对应的视差偏移量,可为影像的各部分分别取得 对应的三维深度值。 0011 本发明的又一目的是提供一种影像处理的装置,包括一深度值模块、一分离模块、 选择性设置的前处理模块与一迭加处理模块。深度值模块为一影像的各部分分别取得对应 的三维深度值;分离模块依据影像各部分所对应的三维深度值而将影像的一部分撷取为一 影像物件。前处理模块对影像物件进行前处理。迭加处理模块对影像。

19、物件进行迭加处理; 其包括一迭加优先权处理模块、一迭加覆盖区处理模块与一迭加后处理模块,分别进行迭 加优先权处理、迭加覆盖区处理与迭加后处理。 0012 为了对本发明的上述及其他方面有更佳的了解,下文特举较佳实施例,并配合附 图,作详细说明如下: 附图说明 0013 图1是依据本发明一实施例而以一摄影机摄取三维影像的示意图。 0014 图2是依据本发明一实施例的影像处理装置。 0015 图3是依据本发明一实施例而进行影像处理的示意图。 0016 主要元件符号说明 0017 10:装置 0018 12、26:深度值模块 0019 14:分离模块 0020 16、28:前处理模块 0021 18:。

20、迭加处理模块 0022 20:迭加优先权处理模块 0023 22:迭加覆盖区处理模块 0024 24:迭加后处理模块 0025 30:测距装置 0026 Pi_A、Pi_B:影像数据 0027 MS:摄影机 0028 CL-CR:镜头 0029 OB1-OB2:物体 0030 IR1-IR2、IL1-IL2、I1-I2:成像 0031 PR-PL、PRo-PLo、Po:影像 0032 Y1-Y2、Ys1-Ys2:距离值 0033 Yob1-Yob2:三维深度值 0034 X1-X2:视差偏移量 说 明 书CN 102780855 A 3/6页 7 0035 Iob1、Iob2:影像物件 003。

21、6 Iovlp:重迭部分 具体实施方式 0037 由于左眼与右眼看到同一个物件时,左眼与右眼的呈现的影像会有些许不同,而 人体的大脑即根据双眼看到的影像来建立三维(3D)影像。请参考图1A,其依据本发明一实 施例而以一摄影机MS摄取一三维影像的示意图。摄影机MS设有左镜头CL与右镜头CR; 对于一个与摄影机MS相隔距离值Y1的物体OB1,左镜头CL将物体OB1撷取为左影像PL中 的成像IL1,右镜头CR则将物体OB1撷取为右影像PR中的成像IR1。根据左影像PL与右 影像PR,可形成一三维影像,其中,左影像PL与右影像PR之成像IL1与成像IR1间有一视 差偏移量X1。当要播放三维影像时,左影。

22、像PL与右影像PR被分别呈现至观赏者的左右眼, 透过成像IL1与IR1间的视差偏移量X1,即可使观赏者看到物体OB1的三维影像。 0038 类似地,对一个与摄影机MS相隔距离值Y2的物体OB2而言,左镜头CL将物体OB2 撷取为左影像PL中的成像IL2,右镜头CR则将物体OB1撷取为右影像PR中的成像IR2;左 影像PL与右影像PR之成像IL2与IR2间有一视差偏移量X2,如图1B所示。应特别注意的 是,相较于物体OB1,物体OB2与摄影机MS距离较远(即距离值Y2大于Y1),则成像IL2与 IR2间的视差偏移量X2小于成像IL1与IR1间的视差偏移量X1。 0039 根据上述的特性,发展出一。

23、种三维深度值(3D depth)的概念。由图1A与图1B可 知,比对形成三维影像的左影像IL与右影像IR各部分的视差偏移量,就可得知物体与摄影 机MS间的距离。假设图1A的左影像PL被定义为一参考影像(reference image),则左影 像PL与右影像PR中物体OB1之成像IL1与IR1间的视差偏移量X1的正值,即为成像IL1 与IR1的三维深度值。同理,在图1B中,当左影像PL同样被定义为一参考影像,左影像PL 与右影像PR中物体OB2的成像IL2与IR2间的视差偏移量X2的正值,即为成像IL2与IR2 的三维深度值。反之,在图1A及图1B中,若定义右影像PR为参考影像,则成像IL1与。

24、IR1 的三维深度值即为视差偏移量X1的负值,成像IL2与IR2的三维深度值则为视差偏移量X2 的负值。如图1C所示,在左右影像IL与IR间比对出成像IL1与IR1的三维深度值,就可 得知物体OB1与摄影机MS之间的距离值Y1。同理,比对左右影像IL与IR中的成像IL2与 IR2,就可由成像IL2与IR2的三维深度值得知物体OB2与摄影机MS间的距离值Y2。换言 之,依据三维深度值,可得知物体OB1与摄影机MS之间距离较近,物体OB2与摄影机MS间 距离较远。 0040 依据图1C所示三维深度值的原理,即可将影像PL与PR中物体OB1的成像和物体 OB2的成像区分为前景与后景。详细来说,依据三。

25、维深度值,可得知物体OB1与摄影机MS之 间距离较近,物体OB2与摄影机MS间距离较远,而可判断物体OB1的成像IL1与IR1为前 景,物体OB2的成像IL2与IR2为后景。据此,即可将物体OB1的成像IL1与IR1由影像PL 与PR中撷取出来成为前景影像物件,而达成影像去背景的功能。 0041 请参考图2与图3;图2为一依据本发明一实施例的装置10的功能方块图,图3是 一依据本发明一实施例的装置10的运作示意图。装置10为一影像处理的装置,设有一深 度值模块12、一分离模块14、前处理模块16与28,与一迭加处理模块18。迭加处理模块18 中则包括一迭加优先权处理模块20、一迭加覆盖区处理模。

26、块22与一迭加后处理模块24。 说 明 书CN 102780855 A 4/6页 8 0042 在装置10中,深度值模块12接收一影像数据Pi_A的输入,影像数据Pi_A可包括 动态或静态、二维或三维的影像;深度值模块12会为影像的各部分分别取得对应的三维深 度值与距离值,而分离模块14就可依据影像各部分所对应的三维深度值与距离值而将影 像的一部分撷取为一影像物件。以图3为例,影像数据Pi_A可包括由左影像PL与右影像 PR形成的三维影像,深度值模块12会针对此三维影像中各部分取得对应的三维深度值,以 为各部分提供距离值,并使分离模块14得以依据三维深度值及距离值而将前景区分出来, 例如说是依。

27、据图1C的原理来将前景的成像IL1与IR1撷取为影像物件Iob1;影像物件Iob1 对应于距离值Yob1,此距离值You1就关联于距离值Y1。 0043 除了依据图1C的原理,由摄影机MS分别摄取左影像PL及右影像PR,以取得物体 OB1及OB2的三维深度值外,于本发明另一实施例中,若影像数据Pi_A本身就关联于一测距 装置所侦测的距离值,深度值模块12也可利用测距装置侦测的距离值辅助产生三维深度 值,使得本发明得据以分离该影像数据Pi_A中之前景。以图3举例说明,在一实施例中,当 物体OB1与OB2的xy平面分布位置被撷取为影像数据Pi_A中的成像I1与I2时,测距装 置30亦一并测量出物体。

28、OB1与OB2在平面法线(即z轴)的距离值Ys1与Ys2,使成像I1 与I2分别关联于距离值Ys1与Ys2。而深度值模块12就可依据距离值Ys1与Ys2订定成 像I1与I2的三维深度值,而分离模块14便可据此将前景的成像I1分离出来,作为影像物 件Iob1。测距装置30可以是激光、红外线、声波、超音波及/或电磁波的测距装置。 0044 在另一实施例中,影像数据Pi_A可以是虚拟三维模型经由电脑绘图的算图 (rendering)所得到的,电脑绘图亦可一并提供三维模型的距离值(例如深度对应图, depth map)或者关联于距离值的参数,而深度值模块12就可以利用电脑绘图所提供的距 离值或者关联于。

29、距离值的参数辅助产生三维深度值,使分离模块14可将影像数据Pi_A中 的前景撷取为独立的影像物件。 0045 在分离模块14撷取出影像物件后,本发明实施例可透过前处理模块16对影像物 件进行前处理。前处理可以是对影像物件的缩放、调整其颜色、亮度、对比及/或锐利度,以 及/或者调整其所对应的三维深度值及/或距离值。 0046 类似于深度值模块12的运作,本发明实施例亦可包含深度值模块26为另一影像 数据Pi_B提供对应的距离值。影像数据Pi_B可以是一被迭合的影像物件;以图3举例说 明,影像数据Pi_B可以是影像物件Iob2,对应于距离值Yob2,而前处理模块28可对其进行 前处理,类似于前处理。

30、模块16对影像物件Iob1进行的前处理。 0047 取得影像数据Pi_A、Pi_B的影像物件与对应的距离值后,迭加处理模块18便可在 迭加参数的控制下进行影像物件的迭加处理,将影像数据Pi_A与Pi_B的影像物件合成,以 产生一合成影像;此合成影像可以是二维或三维、静态或动态的影像。进行迭加处理时,迭 加处理模块18中的迭加优先权处理模块20进行迭加优先权处理,依据各影像物件所对应 的三维深度值及距离值分别提供一对应的迭加顺序。迭加覆盖区处理模块22进行迭加覆 盖区处理,依据各影像物件对应的迭加顺序将各影像物件迭加合成至合成影像中。迭加后 处理模块24进行迭加后处理,将迭加覆盖区处理模块22的。

31、迭加结果作细微的处理,例如说 是将影像物件的迭合边缘作混色、抗锯齿及/或羽化处理,使合成影像看起来更自然。 0048 以图3为例来说明迭加处理的运作。在得到影像物件Iob1、Iob2各自的三维深度 值与对应距离值Yob1与Yob2后,迭加优先权处理模块20会依据该些三维深度值与距离值 说 明 书CN 102780855 A 5/6页 9 订定迭加的优先权与顺序;例如,比较影像物件Iob1的三维深度值及距离值Yob1与影像物 件Iob2的三维深度值及距离值Yob2,可得知影像物件lob1较影像物件lob2更位于前方, 故影像物件Iob1的迭加顺序优先于影像物件Iob2。当迭加覆盖区处理模块22将。

32、影像物 件Iob1与Iob2迭加至一二维的合成影像Po时,迭加顺序优先的影像物件Iob1会被完整 保留,而在迭加顺序较低的影像物件Iob2中,若迭加的影像物件Iob1与被迭加的影像物件 Iob2有部分重迭(如重迭部分Iovlp),便可将影像物件Iob2中重迭的部分去除,以将影像 物件Iob1迭合覆盖于影像物件Iob2之上。 0049 同理,影像迭合的输出也可以是三维影像,例如说是由左右影像PRo与PLo合成的 三维影像。迭加处理模块18可为左右影像PRo与PLo分别进行迭加覆盖区处理与迭加后 处理。在本发明的一种实施例中,左影像PRo中的影像物件Iob1来自左影像PL中的成像 IL1,右影像P。

33、Lo中的影像物件Iob1则由右影像PR中的成像IR1形成。同理,若另一影像 数据Pi_B亦包括三维影像的左右影像,则左影像PRo中的影像物件Iob2可由影像数据Pi_ B的左影像形成,右影像PLo中的影像物件Iob2则由影像数据Pi_B的右影像形成。 0050 在其他实施例中,影像数据Pi_B可为二维影像,则此情况下,若欲输出影像为二 维影像,影像物件Iob1可以直接迭合覆盖在二维影像元件Iob2上,不需考虑其三维深度值 及距离值Yob2。因此于此例中深度值模块26是选择性设置的,其可被省略。在另一实施 例中,影像数据Pi_B亦为二维影像,但欲输出影像为三维影像,则可赋予影像元件Iob2一 预。

34、设的三维深度值,并以影像数据Pi_B作为三维影像的左右影像,用以与其他影像元件迭 合,以形成三维的输出影像。该三维深度值的赋予,可参考影像数据Pi_A的三维深度值,亦 可令使用者输入。详言之,假设于此例中三维深度值越大,表示该影像元件被置于越前方, 则当影像数据Pi_B作为一背景使用时,其所对应的影像物件Iob2被赋予一小于所有其他 影像元件所对应的三维深度值的值,作为其三维深度值。或者,使用者亦可手动输入影像数 据Pi_B的三维深度值,以调整影像元件Iob2与影像元件Iob1于输出三维影像上的相对距 离。在另一实施例中,影像数据Pi_A及/或Pi_B亦可以是动态影像。动态影像由多个图 框形成。

35、,装置10可以针对每一图框的影像进行影像物件的撷取与迭加。 0051 应特别注意的是,二影像数据Pi_A及影像数据Pi_B的迭合仅为一例,本发明并不 限于处理二笔影像数据,而可同时处理及迭合多笔不同类型的影像数据,以输出各种不同 类型的影像数据。 0052 在装置10中,前处理模块16与28可依照影像物件迭加合成的需求调整影像物 件。举例而言,前处理模块16可缩短距离值Yob1,并对应地将影像物件Iob1放大,在合成 的影像中使影像物件Iob1的位置更向前。以及/或者,前处理模块16也将影像物件Iob1 的亮度增加以突显影像物件Iob1。相对地,前处理模块28则可将影像物件Iob2的亮度降 低。

36、,将其模糊化以减少其锐利度,使合成影像呈现出浅景深的效果。应注意前处理模块16 与28是选择性设置的,前处理模块16及/或28可以省略。 0053 装置10中的各模块可以用硬件、固件及/或软件来实现。深度值模块12与26可 以是同一模块,前处理模块16与28亦可以是同一模块。 0054 本发明的应用可举例说明如下。本发明可应用于电影的拍摄,影像数据Pi_A与 Pi_B可以是分别拍摄的,再运用装置10的运作原理迭加合成。本发明亦可应用于照片的影 像处理与影像编辑。再者,本发明亦可运用于视讯电话、视讯会议及/或网路摄影播放;举 说 明 书CN 102780855 A 6/6页 10 例而言,可用三。

37、维摄影机MS(图1)拍摄视讯参与者以形成影像数据Pi_A,并利用本发明技 术将参与者的影像与背景分离,再与另一影像数据Pi_B的背景迭加合成。本发明还可运用 于旅游业、多媒体应用、体育、教育事业、娱乐及或游戏。例如说,以三维摄影机MS拍摄使用 者,将使用者影像由背景分离出来,再与游戏的虚拟背景迭加合成。 0055 总结来说,相较于已知技术,本发明运用三维深度值来进行前景与背景的分离,使 前景能被独立运用,使影像处理更精确、更方便,也使影像内容更为丰富多元。 0056 综上所述,虽然本发明已以较佳实施例揭示如上,然其并非用以限定本发明。本发 明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动 与润饰。因此,本发明的保护范围当由权利要求书界定为准。 说 明 书CN 102780855 A 10 1/3页 11 图1 说 明 书 附 图CN 102780855 A 11 2/3页 12 图2 说 明 书 附 图CN 102780855 A 12 3/3页 13 图3 说 明 书 附 图CN 102780855 A 13 。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 电学 > 电通信技术


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1