《一种摄像机内参数调整的方法及装置.pdf》由会员分享，可在线阅读，更多相关《一种摄像机内参数调整的方法及装置.pdf（21页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102201117 A (43)申请公布日 2011.09.28 CN 102201117 A *CN102201117A* (21)申请号 201010135128.0 (22)申请日 2010.03.26 G06T 7/00(2006.01) (71)申请人 新奥特 （北京） 视频技术有限公司 地址 100080 北京市海淀区西草场 1 号硅谷 电脑城 15 层 1501-1506 室 (72)发明人 刘剑秋 付萍 (74)专利代理机构 北京润泽恒知识产权代理有 限公司 11319 代理人 苏培华 (54) 发明名称 一种摄像机内参数调整的方法及装置 (57) 摘。
2、要 本发明公开了一种摄像机内参数调整的方 法， 包括 ： 获得预置变焦参数下的摄像机内参数 矩阵 ； 采集当前摄像机拍摄的预定场景的基准图 像， 并计算所述基准图像的点单应矩阵 ； 依据所 述摄像机内参数矩阵以及点单应矩阵， 计算当前 摄像机的外参数矩阵 ； 改变所述摄像机的拍摄角 度拍摄预定场景的参考图像， 依据实际场景中的 特征几何信息在参考图像上的投影信息确定预置 补偿矩阵中的补偿系数 ； 将具有补偿系数的补偿 矩阵代入所述摄像机内参数矩阵中， 获得最终的 摄像机内参数矩阵。本发明可以保证当摄像机的 聚焦参数发生改变时， 摄像机的内参数能够正确 反映摄像机的光学特性， 从而使虚拟物体与真。
3、实 场景相匹配， 提高电视节目播出画面的真实感。 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 5 页 说明书 12 页 附图 3 页 CN 102201123 A1/5 页 2 1. 一种摄像机内参数调整的方法， 其特征在于， 包括 ： 获得预置变焦参数下的摄像机内参数矩阵 ； 采集当前摄像机拍摄的预定场景的基准图像， 并计算所述基准图像的点单应矩阵 ； 依据所述摄像机内参数矩阵以及点单应矩阵， 计算当前摄像机的外参数矩阵 ； 改变所述摄像机的拍摄角度拍摄预定场景的参考图像， 依据实际场景中的特征几何信 息在参考图像上的投影信息确定预置补偿矩。
4、阵中的补偿系数 ； 将具有补偿系数的补偿矩阵代入所述摄像机内参数矩阵和 / 或摄像机外参数矩阵中， 获得最终的摄像机内参数矩阵和 / 或摄像机外参数矩阵。 2. 如权利要求 1 所述的方法， 其特征在于， 所述确定预置补偿矩阵中补偿系数的步骤 包括 ： 预置补偿矩阵 ； 改变所述摄像机的拍摄角度拍摄预定场景不同角度的一幅参考图像 ； 依据当前角度和补偿矩阵生成当前参考图像的摄像机投影矩阵 ； 选取所述预定场景中的特征几何信息， 并依据所述摄像机投影矩阵将相应的特征几何 信息投影到当前参考图像中， 获得调整的补偿系数。 3. 如权利要求 1 所述的方法， 其特征在于， 所述确定预置补偿矩阵中补偿。
5、系数的步骤 包括 ： 预置补偿矩阵 ； 改变所述摄像机的拍摄角度拍摄预定场景不同角度的多幅参考图像 ； 分别依据当前角度和补偿矩阵生成相应参考图像的摄像机投影矩阵 ； 选取所述预定场景中的特征几何信息， 并依据所述摄像机投影矩阵将相应的特征几何 信息投影到当前参考图像中， 计算所述投影点与实际成像点之间的距离 ； 将所述距离值的平方和作为补偿系数的优化准则， 获得最终的优化补偿系数。 4. 如权利要求 2 或 3 所述的方法， 其特征在于， 所述特征几何信息为特征角点 ； 所述摄 像机的改变角度为平摇角度或俯仰角度。 5. 如权利要求 2 所述的方法， 其特征在于， 所述预置的补偿矩阵 S 为。
6、 ： 其中， k 为补偿系数 ； 所述参考图像的摄像机投影矩阵 P 为 ： P ASRS-1M ； 其中， A 为摄像机内参数矩阵，R 为旋转矩阵， 对于平摇 角度， 对于俯仰 角度， 权 利 要 求 书 CN 102201117 A CN 102201123 A2/5 页 3 M 为摄像机外参数矩阵， 6. 如权利要求 3 所述的方法， 其特征在于， 所述预置的补偿矩阵 S 为 ： 其中， k 为补偿系数 ； 所述参考图像的摄像机投影矩阵 Pi为 ： Pi ASRS-1M ； 其中， A 为摄像机内参数矩阵，R 为旋转矩阵， 对于平摇 角度， 对于俯仰 角度， M 为摄像机外参数矩阵， 所述。
7、获得最终优化补偿系数的优化算法为 ： 其中， C 为优化代价函数， N 表示用于优化的参考图像数量。M 表示选定的特征角点的 数量， mij表示第 j 个特征角点在第 i 幅图像中实际像素坐标 ； (xj， yj， zj) 表示第 j 个特征 角点在世界坐标系下的坐标 ； Pi表示第 i 幅图像对应的摄像机投影矩阵 ； Pi(xj， yj， zj) 表示 第 j 个特征角点在摄像机投影矩阵 Pi作用下， 在第 i 幅图像中的投影点坐标。 7. 如权利要求 1 所述的方法， 其特征在于， 所述最终获取的摄像机内参数矩阵为 ： 权 利 要 求 书 CN 102201117 A CN 1022011。
8、23 A3/5 页 4 所述最终获取的摄像机外参数矩阵为 ： 8. 如权利要求 1 所述的方法， 其特征在于， 所述点单应矩阵通过所述基准图像实际平 面上的已知几何信息与图像平面之间的投影映射关系获得。 9. 一种摄像机内参数调整的装置， 其特征在于， 包括 ： 初始内参矩阵获取单元， 用于获得预置变焦参数下的摄像机内参数矩阵 ； 基准图像采集计算单元， 用于采集当前摄像机拍摄的预定场景的基准图像， 并计算所 述基准图像的点单应矩阵 ； 初始外参矩阵计算单元， 用于依据所述摄像机内参数矩阵以及点单应矩阵， 计算当前 摄像机的外参数矩阵 ； 变焦补偿单元， 用于改变所述摄像机的拍摄角度拍摄预定场。
9、景的参考图像， 依据实际 场景中的特征几何信息在参考图像上的投影信息确定预置补偿矩阵中的补偿系数 ； 最终定标单元， 用于将具有补偿系数的补偿矩阵代入所述摄像机内参数矩阵和 / 或摄 像机外参数矩阵中， 获得最终的摄像机内参数矩阵和 / 或摄像机外参数矩阵。 10. 如权利要求 9 所述的装置， 其特征在于， 所述变焦补偿单元包括 ： 补偿矩阵预定义子单元， 用于预置补偿矩阵 ； 参考图像第一获取子单元， 用于改变所述摄像机的拍摄角度拍摄预定场景不同角度的 一幅参考图像 ； 图像投影矩阵生成子单元， 用于依据当前角度和补偿矩阵生成当前参考图像的摄像机 投影矩阵 ； 补偿系数调整子单元， 用于选。
10、取所述预定场景中的特征几何信息， 并依据所述摄像机 投影矩阵将相应的特征几何信息投影到当前参考图像中， 获得调整的补偿系数。 11. 如权利要求 9 所述的装置， 其特征在于， 所述变焦补偿单元包括 ： 补偿矩阵预定义子单元， 用于预置补偿矩阵 ； 参考图像第二获取子单元， 用于改变所述摄像机的拍摄角度拍摄预定场景不同角度的 多幅参考图像 ； 图像投影矩阵生成子单元， 用于分别依据当前角度和补偿矩阵生成相应参考图像的摄 像机投影矩阵 ； 距离计算子单元， 用于选取所述预定场景中的特征几何信息， 并依据所述摄像机投影 矩阵将相应的特征几何信息投影到当前参考图像中， 计算所述投影点与实际成像点之间。
11、的 距离 ； 优化子单元， 用于将所述距离值的平方和作为补偿系数的优化准则， 获得最终的优化 补偿系数。 12. 如权利要求 10 或 11 所述的装置， 其特征在于， 所述特征几何信息为特征角点 ； 所 权 利 要 求 书 CN 102201117 A CN 102201123 A4/5 页 5 述摄像机的改变角度为平摇角度或俯仰角度。 13. 如权利要求 10 所述的装置， 其特征在于， 所述预置的补偿矩阵 S 为 ： 其中， k 为补偿系数 ； 所述参考图像的摄像机投影矩阵 P 为 ： P ASRS-1M ； 其中， A 为摄像机内参数矩阵，R 为旋转矩阵， 对于平摇 角度， 对于俯仰 。
12、角度， M 为摄像机外参数矩阵， 14. 如权利要求 11 所述的装置， 其特征在于， 所述预置的补偿矩阵 S 为 ： 其中， k 为补偿系数 ； 所述参考图像的摄像机投影矩阵 Pi为 ： Pi ASRS-1M ； 其中， A 为摄像机内参数矩阵，R 为旋转矩阵， 对于平摇 角度， 对于俯仰 角度， 权 利 要 求 书 CN 102201117 A CN 102201123 A5/5 页 6 M 为摄像机外参数矩阵， 所述获得最终优化补偿系数的优化算法为 ： 其中， C 为优化代价函数， N 表示用于优化的参考图像数量。M 表示选定的特征角点的 数量， mij表示第 j 个特征角点在第 i 幅。
13、图像中实际像素坐标 ； (xj， yj， zj) 表示第 j 个特征 角点在世界坐标系下的坐标 ； Pi表示第 i 幅图像对应的摄像机投影矩阵 ； Pi(xj， yj， zj) 表示 第 j 个特征角点在摄像机投影矩阵 Pi作用下， 在第 i 幅图像中的投影点坐标。 15. 如权利要求 9 所述的装置， 其特征在于， 所述最终获取的摄像机内参数矩阵为 ： 所述最终获取的摄像机外参数矩阵为 ： 权 利 要 求 书 CN 102201117 A CN 102201123 A1/12 页 7 一种摄像机内参数调整的方法及装置 技术领域 0001 本发明涉及电视节目制作的技术领域， 特别是涉及一种摄像。
14、机内参数调整的方法 及一种摄像机内参数调整的装置。 背景技术 0002 摄像机定标的基本目的就是建立起真实空间中的三维世界坐标与图像空间中的 二维像素坐标之间的映射关系。这种映射关系是由摄像机成像的几何模型决定的， 确定这 些几何模型相关参数的过程就称为摄像机定标。 0003 这种映射关系， 取决于摄像机的外参数和内参数。 其中， 内参数反映了摄像机本身 的光学特性， 具体包括摄像机的焦距， 主点和镜头畸变系数等。 外参数反映了摄像机与拍摄 景物的相对位置关系， 具体包括摄像机的旋转矩阵， 位移矢量。确定了摄像机的内外参数， 也就建立起了空间中的任意点和其在图像上的成像点之间的对应关系， 即完。
15、成了摄像机定 标的过程。 0004 目前， 摄像机定标技术被广泛用于电视节目的制作中， 以增加节目的生动性和交 互性， 满足电视观众不断提高的欣赏口味。例如， 在体育比赛电视转播中插入三维动画。现 有技术中， 为了在电视画面中的预定位置插入三维动画， 并保持虚拟物体与实景图像的位 置匹配关系， 在体育转播前， 需要在实验室中通过定标实验预先测定摄像机内参数随变焦 参数变化的曲线。然而， 由于实验室的场地限制， 定标标志板和摄像机镜头的距离有限， 而 实际比赛中， 摄像机和拍摄景物之间的距离要远得多。 因此， 实验室中的摄像机和实际体育 转播中的摄像机往往工作在不同的聚焦参数下， 在这种情况下，。
16、 实验室条件下标定的摄像 机内参数不能准确地反映在体育转播中摄像机的光学特性， 会导致插入的虚拟物体和真实 场景无法正确对齐， 从而影响转播画面的真实感。 0005 因此， 目前需要本领域技术人员迫切解决的一个技术问题就是 ： 如何能够创新地 提出一种当摄像机聚焦参数发生变化时的摄像机内参数调整方案， 以保证虚拟物体与真实 场景相匹配， 提高电视节目播出画面的真实感。 发明内容 0006 本发明所要解决的技术问题是提供一种摄像机内参数调整的方法， 以保证当摄像 机的聚焦参数发生改变时， 摄像机的内参数能够正确反映摄像机的光学特性， 从而使虚拟 物体与真实场景相匹配， 提高电视节目播出画面的真实。
17、感。 0007 为了解决上述技术问题， 本发明实施例公开了一种摄像机内参数调整的方法， 包 括 ： 0008 获得预置变焦参数下的摄像机内参数矩阵 ； 0009 采集当前摄像机拍摄的预定场景的基准图像， 并计算所述基准图像的点单应矩 阵 ； 0010 依据所述摄像机内参数矩阵以及点单应矩阵， 计算当前摄像机的外参数矩阵 ； 说 明 书 CN 102201117 A CN 102201123 A2/12 页 8 0011 改变所述摄像机的拍摄角度拍摄预定场景的参考图像， 依据实际场景中的特征几 何信息在参考图像上的投影信息确定预置补偿矩阵中的补偿系数 ； 0012 将具有补偿系数的补偿矩阵代入所。
18、述摄像机内参数矩阵和 / 或摄像机外参数矩 阵中， 获得最终的摄像机内参数矩阵和 / 或摄像机外参数矩阵。 0013 优选的， 所述确定预置补偿矩阵中补偿系数的步骤包括 ： 0014 预置补偿矩阵 ； 0015 改变所述摄像机的拍摄角度拍摄预定场景不同角度的一幅参考图像 ； 0016 依据当前角度和补偿矩阵生成当前参考图像的摄像机投影矩阵 ； 0017 选取所述预定场景中的特征几何信息， 并依据所述摄像机投影矩阵将相应的特征 几何信息投影到当前参考图像中， 获得调整的补偿系数。 0018 优选的， 所述确定预置补偿矩阵中补偿系数的步骤包括 ： 0019 预置补偿矩阵 ； 0020 改变所述摄像。
19、机的拍摄角度拍摄预定场景不同角度的多幅参考图像 ； 0021 分别依据当前角度和补偿矩阵生成相应参考图像的摄像机投影矩阵 ； 0022 选取所述预定场景中的特征几何信息， 并依据所述摄像机投影矩阵将相应的特征 几何信息投影到当前参考图像中， 计算所述投影点与实际成像点之间的距离 ； 0023 将所述距离值的平方和作为补偿系数的优化准则， 获得最终的优化补偿系数。 0024 优选的， 所述特征几何信息为特征角点 ； 所述摄像机的改变角度为平摇角度或俯 仰角度。 0025 优选的， 所述预置的补偿矩阵 S 为 ： 0026 0027 其中， k 为补偿系数 ； 0028 所述参考图像的摄像机投影矩。
20、阵 P 为 ： 0029 P ASRS-1M ； 0030 其中， A为摄像机内参数矩阵，R为旋转矩阵， 对于平摇角度， 对于俯仰 角度， 0031 0032 M 为摄像机外参数矩阵， 说 明 书 CN 102201117 A CN 102201123 A3/12 页 9 0033 优选的， 所述预置的补偿矩阵 S 为 ： 0034 0035 其中， k 为补偿系数 ； 0036 所述参考图像的摄像机投影矩阵 Pi为 ： 0037 Pi ASRS-1M ； 0038 其中， A为摄像机内参数矩阵，R为旋转矩阵， 对于平摇角度， 对于俯仰 角度， 0039 0040 M 为摄像机外参数矩阵， 0。
21、041 所述获得最终优化补偿系数的优化算法为 ： 0042 0043 其中， C 为优化代价函数， N 表示用于优化的参考图像数量。M 表示选定的特征角 点的数量， mij表示第 j 个特征角点在第 i 幅图像中实际像素坐标 ； (xj， yj， zj) 表示第 j 个 特征角点在世界坐标系下的坐标 ； Pi表示第 i 幅图像对应的摄像机投影矩阵 ； Pi(xj， yj， zj) 表示第 j 个特征角点在摄像机投影矩阵 Pi作用下， 在第 i 幅图像中的投影点坐标。 0044 优选的， 所述最终获取的摄像机内参数矩阵为 ： 0045 0046 所述最终获取的摄像机外参数矩阵为 ： 0047 说。
22、 明 书 CN 102201117 A CN 102201123 A4/12 页 10 0048 优选的， 所述点单应矩阵通过所述基准图像实际平面上的已知几何信息与图像平 面之间的投影映射关系获得。 0049 本发明实施例还公开了一种摄像机内参数调整的装置， 包括 ： 0050 初始内参矩阵获取单元， 用于获得预置变焦参数下的摄像机内参数矩阵 ； 0051 基准图像采集计算单元， 用于采集当前摄像机拍摄的预定场景的基准图像， 并计 算所述基准图像的点单应矩阵 ； 0052 初始外参矩阵计算单元， 用于依据所述摄像机内参数矩阵以及点单应矩阵， 计算 当前摄像机的外参数矩阵 ； 0053 变焦补偿。
23、单元， 用于改变所述摄像机的拍摄角度拍摄预定场景的参考图像， 依据 实际场景中的特征几何信息在参考图像上的投影信息确定预置补偿矩阵中的补偿系数 ； 0054 最终定标单元， 用于将具有补偿系数的补偿矩阵代入所述摄像机内参数矩阵和 / 或摄像机外参数矩阵中， 获得最终的摄像机内参数矩阵和 / 或摄像机外参数矩阵。 0055 优选的， 所述变焦补偿单元包括 ： 0056 补偿矩阵预定义子单元， 用于预置补偿矩阵 ； 0057 参考图像第一获取子单元， 用于改变所述摄像机的拍摄角度拍摄预定场景不同角 度的一幅参考图像 ； 0058 图像投影矩阵生成子单元， 用于依据当前角度和补偿矩阵生成当前参考图像。
24、的摄 像机投影矩阵 ； 0059 补偿系数调整子单元， 用于选取所述预定场景中的特征几何信息， 并依据所述摄 像机投影矩阵将相应的特征几何信息投影到当前参考图像中， 获得调整的补偿系数。 0060 优选的， 所述变焦补偿单元包括 ： 0061 补偿矩阵预定义子单元， 用于预置补偿矩阵 ； 0062 参考图像第二获取子单元， 用于改变所述摄像机的拍摄角度拍摄预定场景不同角 度的多幅参考图像 ； 0063 图像投影矩阵生成子单元， 用于分别依据当前角度和补偿矩阵生成相应参考图像 的摄像机投影矩阵 ； 0064 距离计算子单元， 用于选取所述预定场景中的特征几何信息， 并依据所述摄像机 投影矩阵将相。
25、应的特征几何信息投影到当前参考图像中， 计算所述投影点与实际成像点之 间的距离 ； 0065 优化子单元， 用于将所述距离值的平方和作为补偿系数的优化准则， 获得最终的 优化补偿系数。 0066 优选的， 所述特征几何信息为特征角点 ； 所述摄像机的改变角度为平摇角度或俯 仰角度。 0067 优选的， 所述预置的补偿矩阵 S 为 ： 0068 0069 其中， k 为补偿系数 ； 0070 所述参考图像的摄像机投影矩阵 P 为 ： 说 明 书 CN 102201117 A CN 102201123 A5/12 页 11 0071 P ASRS-1M ； 0072 其中， A为摄像机内参数矩阵，。
26、R为旋转矩阵， 对于平摇角度， 对于俯仰 角度， 0073 0074 M 为摄像机外参数矩阵， 0075 优选的， 所述预置的补偿矩阵 S 为 ： 0076 0077 其中， k 为补偿系数 ； 0078 所述参考图像的摄像机投影矩阵 Pi为 ： 0079 Pi ASRS-1M ； 0080 其中， A为摄像机内参数矩阵，R为旋转矩阵， 对于平摇角度， 对于俯仰 角度， 0081 0082 M 为摄像机外参数矩阵， 0083 所述获得最终优化补偿系数的优化算法为 ： 0084 0085 其中， C 为优化代价函数， N 表示用于优化的参考图像数量。M 表示选定的特征角 说 明 书 CN 102。
27、201117 A CN 102201123 A6/12 页 12 点的数量， mij表示第 j 个特征角点在第 i 幅图像中实际像素坐标 ； (xj， yj， zj) 表示第 j 个 特征角点在世界坐标系下的坐标 ； Pi表示第 i 幅图像对应的摄像机投影矩阵 ； Pi(xj， yj， zj) 表示第 j 个特征角点在摄像机投影矩阵 Pi作用下， 在第 i 幅图像中的投影点坐标。 0086 优选的， 所述最终获取的摄像机内参数矩阵为 ： 0087 0088 所述最终获取的摄像机外参数矩阵为 ： 0089 0090 与现有技术相比， 本发明具有以下优点 ： 0091 本发明针对实验室中的摄像机和。
28、实际电视转播中的摄像机工作在不同的聚焦参 数的情况， 对实验室中测定的摄像机内参数进行聚焦补偿， 从而获得实际电视转播中摄像 机的内参数。 具体而言， 本发明采用补偿矩阵对摄像机的内参数进行补偿， 并根据平摇和俯 仰确定角度的图像中虚拟物体与实际图像的失配情况来确定补偿系数， 最终获得正确的摄 像机内参数， 从而保证了虚拟物体与真实场景相匹配， 提高了电视节目播出画面的真实感。 附图说明 0092 图 1 本发明的一种摄像机内参数调整的方法实施例的步骤流程图 ； 0093 图 2 是本发明的一种网球场示例的基准图像示意图 ； 0094 图 3 为图 2 所示网球场的平面结构图 ； 0095 图。
29、 4 是本发明的一种摄像机内参数调整的装置实施例的结构框图。 具体实施方式 0096 为使本发明的上述目的、 特征和优点能够更加明显易懂， 下面结合附图和具体实 施方式对本发明作进一步详细的说明。 0097 为便于本领域技术人员更好地理解本发明， 以下以在体育比赛电视转播中插入三 维动画为例， 简单说明摄像机标定参数的计算方法。 0098 为了在电视画面中的预定位置插入三维动画， 需要知道物体的空间位置和该物体 在电视图像上的成像位置之间的对应关系， 即需要建立起空间点的三维世界坐标和它在图 像上投影点的二维像素坐标之间的映射关系。 0099 这种映射关系， 取决于摄像机的内外参数。 在不考虑。
30、畸变的情况下， 这种映射关系 可以用以下公式描述 ： 说 明 书 CN 102201117 A CN 102201123 A7/12 页 13 0100 0101 其中， 将称为内参数矩阵 A，称为外参数矩阵 M。外 参数矩阵又可以进一步细分为旋转矩阵 R 和平移矢量 T ： 0102 0103 摄像机的内参数主要取决于摄像机本身的光学特性， 具体而言是摄像机镜头的光 学特性。摄像机镜头的光学特性由三个因素决定 ： 变焦参数， 聚焦参数和镜头光圈。其中， 镜头光圈只影响进光量， 不改变镜头的结构， 因此不会对摄像机的内参数发生影响。 摄像机 的变焦是通过改变镜头组中各透镜的位置关系来改变镜头的。
31、焦距， 实现对景物的拉近与推 远。摄像机聚焦， 则是通过将镜头组整体前后移动， 改变镜头组到成像平面的距离， 使成像 平面处于焦点附近以获得最清晰的成像。 成像清楚的聚焦参数取决于物体到摄像机的距离 和光圈， 不同的物距和光圈对应于不同的聚焦参数。 当变焦参数和聚焦参数发生改变时， 摄 像机的内参数会发生相应的改变。 0104 如前所述， 为了在体育比赛转播中插入虚拟物体， 并保持虚拟物体与实景图像的 位置匹配关系。在体育转播前， 需要在实验室中通过定标实验测定摄像机内参数随变焦参 数变化的曲线。然而， 由于实验室的场地限制， 定标标志板和摄像机镜头的距离有限， 而实 际比赛中， 摄像机和拍摄。
32、景物之间的距离要远得多。 因此， 实验室中的摄像机和实际体育转 播中的摄像机往往工作在不同的聚焦参数下。 0105 本发明正是针对这一问题提出的， 简而言之即通过对实验室中测定的摄像机内参 数进行聚焦补偿， 以计算出实际体育转播中摄像机的内参数。 0106 参考图 1， 示出了本发明的一种摄像机内参数调整方法实施例的流程图， 具体可以 包括以下步骤 ： 0107 步骤 101、 获得预置变焦参数下的摄像机内参数矩阵 ； 0108 步骤 102、 采集当前摄像机拍摄的预定场景的基准图像， 并计算所述基准图像的点 单应矩阵 ； 0109 步骤 103、 依据所述摄像机内参数矩阵以及点单应矩阵， 计。
33、算当前摄像机的外参数 矩阵 ； 0110 步骤 104、 改变所述摄像机的拍摄角度拍摄预定场景的参考图像， 依据实际场景中 的特征几何信息在参考图像上的投影信息确定预置补偿矩阵中的补偿系数 ； 0111 步骤 105、 将具有补偿系数的补偿矩阵代入所述摄像机内参数矩阵和 / 或摄像机 外参数矩阵中， 获得最终的摄像机内参数矩阵和 / 或摄像机外参数矩阵。 0112 在本发明的一种优选实施例中， 所述步骤 104 具体可以包括以下子步骤 ： 说 明 书 CN 102201117 A CN 102201123 A8/12 页 14 0113 子步骤 S11、 预置补偿矩阵 ； 0114 子步骤 S。
34、12、 改变所述摄像机的拍摄角度拍摄预定场景不同角度的一幅参考图 像 ； 0115 子步骤 S13、 依据当前角度和补偿矩阵生成当前参考图像的摄像机投影矩阵 ； 0116 子步骤 S14、 选取所述预定场景中的特征几何信息， 并依据所述摄像机投影矩阵将 相应的特征几何信息投影到当前参考图像中， 获得调整的补偿系数。 0117 在本发明的另一种优选实施例中， 还可以将上述补偿系数作为初始值， 结合其它 不同角度的多幅参考图像的补偿系数进行优化， 从而获得最终的精度更高的补偿系数。在 这种情况下， 所述步骤 104 具体可以包括以下子步骤 ： 0118 子步骤 S21、 预置补偿矩阵 ； 0119。
35、 子步骤 S22、 改变所述摄像机的拍摄角度拍摄预定场景不同角度的多幅参考图 像 ； 0120 子步骤 S23、 分别依据当前角度和补偿矩阵生成相应参考图像的摄像机投影矩 阵 ； 0121 子步骤 S24、 选取所述预定场景中的特征几何信息， 并依据所述摄像机投影矩阵将 相应的特征几何信息投影到当前参考图像中， 计算所述投影点与实际成像点之间的距离 ； 0122 子步骤 S25、 将所述距离值的平方和作为补偿系数的优化准则， 获得最终的优化补 偿系数。 0123 在具体实现中， 所述特征几何信息可以为特征角点信息、 边界直线信息或矩形信 息等， 优选可以采用特征角点信息。 所述摄像机的改变角度。
36、可以包括平摇角度或俯仰角度。 0124 为使本领域技术人员更好地理解本发明， 以下结合图 2 所示的网球场示意图及图 3 所示的该网球场对应的平面结构图， 以网球场为例， 对本发明实施例详细说明。 0125 在本例中， 定义三维世界坐标系如下 ： 网球场的中心为坐标原点， 沿着底线向右为 X轴正方向， 沿着边线向上为Y轴正方向， 垂直于网球场地面向上为Z轴正方向。 以及， 定义 二维图像坐标系如下 ： 以图像的左上角为坐标原点， 以水平向右为 X 轴正方向， 以竖直向下 为 Y 轴正方向。 0126 第一步， 在实验室中进行摄像机定标得到给定变焦参数条件下的摄像机内参数矩 阵 A ： 0127。
37、 0128 其中， 所述 fx 和 fy 为焦距参数， u0、 v0为摄像机主点的像素坐标。上述 fx、 fy、 u0、 v0可以通过张正友摄像机标定方法方便地计算出来， 1998 年张正友考虑径向畸变， 提出 了一种可以利用多幅平面模板标定摄像机所有内外参数的方法平面标定法。 该方法能 高精度地标定摄像机， 且简便易行。在上述式 (1) 中， fx、 fy、 u0、 v0只与摄像机内部参数有 关， 故上述矩阵在现有技术中为被称为摄像机内参数投影矩阵。 0129 具体而言， 其中 fx f/dX， fy f/dY， 分别称为 x 轴和 y 轴上的归一化焦距 ； f 是 相机的焦距， dX 和 。
38、dY 分别表示 u 轴和 v 轴上单位像素的尺寸大小。u0 和 v0 则表示的摄像 机的主点坐标， 即摄像机光轴与图像平面的交点， 通常位于图像中心处。 说 明 书 CN 102201117 A CN 102201123 A9/12 页 15 0130 第二步， 在体育转播前， 对准网球场拍摄一幅图像， 以该图像作为基准图像 I0， 根 据实际网球场的几何信息和网球场图像之间的对应关系， 计算网球场平面与图像平面之间 的点单应矩阵 H0。 0131 在实际中， 网球场的具体几何信息是已知的， 如图 3 中， 已知的几何信息包括 ： DC 为 10.97 米， dc 为 8.23 米， AD 为。
39、 11.89 米， XH 为 6.4 米。 0132 第三步， 根据所述点单应矩阵H0和摄像机内参数矩阵A， 计算出当前摄像机的外参 数矩阵 M。 0133 为对摄像机内参数进行补偿， 引入预置的补偿矩阵 S， 在这种情况下， 真实的内参 数矩阵可以表示为 A0 AS， 真实的外参数矩阵可以表示为 M0 S-1M， 其中 ： 0134 k 为补偿系数 ； 0135 0136 0137 第四步， 将摄像机改变 角度 ( 比如 10 度 )， 拍摄一幅参考图像。该图像的摄像 机投影矩阵 P 可以表示为 ： P ASRS-1M。 0138 其中， R 为旋转矩阵， 对于平摇 角度，则实际 空间中的点。
40、 (x， y， z) 和它在图像上的投影点 (u， v) 之间满足下面的关系 ： 0139 0140 对于俯仰 角度，则实际空间中的点 (x， y， z) 和它在图像上的投影点 (u， v) 之间满足下面的关系 ： 0141 说 明 书 CN 102201117 A CN 102201123 A10/12 页 16 0142 上述公式中， 是指尺度系数， 可以依据实际情况设置或不设置。 0143 第五步， 根据上面的公式将网球场上的特征角点投影到该图像上 ( 比如图 3 中的 A， B， C， D， E， F， G， H， a， b， c， d 等特征角点 )， 调整补偿参数 k， 令投影图像。
41、点与图像中的真 实场景点重合。记录补偿参数 k， 作为补偿系数的初始值。 0144 第六步， 分别平摇， 俯仰若干个不同角度得到 N 幅参考图像 Ii， 根据平摇和俯仰的 角度计算相应的投影矩阵 Pi， 在网球场上选取 M 个特征角点， 将这些特征角点投影到图像 中， 计算投影点与图像点之间像素差值的平方和作为优化准则， 将初始的补偿系数代入优 化函数C求解最终的补偿系数K， 具体的优化算法可以选择Levenberg-Marquardt算法(非 线性最优化算法 )。 0145 0146 其中， Pi A0RM0 ASRS-1M， 双边双竖线为二范数的运算符。C 为优化 代价函数， N 表示用于。
42、优化的参考图像数量。M 表示选定的特征角点的数量， mij表示第 j 个 特征角点在第 i 幅图像中实际像素坐标 ； (xj， yj， zj) 表示第 j 个特征角点在世界坐标系下 的坐标 ； Pi表示第 i 幅图像对应的摄像机投影矩阵 ； Pi(xj， yj， zj) 表示第 j 个特征角点在摄 像机投影矩阵 Pi作用下， 在第 i 幅图像中的投影点坐标。 0147 第七步， 根据最终的补偿参数 K， 代入补偿矩阵， 计算出真实的摄像机内参数矩阵 A0； 0148 0149 当然， 上述在网球场中的实现仅仅是本发明的一种示例， 在实际中， 本发明可以推 广到任何体育场地、 户外场地或几何信息。
43、预知的场景中。 0150 需要说明的是， 对于前述的各方法实施例， 为了简单描述， 故将其都表述为一系列 的动作组合， 但是本领域技术人员应该知悉， 本发明并不受所描述的动作顺序的限制， 因为 依据本发明， 某些步骤可以采用其他顺序或者同时进行。其次， 本领域技术人员也应该知 悉， 说明书中所描述的实施例均属于优选实施例， 所涉及的动作和模块并不一定是本发明 所必须的。 0151 参考图 4， 示出了本发明的一种摄像机内参数调整装置实施例的结构框图， 具体可 以包括以下单元 ： 0152 初始内参矩阵获取单元 401， 用于获得预置变焦参数下的摄像机内参数矩阵 ； 说 明 书 CN 10220。
44、1117 A CN 102201123 A11/12 页 17 0153 基准图像采集计算单元 402， 用于采集当前摄像机拍摄的预定场景的基准图像， 并 计算所述基准图像的点单应矩阵 ； 0154 初始外参矩阵计算单元 403， 用于依据所述摄像机内参数矩阵以及点单应矩阵， 计 算当前摄像机的外参数矩阵 ； 0155 变焦补偿单元 404， 用于改变所述摄像机的拍摄角度拍摄预定场景的参考图像， 依据实际场景中的特征几何信息在参考图像上的投影信息确定预置补偿矩阵中的补偿系 数 ； 0156 最终定标单元 405， 用于将具有补偿系数的补偿矩阵代入所述摄像机内参数矩阵 和 / 或摄像机外参数矩阵。
45、中， 获得最终的摄像机内参数矩阵和 / 或摄像机外参数矩阵。 0157 在本发明的一种优选实施例中， 所述变焦补偿单元 404 可以包括如下子单元 ： 0158 补偿矩阵预定义子单元， 用于预置补偿矩阵 ； 0159 参考图像第一获取子单元， 用于改变所述摄像机的拍摄角度拍摄预定场景不同角 度的一幅参考图像 ； 0160 图像投影矩阵生成子单元， 用于依据当前角度和补偿矩阵生成当前参考图像的摄 像机投影矩阵 ； 0161 补偿系数调整子单元， 用于选取所述预定场景中的特征几何信息， 并依据所述摄 像机投影矩阵将相应的特征几何信息投影到当前参考图像中， 获得调整的补偿系数。 0162 作为本发明。
46、的另一种优选实施例中， 所述变焦补偿单元 404 可以包括如下子单 元 ： 0163 补偿矩阵预定义子单元， 用于预置补偿矩阵 ； 0164 参考图像第二获取子单元， 用于改变所述摄像机的拍摄角度拍摄预定场景不同角 度的多幅参考图像 ； 0165 图像投影矩阵生成子单元， 用于分别依据当前角度和补偿矩阵生成相应参考图像 的摄像机投影矩阵 ； 0166 距离计算子单元， 用于选取所述预定场景中的特征几何信息， 并依据所述摄像机 投影矩阵将相应的特征几何信息投影到当前参考图像中， 计算所述投影点与图像点之间的 距离 ； 0167 优化子单元， 用于将所述距离值并作为补偿系数的优化准则， 获得最终的。
47、优化补 偿系数。 0168 在上述实施例中， 所述预置的补偿矩阵 S 可以表示为 ： 0169 0170 其中， k 为补偿系数 ； 0171 所述参考图像的摄像机投影矩阵 P 可以表示为 ： 0172 P ASRS-1M ； 0173 其中， A为摄像机内参数矩阵，R为旋转矩阵， 对于平摇角度， 说 明 书 CN 102201117 A CN 102201123 A12/12 页 18 对于俯仰 角度， 0174 0175 M 为摄像机外参数矩阵， 0176 所述获得最终优化补偿系数的优化算法为 ： 0177 0178 其中， C 为优化代价函数， N 表示用于优化的参考图像数量。M 表示选。
48、定的特征角 点的数量， mij表示第 j 个特征角点在第 i 幅图像中实际像素坐标 ； (xj， yj， zj) 表示第 j 个 特征角点在世界坐标系下的坐标 ； Pi表示第 i 幅图像对应的摄像机投影矩阵 ； Pi(xj， yj， zj) 表示第 j 个特征角点在摄像机投影矩阵 Pi作用下， 在第 i 幅图像中的投影点坐标。 0179 由于本发明的系统实施例基本相应于前述的方法实施例， 故本实施例的描述中未 详尽之处， 可以参见前述实施例中的相关说明， 在此就不赘述了。 最后， 还需要说明的是， 在 本文中， 诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或 操作区分开来， 而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者 顺序。 0180 以上对本发明所提供的一种摄像机内参数调整的方法及一种摄像机内参数调整 的装置进行了详细介绍， 本文中应用了具体个例对本发明的原理及实施方式进行了阐述， 以上实施例的说明只是用于帮。