基于全光场相机的非合作目标位姿测量.pdf

上传人:1*** 文档编号:78870 上传时间:2018-01-23 格式:PDF 页数:15 大小:2.19MB
返回 下载 相关 举报
摘要
申请专利号:

CN201410356860.9

申请日:

2014.07.24

公开号:

CN104101331A

公开日:

2014.10.15

当前法律状态:

授权

有效性:

有权

法律详情:

授权|||实质审查的生效IPC(主分类):G01C 11/00申请日:20140724|||公开

IPC分类号:

G01C11/00; G01C21/00

主分类号:

G01C11/00

申请人:

合肥工业大学

发明人:

张旭东; 胡良梅; 高隽; 陈欣; 王一; 李梦娜; 徐小红; 涂义福; 许林

地址:

230009 安徽省合肥市包河区屯溪路193号

优先权:

专利代理机构:

安徽省合肥新安专利代理有限责任公司 34101

代理人:

何梅生

PDF下载: PDF下载
内容摘要

本发明公开了一种基于全光场相机的非合作目标位姿测量方法,是应用于包含星箭对接环的非合作目标;含星箭对接环在非合作目标上为圆特征;其特征是按如下步骤行:步骤1.利用全光场相机获取具有圆特征的非合作目标的光场图像;步骤2.计算圆特征在全光场相机主透镜坐标系下的平面法向量和圆心坐标;步骤3.剔除虚假解;步骤4.获得所述非合作目标的位姿。本发明能有效剔除基于圆的单目视觉位姿估计中的虚假解,获得满足精度要求的非合作目标位姿信息。

权利要求书

1.  一种基于全光场相机的非合作目标位姿测量方法,是应用于包含星箭对接环的非合作目标;所述含星箭对接环在所述非合作目标上为圆特征;其特征是按如下步骤行:
步骤1、利用全光场相机获取具有圆特征的非合作目标的光场图像;所述全光场相机的结构包括:主透镜、微透镜阵列和传感器;
步骤2、计算所述圆特征在全光场相机主透镜坐标系o-xyz下的平面法向量和圆心坐标:
步骤2.1、利用时域重聚焦算法对所述光场图像进行计算获得主透镜重聚焦目标图像;
步骤2.2、对所述主透镜重聚焦目标图像利用canny边缘检测算法进行边缘检测,获得边缘图像,并对所述边缘图像利用最小二乘法进行椭圆检测,从而获得如式(1)所示的椭圆方程:
a1u2+a2v2+a3uv+a4u+a5v+a6=0          (1)
式(1)中,(u,v)为所述圆特征在所述主透镜重聚焦目标图像的像素坐标系OI-UV中的坐标;
步骤2.3、利用式(2)所示的相机投影模型,将所述椭圆方程反向投影到所述全光场相机主透镜坐标系o-xyz下,从而获得如式(3)所述的椭圆锥方程:
xn=f0xzyn=f0yz---(2)]]>
A1x2+A2y2+A3z2+A4xy+A5xz+A6yz=0           (3)
式(2)和式(3)中,(xn,yn)为所述圆特征在所述主透镜重聚焦目标图像的物理坐标系Oi-xnyn中的坐标,f0为所述全光场相机主透镜的焦距,(x,y,z)为所述圆特征在所述全光场相机主透镜坐标系o-xyz下的坐标;
步骤2.4、利用式(4)将所述椭圆锥方程转换为矩阵乘积形式:
[x y z]Q[x y z]T=0        (4)
式(4)中,Q为对称矩阵;
步骤2.5、利用式(5)将所述对称矩阵Q进行对角化:
P-1QP=diag{K1,K2,K3}        (5)
式(5),P为正交矩阵;K1、K2和K3为所述对称矩阵Q的特征值;
步骤2.6、利用式(6)将所述椭圆锥方程进行简化,获得如式(7)所示的标准坐标系o-x'y'z' 下的椭圆锥方程:
[x y z]T=P[x' y' z']T         (6)
K1x'2+K2y'2+K3z'2=0(7)
式(6)中,(x',y',z')为所述圆特征在标准坐标系o-x'y'z'下的坐标;
步骤2.7、利用所述对称矩阵Q的特征值K1、K2和K3获得如式(8)所示的与所述标准坐标系下y'轴相互平行的平面方程:
z=±|K1|-|k2||K2|+|K3|x---(8)]]>
步骤2.8、根据所述平面方程分别获得所述圆特征在标准坐标系o-x'y'z'下的平面法向量(n'x,n'y,n'z)以及圆心点坐标(xo',yo',zo')的一组歧义解:
解1':(nx,ny,nz)=(|K1|-|K2||K1|+|K3|,0,-|K2|+|K3||K1|+|K3|)(xo,yo,zo)=(R|K3|(|K1|-|K2|)|K1|(|K1|+|K3|),0,R|K1|(|K2|+|K3|)|K3|(|K1|+|K3|))---(9)]]>
解2':(nx,ny,nz)=(-|K1|-|K2||K1|+|K3|,0,-|K2|+|K3||K1|+|K3|)(xo,yo,zo)=(-R|K3|(|K1|-|K2|)|K1|(|K1|+|K3|),0,R|K1|(|K2|+|K3|)|K3|(|K1|+|K3|))---(10)]]>
式(9)和式(10)中,R为所述圆特征的半径;
步骤2.9、利用式(11)和式(12)将所述解1'和解2'分别转换到所述全光场相机主透镜坐标系o-xyz下,获得所述全光场相机主透镜坐标系o-xyz下的平面法向量(nx,ny,nz)以及圆心点坐标(xo,yo,zo):
解1:(nx,ny,nz)=P(|K1|-|K2||K1|+|K3|,0,-|K2|+|K3||K1|+|K3|)(xo,yo,zo)=P(R|K3|(|K1|-|K2|)|K1|(|K1|+|K3|),0,R|K1|(|K2|+|K3|)|K3|(|K1|+|K3|))---(11)]]>
解2:(nx,ny,nz)=P(-|K1|-|K2||K1|+|K3|,0,-|K2|+|K3||K1|+|K3|)(xo,yo,zo)=P(-R|K3|(|K1|-|K2|)|K1|(|K1|+|K3|),0,R|K1|(|K2|+|K3|)|K3|(|K1|+|K3|))---(12)]]>
步骤3、剔除虚假解:
步骤3.1、利用所述全光场相机的深度重构法获得所述非合作目标上各点的深度;
步骤3.2、利用式(2)获得所述圆特征上各点在所述全光场相机主透镜坐标系o-xyz下的三维坐标(x,y,z);
步骤3.3、利用式(13)所示的圆特征的平面方程建立如式(14)所示的目标函数f:
(nx,ny,nz)T[(x,y,z)-(xo,yo,zo)]=0           (13)
f=(nx,ny,nz)T[(x,y,z)-(xo,yo,zo)]        (14)
步骤3.4、将所述解1和解2分别代入(14),获得f解1和f解2;若f解1<f解2成立,则所述圆特征的圆心坐标和法向量的虚假解为解2;正确解为解1;否则,圆特征的圆心坐标和法向量的虚假解为解1;正确解为解2;
步骤4、获得所述非合作目标的位姿:
步骤4.1、根据所述步骤3获得的正确解,则非合作目标本体坐标系O0-X0Y0Z0相对于所述全光场相机主透镜坐标系o-xyz的平移向量为T=(xo,yo,zo),通过式(15)获得所述非合作目标本体坐标系O0-X0Y0Z0相对于所述全光场相机主透镜坐标系o-xyz的距离D:
D=xo2+yo2+zo2---(15)]]>
式(15)中,所述xo,yo,zo分别为所述非合作目标本体坐标系O0-X0Y0Z0相对于所述全光场相机主透镜坐标系o-xyz在x轴、y轴、z轴上的平移量;
步骤4.2、利用式(16)获得俯仰角φ和偏航角θ:
φ=αrctannznx2+ny2θ=αrctannynx---(16)]]>
所述距离D、俯仰角φ和偏航角θ即为所述非合作目标的位姿。

2.
  根据权利要求1所述的基于全光场相机的非合作目标位姿测量方法,其特征是,所述步骤3.1的深度z是按如下步骤获得:
步骤a、利用多基线SSD立体匹配算法对所述光场图像进行立体匹配获得最佳匹配像素对i1和i2
步骤b、计算所述最佳匹配图像对i1和i2的像素视差||i1-i2||;
步骤c、利用式(17)获得虚拟深度λ:
λ=d*||i1-i2||]]>
式(17)中,d*为所述最佳匹配像素对i1和i2的中心距离;
步骤d、利用式(18)获得所述微透镜阵列到主透镜像的距离a:
a=λb  (18)
式(18)中,b为所述全光场相机中微透镜阵列到所述传感器的距离;
步骤e、利用式(19)获得所述主透镜到所述主透镜像的距离bL
bL=h-a  (19)
式(19)中,h为所述主透镜到所述微透镜阵列的距离;
步骤f、根据式(20)获得所述圆特征到主透镜的距离aL
1f0=1aL+1bL---(20)]]>
所述距离aL即为所述深度z。

说明书

基于全光场相机的非合作目标位姿测量
技术领域
本发明涉及一种基于全光场相机的非合作目标位姿测量方法,属于三维视觉的目标位姿测量领域。
背景技术
随着计算机视觉技术的不断发展,基于计算机视觉的位姿测量是现代导航、跟踪、控制等许多研究领域的一个重要的问题,在国防、航天、航空、工业、医学等各个领域备受重视。而在航空航天领域,大部分的已在轨服务航天器是非合作目标,因此非合作目标相对位姿测量成为在轨服务技术的关键。针对大部分非合作目标上普遍都有星箭对接环结构,可以提供单个圆特征,但是基于圆的传统单目视觉位姿估计有两个位姿解,无法运用到实际的工程中。因此基于圆特征的非合作目标位姿测量具有重要的研究价值与意义。
目前基于视觉的圆位姿测量方法主要有:基于单目视觉和辅助特征测量、基于双目视觉测量、基于深度传感器位姿测量。
基于单目视觉和辅助特征测量主要是利用与圆共面的点、线特征在欧式空间中的几何特性不变来剔除基于圆的传统单目视觉位姿估计中的虚假解。基于双目视觉测量主要是利用左右两个相机分别估计圆的位姿,将右相机获得的解通过两个相机间的关系转换到左相机下,根据圆的法向量具有唯一性来消除基于圆的传统单目视觉位姿估计中虚假解。基于深度传感器的圆位姿测量主要是利用深度传感器能够获得目标的深度信息,从而获得目标的3维信息,估计出圆的位姿。
以上方法在具体实现上存在以下不足:
1、基于单目视觉和辅助特征测量利用圆面上的点、线特征进行位姿估计,在测量过程中,若所采用的辅助特征不能在像平面上完整成像以及不知道辅助特征在目标本体坐标系下的几何信息,那么就不能剔除传统单目视觉获得的虚假解。
2、对基于双目立体视觉测量方法,需要利用左右相机获取的图像分别估计圆的位姿信息,大大影响测量的实时性。
3、对于基于深度传感器位姿测量方法,输出图像噪声大,分辨率低,且测量距离短,无法获取远距离的非合作目标位姿信息。
4、目前基于视觉的圆位姿测量方法在拍摄非合作目标时,容易失焦,带来目标图像模糊问题。
发明内容
本发明针对上述现有技术所存在的不足,提出一种基于全光场相机的非合作目标位姿测 量方法,能有效剔除基于圆的传统单目视觉位姿估计中的虚假解,从而获得满足精度要求的位姿信息。
本发明解决技术问题采用如下技术方案:
本发明一种基于全光场相机的非合作目标位姿测量方法,是应用于包含星箭对接环的非合作目标;所述含星箭对接环在所述非合作目标上为圆特征;其特点是按如下步骤行:
步骤1、利用全光场相机获取具有圆特征的非合作目标的光场图像;所述全光场相机的结构包括:主透镜、微透镜阵列和传感器;
步骤2、计算所述圆特征在全光场相机主透镜坐标系o-xyz下的平面法向量和圆心坐标:
步骤2.1、利用时域重聚焦算法对所述光场图像进行计算获得主透镜重聚焦目标图像;
步骤2.2、对所述主透镜重聚焦目标图像利用canny边缘检测算法进行边缘检测,获得边缘图像,并对所述边缘图像利用最小二乘法进行椭圆检测,从而获得如式(1)所示的椭圆方程:
a1u2+a2v2+a3uv+a4u+a5v+a6=0            (1)
式(1)中,(u,v)为所述圆特征在所述主透镜重聚焦目标图像的像素坐标系OI-UV中的坐标;
步骤2.3、利用式(2)所示的相机投影模型,将所述椭圆方程反向投影到所述全光场相机主透镜坐标系o-xyz下,从而获得如式(3)所述的椭圆锥方程:
xn=f0xzyn=f0yz---(2)]]>
A1x2+A2y2+A3z2+A4xy+A5xz+A6yz=0           (3)
式(2)和式(3)中,(xn,yn)为所述圆特征在所述主透镜重聚焦目标图像的物理坐标系Oi-xnyn中的坐标,f0为所述全光场相机主透镜的焦距,(x,y,z)为所述圆特征在所述全光场相机主透镜坐标系o-xyz下的坐标;
步骤2.4、利用式(4)将所述椭圆锥方程转换为矩阵乘积形式:
[x y z]Q[x y z]T=0            (4)
式(4)中,Q为对称矩阵;
步骤2.5、利用式(5)将所述对称矩阵Q进行对角化:
P-1QP=diag{K1,K2,K3}             (5)
式(5),P为正交矩阵;K1、K2和K3为所述对称矩阵Q的特征值;
步骤2.6、利用式(6)将所述椭圆锥方程进行简化,获得如式(7)所示的标准坐标系o-x'y'z'下的椭圆锥方程:
[x y z]T=P[x' y' z']T           (6)
K1x'2+K2y'2+K3z'2=0        (7)
式(6)中,(x',y',z')为所述圆特征在标准坐标系o-x'y'z'下的坐标;
步骤2.7、利用所述对称矩阵Q的特征值K1、K2和K3获得如式(8)所示的与所述标准坐标系下y'轴相互平行的平面方程:
z=±|K1|-|k2||K2|+|K3|x---(8)]]>
步骤2.8、根据所述平面方程分别获得所述圆特征在标准坐标系o-x'y'z'下的平面法向量(n'x,n'y,n'z)以及圆心点坐标(xo',yo',zo')的一组歧义解:
解1':(nx,ny,nz)=(|K1|-|K2||K1|+|K3|,0,-|K2|+|K3||K1|+|K3|)(xo,yo,zo)=(R|K3|(|K1|-|K2|)|K1|(|K1|+|K3|),0,R|K1|(|K2|+|K3|)|K3|(|K1|+|K3|))---(9)]]>
解2':(nx,ny,nz)=(-|K1|-|K2||K1|+|K3|,0,-|K2|+|K3||K1|+|K3|)(xo,yo,zo)=(-R|K3|(|K1|-|K2|)|K1|(|K1|+|K3|),0,R|K1|(|K2|+|K3|)|K3|(|K1|+|K3|))---(10)]]>
式(9)和式(10)中,R为所述圆特征的半径;
步骤2.9、利用式(11)和式(12)将所述解1'和解2'分别转换到所述全光场相机主透镜坐标系o-xyz下,获得所述全光场相机主透镜坐标系o-xyz下的平面法向量(nx,ny,nz)以及圆心点坐标(xo,yo,zo):
解1:(nx,ny,nz)=P(|K1|-|K2||K1|+|K3|,0,-|K2|+|K3||K1|+|K3|)(xo,yo,zo)=P(R|K3|(|K1|-|K2|)|K1|(|K1|+|K3|),0,R|K1|(|K2|+|K3|)|K3|(|K1|+|K3|))---(11)]]>
解2:(nx,ny,nz)=P(-|K1|-|K2||K1|+|K3|,0,-|K2|+|K3||K1|+|K3|)(xo,yo,zo)=P(-R|K3|(|K1|-|K2|)|K1|(|K1|+|K3|),0,R|K1|(|K2|+|K3|)|K3|(|K1|+|K3|))---(12)]]>
步骤3、剔除虚假解:
步骤3.1、利用所述全光场相机的深度重构法获得所述非合作目标上各点的深度;
步骤3.2、利用式(2)获得所述圆特征上各点在所述全光场相机主透镜坐标系o-xyz下的三维坐标(x,y,z);
步骤3.3、利用式(13)所示的圆特征的平面方程建立如式(14)所示的目标函数f:
(nx,ny,nz)T[(x,y,z)-(xo,yo,zo)]=0             (13)
f=(nx,ny,nz)T[(x,y,z)-(xo,yo,zo)]          (14)
步骤3.4、将所述解1和解2分别代入(14),获得f解1和f解2;若f解1<f解2成立,则所述圆特征的圆心坐标和法向量的虚假解为解2;正确解为解1;否则,圆特征的圆心坐标和法向量的虚假解为解1;正确解为解2;
步骤4、获得所述非合作目标的位姿:
步骤4.1、根据所述步骤3获得的正确解,则非合作目标本体坐标系O0-X0Y0Z0相对于所述全光场相机主透镜坐标系o-xyz的平移向量为T=(xo,yo,zo),通过式(15)获得所述非合作目标本体坐标系O0-X0Y0Z0相对于所述全光场相机主透镜坐标系o-xyz的距离D:
D=xo2+yo2+zo2---(15)]]>
式(15)中,所述xo,yo,zo分别为所述非合作目标本体坐标系O0-X0Y0Z0相对于所述全光场相机主透镜坐标系o-xyz在x轴、y轴、z轴上的平移量;
步骤4.2、利用式(16)获得俯仰角φ和偏航角θ:
φ=αrctannznx2+ny2θ=αrctannynx---(16)]]>
所述距离D、俯仰角φ和偏航角θ即为所述非合作目标的位姿。
本发明基于全光场相机的非合作目标位姿测量方法的特点也在于,所述步骤3.1的深度z是按如下步骤获得:
步骤a、利用多基线SSD立体匹配算法对所述光场图像进行立体匹配获得最佳匹配像素对i1和i2
步骤b、计算所述最佳匹配图像对i1和i2的像素视差||i1-i2||;
步骤c、利用式(17)获得虚拟深度λ:
λ=d*||i1-i2||---(17)]]>
式(17)中,d*为所述最佳匹配像素对i1和i2的中心距离;
步骤d、利用式(18)获得所述微透镜阵列到主透镜像的距离a:
a=λb    (18)
式(18)中,b为所述全光场相机中微透镜阵列到所述传感器的距离;
步骤e、利用式(19)获得所述主透镜到所述主透镜像的距离bL
bL=h-a   (19)
式(19)中,h为所述主透镜到所述微透镜阵列的距离;
步骤f、根据式(20)获得所述圆特征到主透镜的距离aL
1f0=1aL+1bL---(20)]]>
所述距离aL即为所述深度z。
与现有技术相比,本发明的有益效果体现在:
1、本发明只采用在抗遮挡和图像定位上有很大优势的圆特征作为识别特征,针对基于圆特征的传统单目视觉位姿进行估计时产生一组歧义解,利用全光场图像获得圆特征深度信息,能有效地剔除传统算法中的虚假解,从而准确计算出非合作目标相对位置和姿态参数。
2、本发明通过采用时域重聚焦算法,解决了现有技术中因图像失焦所带来图像模糊问题,降低了图像中椭圆识别错误率,从而提高空间非合作目标的位姿精度。
3、本发明采用的全光场相机拍摄距离远,解决了当前深度传感器无法测量远距离非合作目标的位姿问题。
4、本发明采用的全光场相机体积小,单次拍摄就能够同时实时获取非合作目标图像和深度信息,大大提高了非合作目标的位姿测量速度。
5、本发明通过采用多基线SSD立体匹配算法,能有效克服传统立体匹配过程中由于图像特征点不明显,相似纹理产生的匹配对应点多义性问题,从而获取准确、可靠的深度信息,有效地剔除传统算法中的虚假解。
附图说明
图1为本发明基于全光场相机的非合作目标位姿测量系统示意图;
图2为本发明方法流程图;
图3为本发明方法中非合作目标坐标系、全光场相机主透镜坐标系、主透镜像平面像素坐标系以及主透镜像平面物理坐标系之间的关系图;
图4光场图像像素坐标系;
图5为本发明方法中全光场相机重建深度信息几何图;
图中标号:1非合作目标;2全光场相机;3PC机;4相机支架。
具体实施方式
本实施例中,一种基于全光场相机的非合作目标位姿测量方法是应用于基于全光场相机的非合作目标位姿测量系统中,参见图1,该系统组成包括非合作目标1、全光场相机2、位姿测量数据处理系统PC机3以及固定安装全光场相机2的相机支架4;非合作目标1位于全光场相机2的视角范围内即可,非合作目标上包含有星箭对接环;以非合作目标上的星箭对接环作为识别对象,星箭对接环在非合作目标上为圆特征;
参见图2,基于全光场相机的的非合作目标位姿测量方法是按如下步骤行:
步骤1、如图3所示,以圆特征的圆心为坐标原点O0,以圆特征所在平面的法向量为Z0轴;利用右手法则依次建立X0轴和Y0轴;从而建立非合作目标物体的本体坐标系O0-X0Y0Z0
建立主透镜像平面像素坐标系为OI-UV,主透镜像平面像素坐标系OI-UV为主透镜重聚焦目标图像的像素坐标系,该坐标系是以像平面的左上角第一个像素点为原点OI,U轴和V轴方向分别对应于主透镜像的行方向和列方向;
建立主透镜像平面物理坐标系Oi-xnyn:主透镜像平面物理坐标系Oi-xnyn为主透镜重 聚焦目标图像的物理坐标系,该坐标系是以全光场相机主透镜光轴与主透镜像平面的交点为原点Oi,xn轴和yn轴分别与主透镜像平面像素坐标系的横方向U和竖直方向V平行;
以全光场相机的主透镜光心为原点o,以主透镜的主光轴方向为z轴,与主透镜像平面像素坐标系的横方向U平行的方向为x轴,与主透镜像平面像素坐标系的竖直方向V平行的方向为y轴,从而建立全光场相机主透镜坐标系o-xyz;其中,原点o到主透镜像平面的距离称为主透镜的焦距f0
步骤2、通过全光场相机获取具有圆特征的非合作目标的光场图像;如图5所示,全光场相机的结构包括:主透镜、由多个微透镜构成的微透镜阵列和传感器;
步骤3、计算圆特征在全光场相机主透镜坐标系o-xyz下的平面法向量和圆心坐标:
步骤3.1、利用时域重聚焦算法对非合作目标的光场图像进行计算获得主透镜重聚焦目标图像;
时域重聚焦算法就是根据光线直线传播原理和三角形相似性把光场图像上的像素投影到主透镜重聚焦的像平面上,然后通过积分成像原理将同一位置处的光线进行积分获得主透镜重聚焦目标图像。具体方法可参考论文基于光场摄像技术的对焦测距方法的研究,文章在2008年光子学报上发表,论文编号:1004-4213(2008)12-2539-5;
步骤3.2、对主透镜重聚焦目标图像利用canny边缘检测算法进行边缘检测,获得边缘图像;并对边缘图像利用最小二乘法进行椭圆检测,从而获得如式(1)所示的椭圆方程:
a1u2+a2v2+a3uv+a4u+a5v+a6=0        (1)
式(1)中,(u,v)为圆特征在主透镜重聚焦目标图像的像素坐标系OI-UV中的坐标;
步骤3.3、利用式(2)所示的相机投影模型,将椭圆方程反向投影到全光场相机主透镜坐标系o-xyz下,从而获得如式(3)所述的椭圆锥方程:
xn=f0xzyn=f0yz---(2)]]>
A1x2+A2y2+A3z2+A4xy+A5xz+A6yz=0          (3)
式(2)和式(3)中,(xn,yn)为圆特征在主透镜重聚焦目标图像的物理坐标系Oi-xnyn中的坐标,f0为全光场相机主透镜的焦距,(x,y,z)为圆特征在全光场相机主透镜坐标系o-xyz下的坐标;
步骤3.4、利用式(4)将椭圆锥方程转换为矩阵乘积形式:
[x y z]Q[x y z]T=0           (4)
式(4)中,Q为对称矩阵;
步骤3.5、利用式(5)对称矩阵Q进行对角化:
P-1QP=diag{K1,K2,K3}          (5)
式(5),P为正交矩阵;K1、K2和K3为对称矩阵Q的特征值;
步骤3.6、利用式(6)将椭圆锥方程进行简化,获得如式(7)所示的标准坐标系o-x'y'z'下的椭圆锥方程:
[x y z]T=P[x' y' z']T          (6)
K1x'2+K2y'2+K3z'2=0          (7)
式(6)中,(x',y',z')为圆特征在标准坐标系o-x'y'z'下的坐标,标准坐标系o-x'y'z'和全光场相机主透镜坐标系o-xyz坐标系的原点相同,并通过正交矩阵P将全光场相机主透镜坐标系o-xyz进行旋转变换获得的;
步骤3.7、利用对称矩阵Q的特征值K1、K2和K3获得如式(8)所示的与标准坐标系下y'轴相互平行的平面方程:
z=±|K1|-|k2||K2|+|K3|x---(8)]]>
步骤3.8、根据平面方程分别获得圆特征在标准坐标系o-x'y'z'下的平面法向量(n'x,n'y,n'z)以及圆心点坐标(xo',yo',zo')的一组歧义解:
解1':(nx,ny,nz)=(|K1|-|K2||K1|+|K3|,0,-|K2|+|K3||K1|+|K3|)(xo,yo,zo)=(R|K3|(|K1|-|K2|)|K1|(|K1|+|K3|),0,R|K1|(|K2|+|K3|)|K3|(|K1|+|K3|))---(9)]]>
解2':(nx,ny,nz)=(-|K1|-|K2||K1|+|K3|,0,-|K2|+|K3||K1|+|K3|)(xo,yo,zo)=(-R|K3|(|K1|-|K2|)|K1|(|K1|+|K3|),0,R|K1|(|K2|+|K3|)|K3|(|K1|+|K3|))---(10)]]>
式(9)和式(10)中,R为圆特征的半径;
步骤3.9、利用式(11)和式(12)将解1'和解2'分别转换到全光场相机主透镜坐标系o-xyz下,获得全光场相机主透镜坐标系o-xyz下的平面法向量(nx,ny,nz)以及圆心点坐标(xo,yo,zo):
解1:(nx,ny,nz)=P(|K1|-|K2||K1|+|K3|,0,-|K2|+|K3||K1|+|K3|)(xo,yo,zo)=P(R|K3|(|K1|-|K2|)|K1|(|K1|+|K3|),0,R|K1|(|K2|+|K3|)|K3|(|K1|+|K3|))---(11)]]>
解2:(nx,ny,nz)=P(-|K1|-|K2||K1|+|K3|,0,-|K2|+|K3||K1|+|K3|)(xo,yo,zo)=P(-R|K3|(|K1|-|K2|)|K1|(|K1|+|K3|),0,R|K1|(|K2|+|K3|)|K3|(|K1|+|K3|))---(12)]]>
步骤4、剔除虚假解:
步骤4.1、利用全光场相机的深度重构法获得非合作目标上各点的深度;
步骤A、如图4所示,建立光场图像像素坐标系OII-st,以光场图像左上角第一个像素为原点OII,s轴和t轴方向分别对应于光场图像的行方向和列方向;
步骤B、如图5所示,目标通过主透镜形成一个主透镜像,主透镜像被微透镜阵列投影在传感器上形成目标光场图像。微透镜阵列中有n×n个微透镜,每个微透镜都在传感器的上形成相应的微透镜图像;并由n×n个微透镜图像形成一个光场图像;利用多基线SSD(平方差和)立体匹配算法对光场图像的任一像素i1进行计算,获得与像素i1最佳匹配的像素i2;从而获得最佳匹配像素对i1和i2;具体的按如下步骤进行:
步骤B1、定义待匹配像素i1所对应的微透镜图像为I0;且待匹配像素i1在光场图像中的像素坐标为(s,t),在微透镜图像I0水平线上选择n-1个微透镜图像;
步骤B2、以像素i1为中心选择一个w×w的窗口;
步骤B3、对n-1个微透镜图像利用式(13)找到微透镜图像I0中待匹配像素i1的最佳匹配像素i2,从而得到像素视差值||i1-i2||:
||i1-i2||=arg{mind∈r{Σk=1n-1Σs,t∈w[I0(s,t)-Ik(s+Bk+d,t)]2}}---(13)]]>
式(13)中,I0(s,t)是待匹配像素点(s,t)的像素强度,Ik表示第k个微透镜图像;Ik(s+Bk+d,t)是用来匹配的像素点(s+Bk+d,t)的像素强度,Bk是第k个微透镜图像与微透镜图像I0间的基线长度,w是用来匹配的窗口大小,r是匹配区间的搜索范围,d是用来在搜索范围内计算视差的一个参数,Bk+d是待匹配像素点(s,t)与用来匹配的像素点(s+Bk+d,t)间的视差;
步骤C、利用式(14)获得虚拟深度λ:
λ=d*||i1-i2||---(14)]]>
式(14)中,d*为最佳匹配像素对i1和i2所对应的微透镜图像的中心距离;
步骤D、利用式(15)获得微透镜阵列到主透镜像的距离a:
a=λb           (15)
式(15)中,b为全光场相机中微透镜阵列到传感器的距离;
步骤E、利用式(16)获得主透镜到主透镜像的距离bL
bL=h-a            (16)
式(16)中,h为主透镜到微透镜阵列的距离;
步骤F、根据式(17)获得非合作目标到主透镜的距离aL
1f0=1aL+1bL---(17)]]>
式(17)中,距离aL即为光场图像的任一像素i1在所对应的非合作目标上相应点的深度;
重复步骤B-F,从而获得非合作目标上各点的深度;
步骤4.2、由步骤4.1获得非合作目标上各点深度z,则非合作目标上圆特征各点的深度为已知;利用式(2)获得圆特征上各点在全光场相机主透镜坐标系o-xyz下的三维坐标(x,y,z);
步骤4.3、利用式(18)所示的圆特征的平面方程建立如式(19)所示的目标函数f:
(nx,ny,nz)T[(x,y,z)-(xo,yo,zo)]=0         (18)
f=(nx,ny,nz)T[(x,y,z)-(xo,yo,zo)]         (19)
步骤4.4、将步骤3.9中的解1和解2中的平面法向量(nx,ny,nz)以及圆心点坐标(xo,yo,zo)分别代入(19),获得f解1、f解2;若f解1<f解2成立,则圆特征的圆心坐标和法向量的虚假解为解2;正确解为解1;否则圆特征的圆心坐标和法向量的虚假解为解1;正确解为解2;
步骤5、获得非合作目标的位姿:
步骤5.1、通过步骤4获得的正确的圆心三维坐标(xo,yo,zo)和法向量(nx,ny,nz);则非合作目标本体坐标系O0-X0Y0Z0相对于全光场相机主透镜坐标系o-xyz的平移向量为T=(xo,yo,zo),通过式(20)获得非合作目标本体坐标系O0-X0Y0Z0相对于全光场相机主透镜坐标系o-xyz的距离D:
D=xo2+yo2+zo2---(20)]]>
式(20)中,xo,yo,zo分别为非合作目标本体坐标系O0-X0Y0Z0相对于全光场相机主透镜坐标系o-xyz在x轴、y轴、z轴上的平移量;
步骤5.2、定义在全光场相机主透镜坐标系o-xyz下(nx,ny,nz)对应的姿态角为俯仰角φ,偏航角θ;俯仰角φ定义为法向量(nx,ny,nz)与o-xy平面的夹角,俯仰角φ取[-π/2,π/2],偏航角θ为(nx,ny,nz)在o-xy平面上的投影与x平面轴正向的夹角,偏航角θ取值范围为[-2π,2π];
根据几何三角关系按式(21)计算可获得俯仰角φ,偏航角θ:
φ=αrctannznx2+ny2θ=αrctannynx---(21)]]>
则距离D、俯仰角φ和偏航角θ即为非合作目标的位姿。

基于全光场相机的非合作目标位姿测量.pdf_第1页
第1页 / 共15页
基于全光场相机的非合作目标位姿测量.pdf_第2页
第2页 / 共15页
基于全光场相机的非合作目标位姿测量.pdf_第3页
第3页 / 共15页
点击查看更多>>
资源描述

《基于全光场相机的非合作目标位姿测量.pdf》由会员分享,可在线阅读,更多相关《基于全光场相机的非合作目标位姿测量.pdf(15页珍藏版)》请在专利查询网上搜索。

1、10申请公布号CN104101331A43申请公布日20141015CN104101331A21申请号201410356860922申请日20140724G01C11/00200601G01C21/0020060171申请人合肥工业大学地址230009安徽省合肥市包河区屯溪路193号72发明人张旭东胡良梅高隽陈欣王一李梦娜徐小红涂义福许林74专利代理机构安徽省合肥新安专利代理有限责任公司34101代理人何梅生54发明名称基于全光场相机的非合作目标位姿测量57摘要本发明公开了一种基于全光场相机的非合作目标位姿测量方法,是应用于包含星箭对接环的非合作目标;含星箭对接环在非合作目标上为圆特征;其特征。

2、是按如下步骤行步骤1利用全光场相机获取具有圆特征的非合作目标的光场图像;步骤2计算圆特征在全光场相机主透镜坐标系下的平面法向量和圆心坐标;步骤3剔除虚假解;步骤4获得所述非合作目标的位姿。本发明能有效剔除基于圆的单目视觉位姿估计中的虚假解,获得满足精度要求的非合作目标位姿信息。51INTCL权利要求书3页说明书9页附图2页19中华人民共和国国家知识产权局12发明专利申请权利要求书3页说明书9页附图2页10申请公布号CN104101331ACN104101331A1/3页21一种基于全光场相机的非合作目标位姿测量方法,是应用于包含星箭对接环的非合作目标;所述含星箭对接环在所述非合作目标上为圆特征。

3、;其特征是按如下步骤行步骤1、利用全光场相机获取具有圆特征的非合作目标的光场图像;所述全光场相机的结构包括主透镜、微透镜阵列和传感器;步骤2、计算所述圆特征在全光场相机主透镜坐标系OXYZ下的平面法向量和圆心坐标步骤21、利用时域重聚焦算法对所述光场图像进行计算获得主透镜重聚焦目标图像;步骤22、对所述主透镜重聚焦目标图像利用CANNY边缘检测算法进行边缘检测,获得边缘图像,并对所述边缘图像利用最小二乘法进行椭圆检测,从而获得如式1所示的椭圆方程A1U2A2V2A3UVA4UA5VA601式1中,U,V为所述圆特征在所述主透镜重聚焦目标图像的像素坐标系OIUV中的坐标;步骤23、利用式2所示的。

4、相机投影模型,将所述椭圆方程反向投影到所述全光场相机主透镜坐标系OXYZ下,从而获得如式3所述的椭圆锥方程A1X2A2Y2A3Z2A4XYA5XZA6YZ03式2和式3中,XN,YN为所述圆特征在所述主透镜重聚焦目标图像的物理坐标系OIXNYN中的坐标,F0为所述全光场相机主透镜的焦距,X,Y,Z为所述圆特征在所述全光场相机主透镜坐标系OXYZ下的坐标;步骤24、利用式4将所述椭圆锥方程转换为矩阵乘积形式XYZQXYZT04式4中,Q为对称矩阵;步骤25、利用式5将所述对称矩阵Q进行对角化P1QPDIAGK1,K2,K35式5,P为正交矩阵;K1、K2和K3为所述对称矩阵Q的特征值;步骤26、。

5、利用式6将所述椭圆锥方程进行简化,获得如式7所示的标准坐标系OXYZ下的椭圆锥方程XYZTPXYZT6K1X2K2Y2K3Z207式6中,X,Y,Z为所述圆特征在标准坐标系OXYZ下的坐标;步骤27、利用所述对称矩阵Q的特征值K1、K2和K3获得如式8所示的与所述标准坐标系下Y轴相互平行的平面方程权利要求书CN104101331A2/3页3步骤28、根据所述平面方程分别获得所述圆特征在标准坐标系OXYZ下的平面法向量NX,NY,NZ以及圆心点坐标XO,YO,ZO的一组歧义解解1解2式9和式10中,R为所述圆特征的半径;步骤29、利用式11和式12将所述解1和解2分别转换到所述全光场相机主透镜坐。

6、标系OXYZ下,获得所述全光场相机主透镜坐标系OXYZ下的平面法向量NX,NY,NZ以及圆心点坐标XO,YO,ZO解1解2步骤3、剔除虚假解步骤31、利用所述全光场相机的深度重构法获得所述非合作目标上各点的深度;步骤32、利用式2获得所述圆特征上各点在所述全光场相机主透镜坐标系OXYZ下的三维坐标X,Y,Z;步骤33、利用式13所示的圆特征的平面方程建立如式14所示的目标函数FNX,NY,NZTX,Y,ZXO,YO,ZO013FNX,NY,NZTX,Y,ZXO,YO,ZO14步骤34、将所述解1和解2分别代入14,获得F解1和F解2;若F解1F解2成立,则所述圆特征的圆心坐标和法向量的虚假解为。

7、解2;正确解为解1;否则,圆特征的圆心坐标和法向量的虚假解为解1;正确解为解2;权利要求书CN104101331A3/3页4步骤4、获得所述非合作目标的位姿步骤41、根据所述步骤3获得的正确解,则非合作目标本体坐标系O0X0Y0Z0相对于所述全光场相机主透镜坐标系OXYZ的平移向量为TXO,YO,ZO,通过式15获得所述非合作目标本体坐标系O0X0Y0Z0相对于所述全光场相机主透镜坐标系OXYZ的距离D式15中,所述XO,YO,ZO分别为所述非合作目标本体坐标系O0X0Y0Z0相对于所述全光场相机主透镜坐标系OXYZ在X轴、Y轴、Z轴上的平移量;步骤42、利用式16获得俯仰角和偏航角所述距离D。

8、、俯仰角和偏航角即为所述非合作目标的位姿。2根据权利要求1所述的基于全光场相机的非合作目标位姿测量方法,其特征是,所述步骤31的深度Z是按如下步骤获得步骤A、利用多基线SSD立体匹配算法对所述光场图像进行立体匹配获得最佳匹配像素对I1和I2;步骤B、计算所述最佳匹配图像对I1和I2的像素视差|I1I2|;步骤C、利用式17获得虚拟深度式17中,D为所述最佳匹配像素对I1和I2的中心距离;步骤D、利用式18获得所述微透镜阵列到主透镜像的距离AAB18式18中,B为所述全光场相机中微透镜阵列到所述传感器的距离;步骤E、利用式19获得所述主透镜到所述主透镜像的距离BLBLHA19式19中,H为所述主。

9、透镜到所述微透镜阵列的距离;步骤F、根据式20获得所述圆特征到主透镜的距离AL所述距离AL即为所述深度Z。权利要求书CN104101331A1/9页5基于全光场相机的非合作目标位姿测量技术领域0001本发明涉及一种基于全光场相机的非合作目标位姿测量方法,属于三维视觉的目标位姿测量领域。背景技术0002随着计算机视觉技术的不断发展,基于计算机视觉的位姿测量是现代导航、跟踪、控制等许多研究领域的一个重要的问题,在国防、航天、航空、工业、医学等各个领域备受重视。而在航空航天领域,大部分的已在轨服务航天器是非合作目标,因此非合作目标相对位姿测量成为在轨服务技术的关键。针对大部分非合作目标上普遍都有星箭。

10、对接环结构,可以提供单个圆特征,但是基于圆的传统单目视觉位姿估计有两个位姿解,无法运用到实际的工程中。因此基于圆特征的非合作目标位姿测量具有重要的研究价值与意义。0003目前基于视觉的圆位姿测量方法主要有基于单目视觉和辅助特征测量、基于双目视觉测量、基于深度传感器位姿测量。0004基于单目视觉和辅助特征测量主要是利用与圆共面的点、线特征在欧式空间中的几何特性不变来剔除基于圆的传统单目视觉位姿估计中的虚假解。基于双目视觉测量主要是利用左右两个相机分别估计圆的位姿,将右相机获得的解通过两个相机间的关系转换到左相机下,根据圆的法向量具有唯一性来消除基于圆的传统单目视觉位姿估计中虚假解。基于深度传感器。

11、的圆位姿测量主要是利用深度传感器能够获得目标的深度信息,从而获得目标的3维信息,估计出圆的位姿。0005以上方法在具体实现上存在以下不足00061、基于单目视觉和辅助特征测量利用圆面上的点、线特征进行位姿估计,在测量过程中,若所采用的辅助特征不能在像平面上完整成像以及不知道辅助特征在目标本体坐标系下的几何信息,那么就不能剔除传统单目视觉获得的虚假解。00072、对基于双目立体视觉测量方法,需要利用左右相机获取的图像分别估计圆的位姿信息,大大影响测量的实时性。00083、对于基于深度传感器位姿测量方法,输出图像噪声大,分辨率低,且测量距离短,无法获取远距离的非合作目标位姿信息。00094、目前基。

12、于视觉的圆位姿测量方法在拍摄非合作目标时,容易失焦,带来目标图像模糊问题。发明内容0010本发明针对上述现有技术所存在的不足,提出一种基于全光场相机的非合作目标位姿测量方法,能有效剔除基于圆的传统单目视觉位姿估计中的虚假解,从而获得满足精度要求的位姿信息。0011本发明解决技术问题采用如下技术方案0012本发明一种基于全光场相机的非合作目标位姿测量方法,是应用于包含星箭对接说明书CN104101331A2/9页6环的非合作目标;所述含星箭对接环在所述非合作目标上为圆特征;其特点是按如下步骤行0013步骤1、利用全光场相机获取具有圆特征的非合作目标的光场图像;所述全光场相机的结构包括主透镜、微透。

13、镜阵列和传感器;0014步骤2、计算所述圆特征在全光场相机主透镜坐标系OXYZ下的平面法向量和圆心坐标0015步骤21、利用时域重聚焦算法对所述光场图像进行计算获得主透镜重聚焦目标图像;0016步骤22、对所述主透镜重聚焦目标图像利用CANNY边缘检测算法进行边缘检测,获得边缘图像,并对所述边缘图像利用最小二乘法进行椭圆检测,从而获得如式1所示的椭圆方程0017A1U2A2V2A3UVA4UA5VA6010018式1中,U,V为所述圆特征在所述主透镜重聚焦目标图像的像素坐标系OIUV中的坐标;0019步骤23、利用式2所示的相机投影模型,将所述椭圆方程反向投影到所述全光场相机主透镜坐标系OXY。

14、Z下,从而获得如式3所述的椭圆锥方程00200021A1X2A2Y2A3Z2A4XYA5XZA6YZ030022式2和式3中,XN,YN为所述圆特征在所述主透镜重聚焦目标图像的物理坐标系OIXNYN中的坐标,F0为所述全光场相机主透镜的焦距,X,Y,Z为所述圆特征在所述全光场相机主透镜坐标系OXYZ下的坐标;0023步骤24、利用式4将所述椭圆锥方程转换为矩阵乘积形式0024XYZQXYZT040025式4中,Q为对称矩阵;0026步骤25、利用式5将所述对称矩阵Q进行对角化0027P1QPDIAGK1,K2,K350028式5,P为正交矩阵;K1、K2和K3为所述对称矩阵Q的特征值;0029。

15、步骤26、利用式6将所述椭圆锥方程进行简化,获得如式7所示的标准坐标系OXYZ下的椭圆锥方程0030XYZTPXYZT60031K1X2K2Y2K3Z2070032式6中,X,Y,Z为所述圆特征在标准坐标系OXYZ下的坐标;0033步骤27、利用所述对称矩阵Q的特征值K1、K2和K3获得如式8所示的与所述标准坐标系下Y轴相互平行的平面方程说明书CN104101331A3/9页700340035步骤28、根据所述平面方程分别获得所述圆特征在标准坐标系OXYZ下的平面法向量NX,NY,NZ以及圆心点坐标XO,YO,ZO的一组歧义解0036解10037解20038式9和式10中,R为所述圆特征的半径。

16、;0039步骤29、利用式11和式12将所述解1和解2分别转换到所述全光场相机主透镜坐标系OXYZ下,获得所述全光场相机主透镜坐标系OXYZ下的平面法向量NX,NY,NZ以及圆心点坐标XO,YO,ZO0040解10041解20042步骤3、剔除虚假解0043步骤31、利用所述全光场相机的深度重构法获得所述非合作目标上各点的深度;0044步骤32、利用式2获得所述圆特征上各点在所述全光场相机主透镜坐标系OXYZ下的三维坐标X,Y,Z;0045步骤33、利用式13所示的圆特征的平面方程建立如式14所示的目标函数F0046NX,NY,NZTX,Y,ZXO,YO,ZO0130047FNX,NY,NZT。

17、X,Y,ZXO,YO,ZO140048步骤34、将所述解1和解2分别代入14,获得F解1和F解2;若F解1F解2成说明书CN104101331A4/9页8立,则所述圆特征的圆心坐标和法向量的虚假解为解2;正确解为解1;否则,圆特征的圆心坐标和法向量的虚假解为解1;正确解为解2;0049步骤4、获得所述非合作目标的位姿0050步骤41、根据所述步骤3获得的正确解,则非合作目标本体坐标系O0X0Y0Z0相对于所述全光场相机主透镜坐标系OXYZ的平移向量为TXO,YO,ZO,通过式15获得所述非合作目标本体坐标系O0X0Y0Z0相对于所述全光场相机主透镜坐标系OXYZ的距离D00510052式15中。

18、,所述XO,YO,ZO分别为所述非合作目标本体坐标系O0X0Y0Z0相对于所述全光场相机主透镜坐标系OXYZ在X轴、Y轴、Z轴上的平移量;0053步骤42、利用式16获得俯仰角和偏航角00540055所述距离D、俯仰角和偏航角即为所述非合作目标的位姿。0056本发明基于全光场相机的非合作目标位姿测量方法的特点也在于,所述步骤31的深度Z是按如下步骤获得0057步骤A、利用多基线SSD立体匹配算法对所述光场图像进行立体匹配获得最佳匹配像素对I1和I2;0058步骤B、计算所述最佳匹配图像对I1和I2的像素视差|I1I2|;0059步骤C、利用式17获得虚拟深度00600061式17中,D为所述最。

19、佳匹配像素对I1和I2的中心距离;0062步骤D、利用式18获得所述微透镜阵列到主透镜像的距离A0063AB180064式18中,B为所述全光场相机中微透镜阵列到所述传感器的距离;0065步骤E、利用式19获得所述主透镜到所述主透镜像的距离BL0066BLHA190067式19中,H为所述主透镜到所述微透镜阵列的距离;0068步骤F、根据式20获得所述圆特征到主透镜的距离AL00690070所述距离AL即为所述深度Z。0071与现有技术相比,本发明的有益效果体现在00721、本发明只采用在抗遮挡和图像定位上有很大优势的圆特征作为识别特征,针对基于圆特征的传统单目视觉位姿进行估计时产生一组歧义解。

20、,利用全光场图像获得圆特征说明书CN104101331A5/9页9深度信息,能有效地剔除传统算法中的虚假解,从而准确计算出非合作目标相对位置和姿态参数。00732、本发明通过采用时域重聚焦算法,解决了现有技术中因图像失焦所带来图像模糊问题,降低了图像中椭圆识别错误率,从而提高空间非合作目标的位姿精度。00743、本发明采用的全光场相机拍摄距离远,解决了当前深度传感器无法测量远距离非合作目标的位姿问题。00754、本发明采用的全光场相机体积小,单次拍摄就能够同时实时获取非合作目标图像和深度信息,大大提高了非合作目标的位姿测量速度。00765、本发明通过采用多基线SSD立体匹配算法,能有效克服传统。

21、立体匹配过程中由于图像特征点不明显,相似纹理产生的匹配对应点多义性问题,从而获取准确、可靠的深度信息,有效地剔除传统算法中的虚假解。附图说明0077图1为本发明基于全光场相机的非合作目标位姿测量系统示意图;0078图2为本发明方法流程图;0079图3为本发明方法中非合作目标坐标系、全光场相机主透镜坐标系、主透镜像平面像素坐标系以及主透镜像平面物理坐标系之间的关系图;0080图4光场图像像素坐标系;0081图5为本发明方法中全光场相机重建深度信息几何图;0082图中标号1非合作目标;2全光场相机;3PC机;4相机支架。具体实施方式0083本实施例中,一种基于全光场相机的非合作目标位姿测量方法是应。

22、用于基于全光场相机的非合作目标位姿测量系统中,参见图1,该系统组成包括非合作目标1、全光场相机2、位姿测量数据处理系统PC机3以及固定安装全光场相机2的相机支架4;非合作目标1位于全光场相机2的视角范围内即可,非合作目标上包含有星箭对接环;以非合作目标上的星箭对接环作为识别对象,星箭对接环在非合作目标上为圆特征;0084参见图2,基于全光场相机的的非合作目标位姿测量方法是按如下步骤行0085步骤1、如图3所示,以圆特征的圆心为坐标原点O0,以圆特征所在平面的法向量为Z0轴;利用右手法则依次建立X0轴和Y0轴;从而建立非合作目标物体的本体坐标系O0X0Y0Z0;0086建立主透镜像平面像素坐标系。

23、为OIUV,主透镜像平面像素坐标系OIUV为主透镜重聚焦目标图像的像素坐标系,该坐标系是以像平面的左上角第一个像素点为原点OI,U轴和V轴方向分别对应于主透镜像的行方向和列方向;0087建立主透镜像平面物理坐标系OIXNYN主透镜像平面物理坐标系OIXNYN为主透镜重聚焦目标图像的物理坐标系,该坐标系是以全光场相机主透镜光轴与主透镜像平面的交点为原点OI,XN轴和YN轴分别与主透镜像平面像素坐标系的横方向U和竖直方向V平行;0088以全光场相机的主透镜光心为原点O,以主透镜的主光轴方向为Z轴,与主透镜像说明书CN104101331A6/9页10平面像素坐标系的横方向U平行的方向为X轴,与主透镜。

24、像平面像素坐标系的竖直方向V平行的方向为Y轴,从而建立全光场相机主透镜坐标系OXYZ;其中,原点O到主透镜像平面的距离称为主透镜的焦距F0;0089步骤2、通过全光场相机获取具有圆特征的非合作目标的光场图像;如图5所示,全光场相机的结构包括主透镜、由多个微透镜构成的微透镜阵列和传感器;0090步骤3、计算圆特征在全光场相机主透镜坐标系OXYZ下的平面法向量和圆心坐标0091步骤31、利用时域重聚焦算法对非合作目标的光场图像进行计算获得主透镜重聚焦目标图像;0092时域重聚焦算法就是根据光线直线传播原理和三角形相似性把光场图像上的像素投影到主透镜重聚焦的像平面上,然后通过积分成像原理将同一位置处。

25、的光线进行积分获得主透镜重聚焦目标图像。具体方法可参考论文基于光场摄像技术的对焦测距方法的研究,文章在2008年光子学报上发表,论文编号1004421320081225395;0093步骤32、对主透镜重聚焦目标图像利用CANNY边缘检测算法进行边缘检测,获得边缘图像;并对边缘图像利用最小二乘法进行椭圆检测,从而获得如式1所示的椭圆方程0094A1U2A2V2A3UVA4UA5VA6010095式1中,U,V为圆特征在主透镜重聚焦目标图像的像素坐标系OIUV中的坐标;0096步骤33、利用式2所示的相机投影模型,将椭圆方程反向投影到全光场相机主透镜坐标系OXYZ下,从而获得如式3所述的椭圆锥方。

26、程00970098A1X2A2Y2A3Z2A4XYA5XZA6YZ030099式2和式3中,XN,YN为圆特征在主透镜重聚焦目标图像的物理坐标系OIXNYN中的坐标,F0为全光场相机主透镜的焦距,X,Y,Z为圆特征在全光场相机主透镜坐标系OXYZ下的坐标;0100步骤34、利用式4将椭圆锥方程转换为矩阵乘积形式0101XYZQXYZT040102式4中,Q为对称矩阵;0103步骤35、利用式5对称矩阵Q进行对角化0104P1QPDIAGK1,K2,K350105式5,P为正交矩阵;K1、K2和K3为对称矩阵Q的特征值;0106步骤36、利用式6将椭圆锥方程进行简化,获得如式7所示的标准坐标系O。

27、XYZ下的椭圆锥方程0107XYZTPXYZT60108K1X2K2Y2K3Z207说明书CN104101331A107/9页110109式6中,X,Y,Z为圆特征在标准坐标系OXYZ下的坐标,标准坐标系OXYZ和全光场相机主透镜坐标系OXYZ坐标系的原点相同,并通过正交矩阵P将全光场相机主透镜坐标系OXYZ进行旋转变换获得的;0110步骤37、利用对称矩阵Q的特征值K1、K2和K3获得如式8所示的与标准坐标系下Y轴相互平行的平面方程01110112步骤38、根据平面方程分别获得圆特征在标准坐标系OXYZ下的平面法向量NX,NY,NZ以及圆心点坐标XO,YO,ZO的一组歧义解0113解1011。

28、4解20115式9和式10中,R为圆特征的半径;0116步骤39、利用式11和式12将解1和解2分别转换到全光场相机主透镜坐标系OXYZ下,获得全光场相机主透镜坐标系OXYZ下的平面法向量NX,NY,NZ以及圆心点坐标XO,YO,ZO0117解10118解20119步骤4、剔除虚假解0120步骤41、利用全光场相机的深度重构法获得非合作目标上各点的深度;0121步骤A、如图4所示,建立光场图像像素坐标系OIIST,以光场图像左上角第一个像素为原点OII,S轴和T轴方向分别对应于光场图像的行方向和列方向;0122步骤B、如图5所示,目标通过主透镜形成一个主透镜像,主透镜像被微透镜阵列说明书CN1。

29、04101331A118/9页12投影在传感器上形成目标光场图像。微透镜阵列中有NN个微透镜,每个微透镜都在传感器的上形成相应的微透镜图像;并由NN个微透镜图像形成一个光场图像;利用多基线SSD平方差和立体匹配算法对光场图像的任一像素I1进行计算,获得与像素I1最佳匹配的像素I2;从而获得最佳匹配像素对I1和I2;具体的按如下步骤进行0123步骤B1、定义待匹配像素I1所对应的微透镜图像为I0;且待匹配像素I1在光场图像中的像素坐标为S,T,在微透镜图像I0水平线上选择N1个微透镜图像;0124步骤B2、以像素I1为中心选择一个WW的窗口;0125步骤B3、对N1个微透镜图像利用式13找到微透。

30、镜图像I0中待匹配像素I1的最佳匹配像素I2,从而得到像素视差值|I1I2|01260127式13中,I0S,T是待匹配像素点S,T的像素强度,IK表示第K个微透镜图像;IKSBKD,T是用来匹配的像素点SBKD,T的像素强度,BK是第K个微透镜图像与微透镜图像I0间的基线长度,W是用来匹配的窗口大小,R是匹配区间的搜索范围,D是用来在搜索范围内计算视差的一个参数,BKD是待匹配像素点S,T与用来匹配的像素点SBKD,T间的视差;0128步骤C、利用式14获得虚拟深度01290130式14中,D为最佳匹配像素对I1和I2所对应的微透镜图像的中心距离;0131步骤D、利用式15获得微透镜阵列到主。

31、透镜像的距离A0132AB150133式15中,B为全光场相机中微透镜阵列到传感器的距离;0134步骤E、利用式16获得主透镜到主透镜像的距离BL0135BLHA160136式16中,H为主透镜到微透镜阵列的距离;0137步骤F、根据式17获得非合作目标到主透镜的距离AL01380139式17中,距离AL即为光场图像的任一像素I1在所对应的非合作目标上相应点的深度;0140重复步骤BF,从而获得非合作目标上各点的深度;0141步骤42、由步骤41获得非合作目标上各点深度Z,则非合作目标上圆特征各点的深度为已知;利用式2获得圆特征上各点在全光场相机主透镜坐标系OXYZ下的三维坐标X,Y,Z;01。

32、42步骤43、利用式18所示的圆特征的平面方程建立如式19所示的目标函数F0143NX,NY,NZTX,Y,ZXO,YO,ZO018说明书CN104101331A129/9页130144FNX,NY,NZTX,Y,ZXO,YO,ZO190145步骤44、将步骤39中的解1和解2中的平面法向量NX,NY,NZ以及圆心点坐标XO,YO,ZO分别代入19,获得F解1、F解2;若F解1F解2成立,则圆特征的圆心坐标和法向量的虚假解为解2;正确解为解1;否则圆特征的圆心坐标和法向量的虚假解为解1;正确解为解2;0146步骤5、获得非合作目标的位姿0147步骤51、通过步骤4获得的正确的圆心三维坐标XO,。

33、YO,ZO和法向量NX,NY,NZ;则非合作目标本体坐标系O0X0Y0Z0相对于全光场相机主透镜坐标系OXYZ的平移向量为TXO,YO,ZO,通过式20获得非合作目标本体坐标系O0X0Y0Z0相对于全光场相机主透镜坐标系OXYZ的距离D01480149式20中,XO,YO,ZO分别为非合作目标本体坐标系O0X0Y0Z0相对于全光场相机主透镜坐标系OXYZ在X轴、Y轴、Z轴上的平移量;0150步骤52、定义在全光场相机主透镜坐标系OXYZ下NX,NY,NZ对应的姿态角为俯仰角,偏航角;俯仰角定义为法向量NX,NY,NZ与OXY平面的夹角,俯仰角取/2,/2,偏航角为NX,NY,NZ在OXY平面上的投影与X平面轴正向的夹角,偏航角取值范围为2,2;0151根据几何三角关系按式21计算可获得俯仰角,偏航角01520153则距离D、俯仰角和偏航角即为非合作目标的位姿。说明书CN104101331A131/2页14图1图2说明书附图CN104101331A142/2页15图3图4图5说明书附图CN104101331A15。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 测量;测试


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1