一种360度全景视频的浏览操作方法.pdf

本发明公开了一种360度全景视频的浏览操作方法。全景视频图像由于其采集装置的光学结构特殊，得到的原始图像往往不符合人眼的观看习惯，通常的做法是展开成全景图像给用户观看。顶视360度全景视频图像由于其从上往下的拍摄模式，用户观看也会觉得不够直观。本发明利用各种在全景视频图像上的辅助示意，使得用户能够方便的实现顶视360度全景图像的环视、缩放、旋转等操作。根据本发明提供的方案，用户可以利用多种交互操作方式，实现360度全视野的监控和浏览。

1.一种360度全景视频的浏览操作方法，其特征是：利用在360度全景视频上的辅助示意，使得用户通过外部控制设备能够对顶视360度全景视频进行环视操作、缩放操作和旋转操作，方便360度全视野的监控和浏览。2.根据权利要求1所述的360度全景视频的浏览操作方法，其特征是：所述的360度全景视是通过安装在室内天花板的全景视频采集装置，从上往下拍摄的俯视全景视频。3.根据权利要求1所述的360度全景视频的浏览操作方法，其特征是：所述的环视操作、缩放操作和旋转操作可由计算机监控终端或摇杆等外部控制设备进行操控。4.根据权利要求1所述的360度全景视频的浏览操作方法，其特征是：所述的辅助示意通过各种显示在顶视全景视频图像上的辅助标示，包括辅助示意线、辅助示意圈、辅助示意箭头。5.根据权利要求1所述的360度全景视频的浏览操作方法，其特征是：所述的全景环视操作、缩放操作和旋转操作通过辅助示意和环视变换算法，实现对顶视全景视频图像的感兴趣区域沿着一定的轨道或者规定线路进行环视浏览，实现顶视全景视频图像的感兴趣区域的缩小或者放大操作，实现顶视全景视频图像的感兴趣区域的各个旋转角度浏览。6.根据权利要求5所述的360度全景视频的浏览操作方法，其特征是：所述的环视变换算法通过光学几何推导，将顶视的全景视频图像变换成环视图像。7.根据权利要求6所述的360度全景视频的浏览操作方法，其特征是：所述的环视图像让用户体验置身于全景空间中，环顾四周看到的图像。

一种360度全景视频的浏览操作方法

技术领域：

本发明涉及视频监控技术，特指一种360度全景视频的浏览操作方法。

背景技术：

现在市场上的监控摄像机产品主要是“枪机(即固定安装的摄像机)”和“球机(即带旋转云台的摄像
机)”。这种普通摄像机由于视场范围小，存在监控盲区和监控死角。在很多例如银行和交通枢纽等重要场
所，若要实现对大范围、宽视角的监控，则需要安装多个这种普通摄像机。近年来，随着视频监控技术的
发展，市场对实现180度和360度的全景监控设备有着越来越迫切的需求。

全景监控技术利用鱼眼镜头或折反射全向成像装置，生成包含空间360度全方位场景信息的全景视频
图像。通常，采集得到的原始全向图不符合人眼观察习惯，在获取全景视频图像后需要进行处理，展开成
符合人眼观察习惯的视频图像。顶视角360度全景采集设备拍摄的视频图像是全方位场景信息中比较特殊
的，由于其拍摄方式是从上至下的，即使变换成了全景视频图像，用户在浏览时也会觉得不适应。本发明
提出一种针对顶视360度的视频图像的浏览操作方法，使得用户可以更加便利和直观的实现全景视频监控。

发明内容：

本发明要解决的技术问题在于：全景视频图像由于其采集装置的光学结构特殊，得到的原始全向图像
往往不符合人眼的观看习惯，通常的做法是将全向图像展开成全景图像给用户观看。顶视360度全景视频
图像由于其俯视的拍摄模式，原始图像是有严重畸变的环状图像，用户浏览时觉得不够直观。如何提供给
用户方便的操作方式去浏览观看这种全景图像是一个问题。

为解决上述技术问题，本发明提出的技术方案是：利用在全景视频图像上的辅助示意，使得用户能够
方便的实现顶视360度全景视频图像的环视、缩放、旋转操作。根据本发明提供的方案，用户可以利用这
种交互操作方式，实现360度全视野的监控和浏览。

顶视360度全景采集设备是指：安装在室内墙顶的，对室内360度空间进行俯视拍摄的图像采集设备。
顶视360度全景采集设备包括顶视全景摄像机、监视器和外部控制设备。其中顶视全景摄像机包括相互连
接的全景成像器件和图像处理电路板，所述图像处理电路板上连接有网络数据通讯接口，电源接口。图像
处理电路板经网络接口与监视器连接，所述图像处理电路板还经数据通讯接口与外部控制设备的控制端连
接。所述成像组件可以为CCD成像组件或CMOS成像组件。

顶视360度全景视频图像是指：为顶视360度全景采集设备采集的数字视频图像，也被称为顶视图。

环视浏览指：对于顶视全景摄像机拍摄到顶视图中感兴趣区域，在另外显示窗口中把顶视视频图像变
换成为更符合人眼观看习惯的环视图像的一种浏览方法。

浏览操作方法指：一个窗口作为原始采集顶视图的显示窗口，通过这个窗口内的辅助示意和辅助标示
操作全景视频图像中局部感兴趣区域的位置、大小、角度，然后对这个局部区域图像进行环视变换并且显
示在另外一个变换窗口中。操作区域可以是全景视频图像中任意位置的一个和多个区域。当操作多个区域
的时候，辅助示意会用不同颜色或者其他标识给用户提示，然后分别显示在多个变换窗口中。

附图说明：

图1是本发明所述的一种顶视360度全景采集设备；

图2是本发明所述顶视360度全景视频图像；

图3是本发明所述采集的原始顶视图和通过变换算法得到的局部环视图；

图4是本发明所述全景视频图像的环视轨道操作和浏览方法；

图5是本发明所述全景视频图像的局部缩放操作和浏览方法；

图6是本发明所述全景视频图像的局部旋转操作和浏览方法；

图7是本发明所述全景视频图像的多个局部区域变换的操作和浏览方法；

具体实施方式：

以下将结合实施例和附图对本发明做进一步详细说明。

如图1所示，顶视360度全景视频图像采集设备为一种安装在室内的，从上往下俯视拍摄室内360度
全景的视频图像采集装置。其内部主要器件包括全景成像感光芯片，图像处理电路板，网络接口，串口，
电源接口和其他接口。360度全景成像器件可以由成像组件连接鱼眼镜头组成。所述成像组件为：CCD成
像组件，或CMOS成像组件。

本发明提出的全景视频图像的浏览操作方法通过以下两种途径实现：

对于通过计算机监控终端等设备实施交互的模式，是指利用鼠标和外部设备操作浏览，对全景摄像机
从网络传输来的图像进行变换。具体来说，全景摄像机的图像采集系统把采集到的图像通过网络传输到计
算机监控终端，在计算机监控终端上完成上述全景视频图像交互方式。

对于相机嵌入式系统的控制模式，外部控制设备利用摄像机提供的网络接口控制全景摄像机，通过更
改感兴趣区域的位置和移动；全景摄像机的图像处理电路板按照更改后的操控和参数进行全景视频图像的
局部环视变换，然后输出和传输所得到的视频图像给计算机监控终端。

图2是本发明所述顶视360度全景视频图像。这种图像在浏览时有两个缺点：首先其俯视的拍摄视角，
直接浏览并不符合人眼观察习惯。再者图像有严重的畸变，因为物体形状的扭曲造成很多图像信息的失真。
图3是本发明所述采集的原始顶视图和通过变换算法得到的局部环视图。通过这种变换，用户看到的图像
仿佛是其置身于全景空间的正中央，平视观看场景中无变形的透视图像。

图4是本发明所述全景视频图像的环视轨道操作和浏览方法。由于环视浏览，在原始全景视频图像中
都是按照椭圆或者圆的轨迹环视一圈。这里我们就通过一条辅助示意把这个轨道在原图上显示出来，用户
操作的时候，感兴趣区域（热区）的中心也就一直在这个“轨道示意线”上。这条辅助示意的轨道本省是
用户可以根据实际需要设置的。对于示意轨道上设定和调整，以及操作感兴趣区域在示意轨道上的运动，
可以通过外设键盘操作，也可以通过外设鼠标的点击、移动来操作，或者其他外部设备来进行操作。

图5是本发明所述全景视频图像的局部放大操作和浏览方法。感兴趣区域的大小在这个操作方法中可
以被调整，用户通过调整“缩放示意线”来确定区域的大小。这一步操作可以通过外设键盘操作，也可以
通过外设鼠标的点击、移动来操作，或者其他外部设备来进行操作。

图6是本发明所述全景视频图像的局部旋转操作和浏览方法；感兴趣区域的显示角度在这个操作方法
中可以被调整，用户通过调整“旋转示意线”的示意箭头方向来确定区域的显示角度。这一步操作可以通
过外设键盘操作，也可以通过外设鼠标的点击、移动来操作，或者其他外部设备来进行操作。

图7是本发明所述全景视频图像的多个局部区域变换的操作和浏览方法。图4、图5、图6分别介绍
了全景视频图像的操作和浏览方法。这些方法都是对应在一个感兴趣区域的变换上，本发明还提供多个感
兴趣区域的变换和显示。需要改变的是在原图显示窗口用不同颜色和标识区分不同感兴趣区域，然后分别
在不同的变换窗口把他们显示出来。注意，不同的感兴趣区域的操作和浏览是相互独立的。

本发明提出的360度全景视频的浏览操作方法的具体算法由两部分组成。第一部分是核心的环视变换
算法部分，实现了从顶视360度全景视频图像变换成局部的环视图像。第二部分是操作参数部分，核心算
法为上层的操作提供了位置、放大倍数、旋转角度等参数接口。用户在具体操作的时候，按照操作方式改
变了这些参数，并且通过核心算法实时算出根据这些参数的变换，就可以实现本发明提出的全景视频的浏
览。

1.核心的环视变换算法如下：

360度全景视频图像变换到环视图像的核心是球面全景图像的反投影变换方法。当选定全景视频图像
中某个位置(x,y)的时候，其在球面(球面半径为f)的坐标为：

u = f cos ( π 2 - y ′ f ) cos ( x ′ f ) v = f sin ( π 2 - y ′ f ) w = f cos ( π 2 - y ′ f ) sin ( x ′ f ) ]]>

α角为原点连接点(u,v,w)的直线与x,y平面的夹角，β角为其与x,z平面的夹角。

α = acrtg ( u 2 + w 2 v ) ]]>

β = arccos ( w u 2 + w 2 ) ]]>

将世界坐标系选装到凝视对准的反投影平面，可得到点(u,v,w)在旋转后的坐标为：

u ′ v ′ w ′ = 1 0 0 0 cos α sin α 0 - sin α cos α cos β 0 - sin β 0 1 0 sin β 0 cos β u v w ]]>

那么过点(u',v'w')的参数方程为

r = r 0 + t u ′ s = w 0 + t v ′ q = q 0 + t w ′ ]]>

又已知：

q=-f，且r0=0,s0=0,qO=0

令

x = r + W 2 y = s + H 2 ]]>

可得到变换后图像中点(x,y)对应原图的像素点(x',y')位置的值：

x = W 2 - f cos ( π 2 - y ′ f ) cos ( β + x ′ f ) cos ( π 2 - y ′ f ) cos α sin ( β + x ′ f ) - sin ( π 2 - y ′ f ) sin α ]]>

y = H 2 - f sin ( π 2 - y ′ f ) cos α + f cos ( π 2 + y ′ f ) sin α sin ( β + x ′ f ) cos ( π 2 - y ′ f ) cos α sin ( β + x ′ f ) - sin ( π 2 - y ′ f ) sin α ]]>

2.操作参数的算法如下：

本发明的环视示意轨道是椭圆的，首先调整椭圆的位置和大小，然后只需要把感兴趣区域的热点位置
在椭圆示意线上的位置按照角度算出来即可。

已知椭圆方程为：

x 2 a 2 + y 2 b 2 = 1 ]]>

用x=rcosθ，y=rsinθ代入可以得到：

r = ab b 2 cos 2 θ + a 2 sin 2 θ ]]>

其中，a,b为椭圆轨迹的参数，我们需要连续环视浏览的时候，实际改变θ的角度，就可以得到相应
的x,y值，然后代入步骤1的核心算法，就可以完成环视变换。对于改变环视区域的大小和旋转角度，实
际就是改变步骤1中的x',y'的遍历区域根据示意的大小，旋转也是同理。