《轮胎吊车行进轨迹视频纠偏装置及方法.pdf》由会员分享，可在线阅读，更多相关《轮胎吊车行进轨迹视频纠偏装置及方法.pdf（13页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102060234 A(43)申请公布日 2011.05.18CN102060234A*CN102060234A*(21)申请号 201010519880.5(22)申请日 2010.10.26B66C 13/16(2006.01)B66C 13/48(2006.01)G06T 7/00(2006.01)(71)申请人常州超媒体与感知技术研究所有限公司地址 213000 江苏省常州市钟楼区玉龙路213号高新技术创业服务中心1008室(72)发明人刘云辉 杨延光 范才智 周东翔梁华 蔡宣平(74)专利代理机构常州市夏成专利事务所(普通合伙) 32233代理人沈兵(54)。
2、 发明名称轮胎吊车行进轨迹视频纠偏装置及方法(57) 摘要本发明涉及利用嵌入式系统实现视频图像的实时处理并将结果用于控制的技术领域，尤其是一种轮胎吊车行进轨迹视频纠偏装置及方法。该装置包括电源和计算机，两块DSP双通道视频处理子系统分别连接单片机和计算机，一块DSP双通道视频处理子系统连接轮胎吊车一侧的前后两个摄像头，另一块DSP双通道视频处理子系统连接轮胎吊车另一侧的前后两个摄像头，单片机与PLC控制系统连接。采用嵌入系统和模块化设计，使得系统结构紧凑、扩展性好、成本低且具有良好的实时性和稳健性，从而可实现基于视觉反馈的轮胎吊车行进轨迹的自动纠偏。通过推广该发明，可提高港口码头货物的吞吐效率。
3、，减轻轮胎吊车驾驶员的工作强度，降低安全隐患，提高工作效率。(51)Int.Cl.(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书 2 页 说明书 8 页 附图 2 页CN 102060239 A 1/2页21.一种轮胎吊车行进轨迹视频纠偏装置，包括电源和计算机，其特征是，两块DSP双通道视频处理子系统分别连接单片机和计算机，一块DSP双通道视频处理子系统连接轮胎吊车一侧的前后两个摄像头，另一块DSP双通道视频处理子系统连接轮胎吊车另一侧的前后两个摄像头，单片机与PLC控制系统连接。2.根据权利要求1所述的轮胎吊车行进轨迹视频纠偏装置，其特征是，所述DSP双通道视频处理子系统。
4、采用核心板+基板的模块化结构。3.根据权利要求2所述的轮胎吊车行进轨迹视频纠偏装置，其特征是，所述核心板+基板的模块化结构包括核心板、基板、看门狗模块、状态指示模块和电源模块；所述核心板包含TMS320DM642芯片、Nor Flash存储芯片和两个SDRAM芯片，所述基板主要包括电源芯片、串口扩展芯片、两个视频解码芯片和一个视频编码芯片，所述状态指示模块由2个LED组成。4.根据权利要求1所述的轮胎吊车行进轨迹视频纠偏装置，其特征是，所述DSP双通道视频处理子系统具有两个串口和一个JTAG口，通过两个串口分别与单片机和计算机进行通信，通过一个JTAG口与计算机通信。5.根据权利要求1所述的轮。
5、胎吊车行进轨迹视频纠偏装置，其特征是，所述单片机具有四个串口和一个JTAG口，四个串口分别设置为RS485、RS485、RS232和RS232。6.一种轮胎吊车行进轨迹视频纠偏方法，其特征是，包括如下步骤：（1）对采集的图像进行DSP双通道视频处理：一块DSP双通道视频处理子系统连接轮胎吊车左侧的前后两个摄像头，通过DSP的VP1和VP2口同时采集和处理前后两路视频，获取前后两个视角下吊车偏离既定行进轨迹的角度，另一块DSP双通道视频处理子系统连接轮胎吊车右侧的前后两个摄像头，通过DSP的VP1和VP2口同时采集和处理前后两路视频，获取前后两个视角下吊车偏离既定行进轨迹的角度，并均可通过VP0。
6、口交替显示前后两路视频的处理结果，通过设置中断优先级和采集延时等待，可实现两路交替采集与显示的同步；（2）摄像头标定方案：将DSP双通道视频处理子系统采集的图像通过JTAG导入计算机，利用投影变换方法计算摄像头的标定参数，并利用计算出的摄像头的标定参数对DSP程序中的参数进行初始化；DSP程序编译后生成可执行文件，通过JTAG或串口将程序烧写到DSP双通道视频处理子系统中；（3）实现轮胎吊车行进过程中的轨迹自动纠偏：单片机将四个摄像头检测出的偏角进行融合，然后将融合后的偏角经过串口发给PLC控制系统对轮胎吊车进行控制，稳健地实现轮胎吊车行进过程中的轨迹自动纠偏。7.根据权利要求6所述的轮胎吊车。
7、行进轨迹视频纠偏方法，其特征是，所述步骤（2）中摄像头标定方案包括以下步骤：（1）将摄像头安装好，并确定大地坐标系的坐标原点，调节相应的俯仰角，使其视野可观察到距其地面投影前方27m的区域；（2）在摄像头视野区域内放置至少4个标定物，以大地坐标系原点为参考，记录标定物的地面坐标位置；（3）在DSP采集的标定场景图像中选择其中一幅，将其导入到计算机中，并通过鼠标在图像中选择标定物查看其像素位置，并与其地面坐标对应起来成对记录；权 利 要 求 书CN 102060234 ACN 102060239 A 2/2页3（4）根据获取的标定物的地面坐标位置和图像中的坐标位置，通过投影变换计算摄像头的标定参。
8、数；（5）利用标定参数对图像中检出的直线进行坐标变换，得到其在地面坐标系下对应的位置，进而估算出当前图像中检出的直线与既定轨迹之间的偏角。权 利 要 求 书CN 102060234 ACN 102060239 A 1/8页4轮胎吊车行进轨迹视频纠偏装置及方法技术领域0001 本发明涉及利用嵌入式系统实现视频图像的实时处理并将结果用于控制的技术领域，尤其是一种轮胎吊车行进轨迹视频纠偏装置及方法。背景技术0002 国际贸易的发展使得港口码头的货物吞吐量日益增大，目前很多港口码头均配备有轮胎吊车进行货物的起吊和搬移。轮胎吊大车在行驶过程中要求控制其偏移角在5（正负）左右，这对轮胎吊车驾驶员的安全驾驶。
9、技术要求较高，即要时刻避免碰撞。目前精确测角的设备有电子罗盘和GPS等，由于吊车工作环境具有大功率电机等，存在强磁场干扰，电子罗盘测量的偏角误差较大，而常用的GPS精度不够，因此均不能满足港口码头这一特定应用环境。目前的轮胎吊车轨迹纠偏主要依靠驾驶员时刻关注地面上已经画好的轨迹线，通过高超的驾驶技术进行控制，工作强度大且单调乏味，很容易导致驾驶员疲劳，存在较大的安全隐患，且工作效率不高。0003 随着计算机视觉的发展，国内外很多学者都开展了图像处理、目标检测等相关研究，涌现出了大量的成果，图像处理技术在医学检验、诊断，工业监控领域也得到了广泛的应用。目前已出现了不少基于视觉反馈进行控制的系统，。
10、但针对轮胎吊车轨迹纠偏这一特定应用背景，尚未出现基于视觉反馈的解决方案，目前尚无法解决轮胎吊车进行过程中轨迹自动纠偏这一难题。发明内容0004 为了克服现有的针对轮胎吊车轨迹纠偏这一特定应用背景，尚未出现基于视觉反馈的解决方案的不足，本发明提供了一种轮胎吊车行进轨迹视频纠偏装置及方法。0005 本发明解决其技术问题所采用的技术方案是：一种轮胎吊车行进轨迹视频纠偏装置包括电源和计算机，两块DSP双通道视频处理子系统分别连接单片机和计算机，一块DSP双通道视频处理子系统连接轮胎吊车一侧的前后两个摄像头，另一块DSP双通道视频处理子系统连接轮胎吊车另一侧的前后两个摄像头，单片机与PLC控制系统连接。。
11、0006 根据本发明的另一个实施例，进一步包括所述DSP双通道视频处理子系统采用核心板+基板的模块化结构。0007 根据本发明的另一个实施例，进一步包括所述核心板+基板的模块化结构包括核心板、基板、看门狗模块、状态指示模块和电源模块；所述核心板包含TMS320DM642芯片、Nor Flash存储芯片和两个SDRAM芯片，所述基板主要包括电源芯片、串口扩展芯片、两个视频解码芯片和一个视频编码芯片，所述状态指示模块由2个LED组成。0008 根据本发明的另一个实施例，进一步包括所述DSP双通道视频处理子系统具有两个串口和一个JTAG口，通过两个串口分别与单片机和计算机进行通信，通过一个JTAG口。
12、与计算机通信。0009 根据本发明的另一个实施例，进一步包括所述单片机具有四个串口和一个JTAG说 明 书CN 102060234 ACN 102060239 A 2/8页5口，四个串口分别设置为RS485、RS485、RS232和RS232。0010 一种轮胎吊车行进轨迹视频纠偏方法，包括如下步骤：（1）对采集的图像进行DSP双通道视频处理：一块DSP双通道视频处理子系统连接轮胎吊车左侧的前后两个摄像头，通过DSP的VP1和VP2口同时采集和处理前后两路视频，获取前后两个视角下吊车偏离既定行进轨迹的角度，另一块DSP双通道视频处理子系统连接轮胎吊车右侧的前后两个摄像头，通过DSP的VP1和V。
13、P2口同时采集和处理前后两路视频，获取前后两个视角下吊车偏离既定行进轨迹的角度，并均可通过VP0口交替显示前后两路视频的处理结果，通过设置中断优先级和采集延时等待，可实现两路交替采集与显示的同步；（2）摄像头标定方案：将DSP双通道视频处理子系统采集的图像通过JTAG导入计算机，利用投影变换方法计算摄像头的标定参数，并利用计算出的摄像头的标定参数对DSP程序中的参数进行初始化；DSP程序编译后生成可执行文件，通过JTAG或串口将程序烧写到DSP双通道视频处理子系统中；（3）实现轮胎吊车行进过程中的轨迹自动纠偏：单片机将四个摄像头检测出的偏角进行融合，然后将融合后的偏角经过串口发给PLC控制系统。
14、对轮胎吊车进行控制，稳健地实现轮胎吊车行进过程中的轨迹自动纠偏。0011 根据本发明的另一个实施例，进一步包括所述步骤（2）中摄像头标定方案包括以下步骤：（1）将摄像头安装好，并确定大地坐标系的坐标原点，调节相应的俯仰角，使其视野可观察到距其地面投影前方27m的区域；（2）在摄像头视野区域内放置至少4个标定物，以大地坐标系原点为参考，记录标定物的地面坐标位置；（3）在DSP采集的标定场景图像中选择其中一幅，将其导入到计算机中，并通过鼠标在图像中选择标定物查看其像素位置，并与其地面坐标对应起来成对记录；（4）根据获取的标定物的地面坐标位置和图像中的坐标位置，通过投影变换计算摄像头的标定参数；（5。
15、）利用标定参数对图像中检出的直线进行坐标变换，得到其在地面坐标系下对应的位置，进而估算出当前图像中检出的直线与既定轨迹之间的偏角。0012 本发明的有益效果是，采用嵌入系统和模块化设计，使得系统结构紧凑、扩展性好、成本低且具有良好的实时性和稳健性，从而可实现基于视觉反馈的轮胎吊车行进轨迹的自动纠偏。通过推广该发明，可提高港口码头货物的吞吐效率，减轻轮胎吊车驾驶员的工作强度，降低安全隐患，提高工作效率。附图说明0013 下面结合附图和实施例对本发明进一步说明。0014 图1是本发明轮胎吊车视频纠偏系统的原理框图；图2是DSP双通道视频处理子系统的原理框图；图3是Z=0情况下的透视变换示意图；图4。
16、是轮胎吊车行进轨迹视频纠偏系统的软件算法流程图。说 明 书CN 102060234 ACN 102060239 A 3/8页6具体实施方式0015 如图1是本发明轮胎吊车视频纠偏系统的原理框图，一种轮胎吊车行进轨迹视频纠偏装置包括电源和计算机，两块DSP双通道视频处理子系统分别连接单片机和计算机，一块DSP双通道视频处理子系统连接轮胎吊车一侧的前后两个摄像头，另一块DSP双通道视频处理子系统连接轮胎吊车另一侧的前后两个摄像头，单片机与PLC控制系统连接。0016 所述DSP双通道视频处理子系统采用核心板+基板的模块化结构。0017 所述核心板+基板的模块化结构包括核心板、基板、看门狗模块、状态。
17、指示模块和电源模块；所述核心板包含TMS320DM642芯片、Nor Flash存储芯片和两个SDRAM芯片，所述基板主要包括电源芯片、串口扩展芯片、两个视频解码芯片和一个视频编码芯片，所述状态指示模块由2个LED组成。0018 所述DSP双通道视频处理子系统具有两个串口和一个JTAG口，通过两个串口分别与单片机和计算机进行通信，通过一个JTAG口与计算机通信。0019 所述单片机具有四个串口和一个JTAG口，四个串口分别设置为RS485、RS485、RS232和RS232。0020 一种轮胎吊车行进轨迹视频纠偏方法，包括如下步骤：（1）对采集的图像进行DSP双通道视频处理：一块DSP双通道视。
18、频处理子系统连接轮胎吊车左侧的前后两个摄像头，通过DSP的VP1和VP2口同时采集和处理前后两路视频，获取前后两个视角下吊车偏离既定行进轨迹的角度，另一块DSP双通道视频处理子系统连接轮胎吊车右侧的前后两个摄像头，通过DSP的VP1和VP2口同时采集和处理前后两路视频，获取前后两个视角下吊车偏离既定行进轨迹的角度，并均可通过VP0口交替显示前后两路视频的处理结果，通过设置中断优先级和采集延时等待，可实现两路交替采集与显示的同步；（2）摄像头标定方案：将DSP双通道视频处理子系统采集的图像通过JTAG导入计算机，利用投影变换方法计算摄像头的标定参数，并利用计算出的摄像头的标定参数对DSP程序中的。
19、参数进行初始化；DSP程序编译后生成可执行文件，通过JTAG或串口将程序烧写到DSP双通道视频处理子系统中；（3）实现轮胎吊车行进过程中的轨迹自动纠偏：单片机将四个摄像头检测出的偏角进行融合，然后将融合后的偏角经过串口发给PLC控制系统对轮胎吊车进行控制，稳健地实现轮胎吊车行进过程中的轨迹自动纠偏。0021 所述步骤（2）中摄像头标定方案包括以下步骤：（1）将摄像头安装好，并确定大地坐标系的坐标原点，调节相应的俯仰角，使其视野可观察到距其地面投影前方27m的区域；（2）在摄像头视野区域内放置至少4个标定物，以大地坐标系原点为参考，记录标定物的地面坐标位置；（3）在DSP采集的标定场景图像中选择。
20、其中一幅，将其导入到计算机中，并通过鼠标在图像中选择标定物查看其像素位置，并与其地面坐标对应起来成对记录；（4）根据获取的标定物的地面坐标位置和图像中的坐标位置，通过投影变换计算摄像头的标定参数；说 明 书CN 102060234 ACN 102060239 A 4/8页7（5）利用标定参数对图像中检出的直线进行坐标变换，得到其在地面坐标系下对应的位置，进而估算出当前图像中检出的直线与既定轨迹之间的偏角。0022 本发明的目的是针对轮胎吊车进行轨迹自动纠偏这一问题，提出并实现一种基于视觉反馈的轮胎吊车行进轨迹视频纠偏方案，采用嵌入式实时处理技术，同时处理不同视角下获取的四路视频，快速、准确、稳。
21、健地获取吊车行进过程中偏离既定轨迹的偏角，并将其发送给PLC，最终实现轮胎吊车行进轨迹的自动纠偏。0023 为实现上述目的，本发明的技术解决方案是设计一套轮胎吊车进行轨迹视频纠偏系统，系统设计具体包括以下方面：（1）DSP双通道视频处理子系统：采用核心板+基板的模块化结构设计了DSP视频处理子系统，该系统具有最小化、低成本、良好通用性和扩展性等优点，可同时处理两路摄像头采集的视频，并可通过VP0通道交替显示两路视频的处理结果；（2）两块DSP视频处理子系统加单片机实现四路视频处理及信息融合：轮胎吊车的左右两侧各安装两个摄像头，分别与一块DSP视频处理子系统相连，将两块DSP处理的结果通过串口送。
22、入单片机，以此来简化DSP之间的通信。单片机将四个安装在不同视角下的摄像头检出的轨迹偏角进行融合，增强偏角检测的稳健性，然后将融合后的偏角经过串口发给PLC对吊车进行控制，实现吊车行进过程中的轨迹自动纠偏；（3）多扩展接口的灵活设计：每块DSP视频处理系统具有两个串口（其中一个可配置为RS485）可与单片机和计算机进行通信，此外还有一个JTAG口可与计算机通信，方便系统调试和功能扩展；单片机具有四个串口，其中两个配置为RS485，两个配置为RS232；（4）摄像头标定方案：针对特定的应用背景，将DSP采集的图像通过JTAG导入计算机上，利用投影变换方法计算摄像头的标定参数，并通过JTAG或串口。
23、将程序烧写到DSP中；此外，可选用同一型号和固定焦距的摄像头，通过固定俯仰角和架设高度，可简化摄像头参数标定工作。0024 所述DSP双通道视频处理子系统，是利用嵌入式系统实现视频的实时处理，其设计包括以下方面：a、DSP核心板：核心板仅包含TMS320DM642芯片、Nor Flash存储芯片和两个SDRAM芯片等主要芯片，不包含扩展接口，图2给出了DSP双通道视频处理子系统的原理图。DSP芯片所有的IO及外设功能通过两排针脚引出，通过将核心板插入到基板上，可充分利用DSP的功能，这一模块化设计可加快开发进度，降低开发成本，提高系统的扩展性；b、扩展基板：基板上主要包括电源芯片、串口扩展芯片。
24、、两个视频解码芯片(TVP5150)和一个视频编码芯片(SAA7121H)，为了保证视频模块的正常工作，对视频信号进行防浪涌防护，采用三为技术有限公司生产的SJ3-1/2 型号视频防雷防浪涌模块；将核心板插到基板上，通过改变基板设计，可灵活地实现不同功能需求，最小化地裁剪系统；c、看门狗模块和状态指示模块：看门狗模块用于监视系统是否正常工作，如果工作不正常则重启系统。状态指示模块主要由2个LED组成，其中一个用于指示电源是否正常，另外一个用于指示系统是否工作正常。同时，在状态指示模块中预留几路IO，用于系统扩展；d、电源模块：基板上的电源芯片为DSP核心板和基板同时供电，其中采用TI的开关电源。
25、芯片TPS5450，输入电压范围5.5V36V，转换效率高达90%以上，输出电压为5V，输出电流5A，为DSP核心板及基板的电源，DSP处理器IO及外围SDRAM，Nor flash等芯片采用说 明 书CN 102060234 ACN 102060239 A 5/8页83.3V电源供电，DSP内核采用1.4V电源供电。0025 为防止系统短路烧毁等严重问题，电源输入应串接一个可恢复保险丝，根据系统额定功耗（电流）等参数来选型。因接入系统电源为24V直流，在线路正极串接一个整流二极管防反接烧毁系统，也可选用整流桥方式，不管直流电源接入的正负极方向如何均可正常工作，这里选择整流二极管是考虑到系统功。
26、耗，正常工作时所需电流较大，理论峰值约1A，由于长期正向导通，PN结面积大散热也较好，适应环境高温的能力更好，且整流二极管价格并不高，所以选择5A的整流二极管串接在正极电源线中。由于工作环境恶劣，存在大功率电机和高压线，线路自身电感很容易引起浪涌，电源防护需格外考虑。考虑到浪涌电流的特点，峰值电流大（能量较大），上升和下降时间较缓慢，而脉冲群尖峰时间短，脉宽窄，峰值电压高，综合考虑，电源芯片输入端采用压敏电阻和TVS管结合防护的方法，压敏电阻对浪涌有较好的防护功能，位于输入保护的第一级较为合适，TVS响应时间短的特点对脉冲群会起到较好的钳制平缓作用，位于保护的第二级。0026 所述两块DSP视。
27、频处理系统加单片机实现四路视频处理及信息融合，其设计包括以下方面：a、双通道视频实时处理：一块DSP视频处理子系统连接轮胎吊车左侧的前后两个摄像头，通过DSP的VP1和VP2口同时采集和处理前后两路视频，获取前后两个视角下吊车偏离既定行进轨迹的角度 ，另一块DSP视频处理子系统连接轮胎吊车右侧的前后两个摄像头，通过DSP的VP1和VP2口同时采集和处理前后两路视频，获取前后两个视角下吊车偏离既定行进轨迹的角度，如图1的原理框图所示，并均可通过VP0口交替显示前后两路视频的处理结果，通过设置中断优先级和采集延时等待，可实现两路交替采集与显示的同步；b、单片机信息融合：为实现两块DSP视频处理系统。
28、之间的同步，并增强系统的稳健性，简化DSP之间的通信以及实现DSP视频处理子系统的模块化，将两个DSP视频处理子系统获取的轮胎吊车左右行进轨迹在前后视角下的偏角和经过串口送到单片机中按照加权平均准则进行融合，如图1所示，得到一个可信度更高、更精确的偏角作为最终需要的偏角；c、基于视觉反馈的自动控制：单片机将每一时刻得到的融合偏角按照一定的数据格式，采用Modbus协议方式通过串口发送给PLC，实现对轮胎吊车行进方向的自动控制，实现行进轨迹的自动纠偏。 0027 扩展接口的设计包括：a、每块DSP视频处理子系统扩展两个串口（其中一个可配置为RS485）和一个JTAG口。由于TMS320DM642。
29、自身不具有串口，所以采用串口芯片扩展方案。串口扩展芯片选择TL16C752B，扩展两路串口，电平转换芯片采用MAX3232和SN75176(或SN75LBC184)分别进行TTL-RS232、TTL-RS485电平的转换，可同时实现RS232或RS485通信；JTAG口可与计算机通信，方便调试和摄像头标定，简化DSP的软件和算法，有利于DSP视频处理子系统的模块化；b、单片机具有四个串口，其中两个配置为RS485，两个配置为RS232，并有一个JTAG口，便于调试，当环境电磁干扰强，通信距离远时，可采用RS485进行传输；说 明 书CN 102060234 ACN 102060239 A 6/。
30、8页9c、状态指示和复位：DSP核心板和单片机均扩展出系统复位开关，并扩展出多个指示灯接口，用于指示电源或工作状态；d、通信协议设计：利用串口可方便与单片机和计算机进行通信，在设计通信协议时，应使DSP视频处理模块的接口(RS232端口)能与PLC(型号为HE-XE102)端口进行一对一通讯直连，本发明采用工业控制领域应用较为广泛的Modbus协议，主要包括DSP与单片机之间的通信以及单片机与PLC之间的通信。通讯参数包括：角度表示、数据通信奇偶校验、DSP系统工作是否正常指示、危险报警指示。0028 所述摄像头标定方案包括以下步骤：a、将摄像头安装架设好，并确定大地坐标系的坐标原点，坐标原点。
31、可取摄像头中心在地面上的投影，通过调节摄像头的俯仰角，使其视野可观察到距其地面投影前方2-7m的区域，确保在图像中检出吊车的行进轨迹；b、在摄像头视野区域内按一定间隔放置若干个小的、颜色鲜艳的标定物（不少于4个），以大地坐标系原点为参考，记录标定物的地面坐标；c、在DSP采集的标定场景图像中选择其中一幅，将其导入到笔记本电脑中，打开利用VC+6.0编制的软件，导入标定场景图像，通过鼠标在图像中选择标定物并查看其像素位置，将对应标定物的实际地面坐标输入； d、根据获取标定物的地面坐标位置和图像中坐标位置，通过投影变换计算摄像头的标定参数。针对地平面上直线检测的特定应用环境，将传统的投影变换方法进。
32、行简化。投影变换的公式如下：（1）或表示矩阵展开形式 （2）这里是一个空间点的世界坐标，是该点投影在图像平面的坐标，以像素为单位。被称作摄像机矩阵，或者内参数矩阵。是基准点（通常在图像的中心），是以像素为单位的焦距。所以如果因为某些因素对来自于摄像机的一幅图像升采样或者降采样，所有这些参数( ,和)都将被缩放（乘或除）同样的尺度。内参数矩阵不依赖场景的视图，一旦计算出，可被重复使用（只要焦距固定）。旋转平移矩阵被称作外参数矩阵，它用来描述相机相对于一个固定场景的运动，或者相反，物体围绕相机的的刚性运动。也就是将点的坐标变换到某个坐标系，这个坐标系相对于摄像机来说是固定不变的。本发明采用一种简化。
33、的透视变换方法，其原理如图3所示。式(2)可简化为说 明 书CN 102060234 ACN 102060239 A 7/8页10（3）其中，为系数矩阵，目的是使得下面数据为1，构成齐次方程，为旋转矩阵。和分别为空间标定点在图像中对应点的横坐标和纵坐标构成的向量，和分别为空间标定点在地平面的纵横坐标构成的向量。这里假定垂直地平面的方向为Z轴。0029 利用式(3)可计算出摄像头的标定参数，并可通过投影反变换来观察估计出的摄像头标定参数是否准确。0030 5）利用标定参数对图像中检出的直线进行坐标变换，得到其在地面坐标系下对应的位置，进而估算出当前图像中检出的直线与既定行进轨迹之间的偏角。实施例。
34、0031 轮胎吊车行进轨迹视频纠偏系统的原理框图如图2所示，该系统由四个摄像头、两块DSP双通道视频处理子系统、一块单片机以及接插件构成，初始安装调试时需配备笔记本电脑和DSP仿真器。其中摄像头在选择时注意防水、温度范围、视角和分辨率等参数，DSP采用TI开发的一款适用于图像处理的芯片TMS320DM642，视频解码芯片采用TVP5150，编码芯片采用SAA7121H，单片机采用MSP430F5438芯片，DSP和单片机的串口扩展芯片采用TL16C752B，扩展两路串口，电平转换芯片采用MAX3232和SN75176(或SN75LBC184)分别进行TTL-RS232、TTL-RS485电平转。
35、换，可同时实现RS232或RS485通信。0032 系统软件部分涉及DSP编程，DSP与单片机和计算机之间的通信，单片机与PLC之间的通信，摄像头标定方案。视频实时处理算法采用DSP编程实现，摄像头标定软件以Visual C+6.0为工具进行开发，可利用DSP采集的图像进行摄像头标定，并计算出标定参数。0033 下面结合图4说明该发明在实际工作中的具体实施过程，其步骤如下：a、将系统主机接上24VDC的电源，从主机后面板中间的四个BNC连接四个摄像头的视频线，并将摄像头电源线接在右边三个航插上，最右侧的两个BNC分别为两块DSP的VP1口，用于显示采集视频的处理结果；b、将JTAG口连接DSP。
36、仿真器和笔记本电脑，然后开启电源开关，将DSP采集的图像经过JTAG口保存到笔记本电脑中；c、在笔记本电脑中打开摄像头标定软件，导入由DSP采集的图像，进行摄像头标定，并利用计算出的摄像头标定参数对DSP程序中的参数进行初始化；d、DSP程序编译后形成可执行文件，并通过JTAG口烧写至DSP中；e、将仿真器从DSP主机上取下，重新上电复位，DSP即可正常工作，实现双通道的实时处理；f、采集的图像将经过裁剪、降采样、Sobel边缘检测和图像分割等，然后利用Hough变换检出直线对应的参数；g、利用摄像头标定参数将图像中检出的直线参数变换到大地坐标系下，估计出图像中检出的直线偏离既定轨迹的角度，并通过聚类和滤波剔除一些干扰直线及其对应的偏角；说 明 书CN 102060234 A。