远程车辆监控系统和方法.pdf

一种远程车辆监控系统和方法，该系统接收与车辆101有关的航拍图像、数据以及车辆图像的请求。在图像中定位车辆。提供了包括车辆的部分航拍图像和/或基于以上的信息。

权利要求书1.  一种系统，其特征在于，包含计算机服务器，计算机服务器包括处理器和存储器，存储器存储处理器可执行的指令以便服务器配置用于：接收航拍图像；接收与车辆有关的数据；接收车辆图像的请求；在图像中识别车辆；以及至少根据包括车辆的部分航拍图像提供信息，该信息包括部分航拍图像、车辆的位置、车辆的路线、车辆陷入的事故以及车辆的状态中的至少一项。2.  根据权利要求1所述的系统，其特征在于，进一步包含携带照相机的飞机，照相机配置用于获得航拍图像，且飞机配置用于传输航拍图像至服务器。3.  根据权利要求1所述的系统，其特征在于，服务器进一步配置用于：将地理坐标系应用于航拍图像，以及根据在与车辆有关的数据中提供的地理坐标在图像中定位车辆。4.  根据权利要求1所述的系统，其特征在于，车辆被标上识别标记，服务器进一步配置用于根据识别标记在图像中定位车辆。5.  根据权利要求1所述的系统，其特征在于，航拍图像是动态图像，据此包括车辆的部分航拍图像是动态图像。6.  根据权利要求1所述的系统，其特征在于，车辆中的计算机和移动用户设备之一提供请求至服务器。7.  根据权利要求1所述的系统，其特征在于，接收包括车辆的部分航拍图像的设备将该部分航拍图像叠加在包括车辆位置的区域地图上。8.  一种方法，其特征在于，包含：接收航拍图像；接收与车辆有关的数据；接收车辆图像的请求；在图像中识别车辆；以及至少根据包括车辆的部分航拍图像提供信息，该信息包括部分航拍图像、车辆的位置、车辆的路线、车辆陷入的事故以及车辆的状态中的至少一项。9.  根据权利要求8所述的方法，其特征在于，进一步包含：使用飞机中的照相机获得航拍图像；以及从飞机传输航拍图像至服务器。10.  根据权利要求8所述的方法，其特征在于，进一步包含：将地理坐标系应用于航拍图像，以及根据在与车辆有关的数据中提供的地理坐标在图像中定位车辆。11.  根据权利要求8所述的方法，其特征在于，车辆被标上识别标记，服务器进一步配置用于根据识别标记在图像中定位车辆。12.  根据权利要求8所述的方法，其特征在于，航拍图像是动态图像，据此包括车辆的部分航拍图像是动态图像。13.  根据权利要求8所述的方法，其特征在于，车辆中的计算机和移动用户设备之一提供请求。14.  根据权利要求8所述的方法，其特征在于，接收包括车辆的部分航拍图像的设备将该部分航拍图像叠加在包括车辆位置的区域地图上。15.  一种系统，其特征在于，包含：能够包括在车辆中的计算设备，计算设备包括处理器和存储器，存储器存储处理器可执行的指令以便该设备配置用于传输车辆位置的地理坐标以及车辆的标识；携带照相机的飞机，照相机配置用于获得包括车辆位置的地理坐标的地理区域内的航拍图像，且飞机配置用于传输航拍图像至服务器；以及计算机服务器，计算机服务器包括处理器和存储器，存储器存储处理器可执行的指令以便服务器配置用于：接收航拍图像；接收车辆地理坐标和标识；接收车辆图像的请求；至少根据包括车辆的部分航拍图像提供信息，该信息包括部分航拍图像、车辆的位置、车辆的路线、车辆陷入的事故以及车辆的状态中的至少一项。16.  根据权利要求15所述的系统，其特征在于，进一步包含配置用于接收包括车辆的部分航拍图像的远程用户设备。17.  根据权利要求15所述的系统，其特征在于，服务器进一步配置用于：将地理坐标系应用于航拍图像，以及根据在与车辆有关的数据中提供的地理坐标在图像中定位车辆。18.  根据权利要求15所述的系统，其特征在于，航拍图像是动态图像，据此包括车辆的部分航拍图像是动态图像。19.  根据权利要求15所述的系统，其特征在于，接收包括车辆的部分航拍图像的设备将该部分航拍图像叠加在包括车辆位置的区域地图上。

说明书远程车辆监控系统和方法
技术领域
本发明涉及一种远程车辆监控的系统和方法。
背景技术
现有的用于追踪和引导车辆的机构缺乏足够的在现实世界系统中使用的可靠性。例如，车辆GPS(全球定位系统)坐标不总是可用的，或者是间歇地可用。进一步地，GPS坐标不提供有关车辆位置或操作的环境，例如关于周边道路、地标、交通状况、驾驶员行为等信息。因此，车辆定位和追踪领域需要改进。例如，需要更好的机构追踪被盗的车辆、无经验的驾驶员驾驶的车辆、用于出租的车辆等。进一步地，需要用于自主、半自主以及其他可视/雷达传感安全系统的机构。也缺乏确定交通信号灯时间以及引导车辆以使制动最小化且提高节约燃料的机构。
发明内容
本发明的目的在于提供一种实现远程车辆监控的系统和方法。
一种系统，包含计算机服务器，计算机服务器包括处理器和存储器，存储器存储处理器可执行的指令以便服务器配置用于：
接收航拍图像；
接收与车辆有关的数据；
接收车辆图像的请求；
在图像中识别车辆；以及
至少根据包括车辆的部分航拍图像提供信息，该信息包括部分航拍图像、车辆的位置、车辆的路线、车辆陷入的事故以及车辆的状态中的 至少一项。
进一步地，进一步包含携带照相机的飞机，照相机配置用于获得航拍图像，且飞机配置用于传输航拍图像至服务器。
进一步地，服务器进一步配置用于：
将地理坐标系应用于航拍图像，以及
根据在与车辆有关的数据中提供的地理坐标在图像中定位车辆。
进一步地，车辆被标上识别标记，服务器进一步配置用于根据识别标记在图像中定位车辆。
进一步地，航拍图像是动态图像，据此包括车辆的部分航拍图像是动态图像。
进一步地，车辆中的计算机和移动用户设备之一提供请求至服务器。
进一步地，接收包括车辆的部分航拍图像的设备将该部分航拍图像叠加在包括车辆位置的区域地图上。
一种方法，包含：
接收航拍图像；
接收与车辆有关的数据；
接收车辆图像的请求；
在图像中识别车辆；以及
至少根据包括车辆的部分航拍图像提供信息，该信息包括部分航拍图像、车辆的位置、车辆的路线、车辆陷入的事故以及车辆的状态中的至少一项。
进一步地，进一步包含：
使用飞机中的照相机获得航拍图像；以及
从飞机传输航拍图像至服务器。
进一步地，进一步包含：
将地理坐标系应用于航拍图像，以及
根据在与车辆有关的数据中提供的地理坐标在图像中定位车辆。
进一步地，车辆被标上识别标记，服务器进一步配置用于根据识别标记在图像中定位车辆。
进一步地，航拍图像是动态图像，据此包括车辆的部分航拍图像是动态图像。
进一步地，车辆中的计算机和移动用户设备之一提供请求。
进一步地，接收包括车辆的部分航拍图像的设备将该部分航拍图像叠加在包括车辆位置的区域地图上。
一种系统，包含：
能够包括在车辆中的计算设备，计算设备包括处理器和存储器，存储器存储处理器可执行的指令以便该设备配置用于传输车辆位置的地理坐标以及车辆的标识；
携带照相机的飞机，照相机配置用于获得包括车辆位置的地理坐标的地理区域内的航拍图像，且飞机配置用于传输航拍图像至服务器；以及
计算机服务器，计算机服务器包括处理器和存储器，存储器存储处理器可执行的指令以便服务器配置用于：
接收航拍图像；
接收车辆地理坐标和标识；
接收车辆图像的请求；
至少根据包括车辆的部分航拍图像提供信息，该信息包括部分航拍图像、车辆的位置、车辆的路线、车辆陷入的事故以及车辆的状态中的至少一项。
进一步地，进一步包含配置用于接收包括车辆的部分航拍图像的远程用户设备。
进一步地，服务器进一步配置用于：
将地理坐标系应用于航拍图像，以及
根据在与车辆有关的数据中提供的地理坐标在图像中定位车辆。
进一步地，航拍图像是动态图像，据此包括车辆的部分航拍图像是动态图像。
进一步地，接收包括车辆的部分航拍图像的设备将该部分航拍图像叠加在包括车辆位置的区域地图上。
根据本发明的远程车辆监控的系统和方法，能够增强用于追踪和引导车辆的机构在现实世界系统中使用的可靠性，也能够起到使制动最小化且提高节约燃料的作用。
附图说明
图1是示例性远程车辆监控系统的框图。
图2是用于远程车辆监控的示例性过程的图。
图3是用于从远程车辆监控提供数据的示例性过程的图。
图4是将来自远程车辆监控的数据用作至自主车辆操作的输入的第一示例性过程的图。
图5是将来自远程车辆监控的数据用作至自主车辆操作的输入的第二示例性过程的图。
图6是用于提供速度建议至车辆和/或车辆操作者的示例性过程的图。
具体实施方式
系统概述
图1是示例性远程车辆监控系统100的框图。车辆105中的计算机105可以配置用于通过网络120与一个或多个远程站点包括服务器125进行通信，这样的远程站点可能包括数据存储130。车辆101包括车载计算 机105，其配置用于从GPS设备107和/或一个或多个数据采集装置110接收信息(如采集到的数据115)。计算机105通常包括自主驾驶模块106，自主驾驶模块106包含用于自主地(即没有操作员输入的情况下)操作车辆101的指令，其通常使用来自数据采集装置110的信息以及可能包括响应从控制点124的服务器125接收到的指令。
包括在或可通信地耦合至控制点124的服务器125的数据存储130可以包括图像数据140，如从一架或多架飞机160携带的一个或多个照相机165获得的地理区域的高分辨率的航拍图像。服务器125通常连同采集到的数据115处理图像数据140以提供与一辆或多辆车辆101有关的信息。例如，服务器125可以确定车辆101的识别信息(如从针对车辆101采集到的数据115得到的车辆101的GPS坐标)、从计算机105传输的和/或存储在服务器125中与车辆101的标识(例如贴在车辆101上部的字母、数字、符号等)相关的车辆101的可视识别信息。然后，服务器125可以定位包括车辆101图像的部分图像数据140。
因此，可以提供车辆101的图像和/或它周围的环境图像至用户设备150和/或计算机105。因此，系统100可以提供有关车辆101在各种环境中的有用信息，如追踪或定位被盗的车辆101、未成年驾驶员操作的车辆101、定位出租车或诸如此类、查看一些或全部车辆101正在穿过或预期穿过的路线以确定交通状况、道路状况(如关于建设、事故等)。进一步在这个方面，系统100可以提供对车辆101导航有用的信息，如在检测到造成安全威胁或航行障碍的道路危险的情况下，车辆101在包括地图上未标明的障碍的区域内(如停车场)需要导航的情况下，等。
典型系统要素
车辆
系统100可以提供与车辆101(如汽车、卡车、船只、飞机等)有关的信息，且通常可以提供与多辆车辆101有关的信息。如图1所示，车辆101包括车载计算机105，车载计算机105通常包括处理器和存储器，存储器包括一种或多种形式的计算机可读介质且存储处理器可执行的用 于执行包括如本发明公开的各种操作的指令。进一步地，计算机105可以包括或被可通信地耦合至多于一个计算设备，如控制器或诸如此类包括在车辆101中用于监控和/或控制各种车辆部件的设备(如发动机控制单元(ECU)、变速器控制单元(TCU)等)。要注意的是，虽然为了便于说明在图1中示出了一辆车辆101，但是系统100可以服务且适用于服务多辆车辆101，可能是数千、成千上万的或更多。
车辆101中的计算机105以及这样的其他计算设备通常配置用于在控制器局域网(CAN)总线或诸如此类上进行通信。计算机105也可以与车载诊断装置连接器(OBD-II)连接。通过CAN总线，OBD-II，和/或其它有线或无线机制，计算机105可以传递信息至车辆中的各种设备和/或从各种设备接收信息，该各种设备如控制器，驱动器，传感器等，包括数据采集装置110。可选地或附加地，在计算机105实际上包含多个设备的情况下，CAN总线或诸如此类可用于本发明中由计算机105表示的设备之间的通信。另外，计算机105可配置用于与网络120通信，如下所描述，该网络120可以包括各种有线和/或无线网络技术，如蜂窝技术，蓝牙，有线和/或无线分组网络等。
通常包括在计算机105存储和执行的指令中的是自主驾驶模块106。使用计算机105如从数据采集装置110、服务器125等接收到的数据，模块106可以在无驾驶员操作车辆101的情况下控制各种车辆101部件和/或操作。例如，模块106可以用于调节车辆101的速度，加速度，减速度，转向，部件(如灯，挡风玻璃刮水器等)的操作。进一步地，模块106可以包括用于根据计算机105如从GPS设备107和/或数据采集装置110接收到的信息评估和执行自主操作的指令。
已知GPS(全球定位系统)设备107用于与GPS卫星通信且如根据指定经度和纬度的地理坐标确定车辆101的位置。GPS设备107可以用在车辆101中如参照GPS设备107和/或计算设备105显示的地图以提供位置。进一步地，GPS设备107可以如通过网络120和/或计算设备105传达车辆101位置(如车辆101的地理坐标)至服务器125。
数据采集装置110可以包括多种设备。例如，车辆中的各种控制器可以起到数据采集装置110的作用，以通过CAN总线提供数据115，如与车辆速度，加速度等有关的数据115。进一步地，传感器或诸如此类可以被包括在车辆中，且配置作为数据采集装置110以直接为计算机105提供数据，如通过有线或无线连接。传感器数据采集装置110可以包括例如RADAR(雷达)，LADAR(激光雷达)，声波定位仪等机构，及部署用于测量车辆101与其它车辆或物体之间的距离的传感器。然而其他传感器数据采集装置110可以包括照相机、体内酒精测定器、运动检测器等，即数据采集装置110以为提供有关车辆101操作者和/或乘员信息提供数据。
计算机105的存储器通常存储采集到的数据115。采集到的数据115可以包括车辆101中采集到的多种数据，包括位置信息例如通过GPS设备107得到的地理坐标。采集到的数据115的例子上面已提供，此外，数据115通常使用一个或多个上述的数据采集装置110进行采集，此外数据115可以包括在计算机105中和/或服务器125中由此计算出的数据。总之，采集的数据115可以包括任何可以被采集装置110收集的数据和/或从这些数据中计算出的数据。因此，采集到的数据115可以包括与车辆101操作和/或性能有关的多种数据，也涉及环境状况、道路状况等与车辆101有关的数据。如以上或以下进一步地讨论，通常提供某些采集到的数据115(如GPS坐标)至服务器125，该数据115通常与提供的采集到的数据115的车辆101唯一或大体唯一的标识符相关。
网络
网络120代表一种或多种机制，通过该机制计算机105可以与远程服务器125通信。因此，网络120可以是各种有线或无线通信机制中的一种或多种，包括任何可取的有线(如电缆和光纤)和/或无线(如蜂窝技术，无线网络，卫星，微波和射频)通信机制的组合和任何可取的网络拓扑(或当使用多个通信机制时的多个拓扑)。典型的通信网络包括提供数据通信服务的无线通信网络(如使用蓝牙，IEEE 802.11等)，局域网(LAN)和/或广域网(WAN)，包括互联网。
控制点
虽然为了便于说明，在图1中示出了一个控制点124，但是在系统100的情况下多个控制点124和多个服务器125是可能的。例如，在给定的地理区域内，第一控制点124可以专用于提供信息和/或指令至车辆101计算机105中的模块106以指导自主车辆操作。第二控制点124可以专用于获得、分析以及传播图像数据140。此外或可选地，在地理区域内的多个控制点124可以提供冗余、额外容量等。
控制点124可以包括一个或多个计算机服务器125，每个服务器125通常包括至少一个处理器和至少一个存储器，存储器存储处理器可执行的指令，包括用于执行本发明中描述的各种步骤和过程的指令。服务器125可以包括或被可通信地耦合至用于存储采集到的数据115和/或图像数据140的数据存储130。例如，采集到的与车辆101在不同时期的GPS坐标有关的数据115可以存储在数据存储130中。为了与飞机160通信，服务器125可以包括或被可通信地耦合至无线电频率(RF)设备。照相机165通过RF连接或一些其他的机制(如通过网络120)提供的图像数据140可以存储在数据存储130中，如它的部分可以由服务器125分析和/或处理。
用户设备
用户设备150可以是多种包括处理器和存储器以及通信设备的计算设备中的任何一个。例如，用户设备150可以是手机或便携式计算机、平板电脑、智能电话等，其包括使用IEEE 802.11、蓝牙和/或蜂窝通信协议进行无线通信的设备。进一步地，用户设备150可以使用这样的通信设备通过网络120如与服务器125通信。例如，用户设备150能够访问用户账户或存储在服务器125上的诸如此类和/或访问服务器125以获取图像数据140，包括从照相机165接收到的如本发明中以下进一步描述的服务器125已分析和/或处理的部分图像数据140。
进一步地，用户设备150可以如通过网络120和/或直接与车载计算机105通信，如使用蓝牙。因此，用户设备150可以用于执行本发明中 的某些操作，其归因于数据采集装置110，如全球定位系统(GPS)功能等，且用户设备150可以用于提供数据115至计算机105。进一步地，用户设备150可以用于提供人机界面(HMI)至计算机105。
飞机
飞机160可以是自主飞机或诸如此类(如已知的“无人驾驶飞机”)能够在高海拔飞行(如33,000英尺或33,000英尺以上)显著的一段时间(如几周或几个月)的飞机。可以以已知的方式(如从控制点124)操作和控制飞机160，因此，飞机160可能连同一架或多架其他飞机160(为了便于说明在图1中只示出了一架飞机160)可以提供与指定地理区域有关的图像数据140至一个或多个远程站点124。如上所提及的，可以在飞机160和站点124之间提供专用的RF连接。因此，飞机160可以包括计算设备或诸如此类用于从照相机165接收图像数据140以及用于提供这样的图像数据140至在控制点124的服务器125的设备。
飞机160通常携带一个或多个用于捕捉图像数据140的照相机165。例如，照相机165可以是例如已知的用于捕捉在飞机160下面的地面上的地面和物体的静止的和/或移动的高分辨率图像的设备。进一步地，照相机165可以包含各种已知的用于适应除清晰视觉条件以外的条件(如黑暗、多云等)的技术。例如，照相机165可以使用综合孔径雷达(SAR)、红外线成像等补偿多云、黑暗等。
典型过程流程
图2是用于远程车辆101监控的示例性过程200的图。应该指出的是，虽然以上车辆101被描述为自主车辆，但是系统100可以包括不包括用于自主操作的部件(如自主驾驶模块106)，用于提供自主操作的信息的数据采集装置110等的车辆101。此外，即使配置用于自主操作，在系统100的情况下，可以不自主操作车辆101。
过程200开始于框205，在框205中服务器125从飞机160中接收图像数据140。如上所提及的，专用的RF连接可以存在于远程站点124和飞机160之间，用于通信包括图像数据140和/或与飞机160的状态、操 作等有关的信息的传送。
下一步，在框210中，服务器125可以在数据存储130中存储图像数据140和/或执行预处理，如在接收任何与图像数据140有关的用户请求之前执行的图像数据140的处理。例如，服务器125可以将地理区域内的图像分成小的图像，可以放大或以其他方式放大图像或图像中的特征，可以在单张或多张图像中标注坐标至地理坐标，等。总之，服务器125将地理坐标系应用于从飞机160得到的航拍图像数据140，从而根据车辆101提供的地理坐标和/或根据贴在车辆101上的标记容易得地得到车辆101的位置。
下一步，在框215中，服务器125可以处理如从一个或多个与一辆或多辆车辆101有关的用户设备150接收到的图像数据140的请求。关于图3的过程300的请求的处理在以下进行更详细地描述。
在框215之后，在框220中，服务器125确定是否继续过程200。通常，过程200在服务器或服务器125集群上连续或大体上连续执行。进一步地，应当理解的是，对于不同的图像数据140和/或图像数据140的请求，可以连续或大体上连续地执行上述讨论的框205、210、215。当然，过程200不会无限执行。例如，为了维护等，服务器125可以关机或离线。在任何情况下，过程200返回至框205继续，否则结束。
图3是用于从远程车辆监控提供数据的示例性过程300的图。
过程300开始于框305，在此之前，为了说明过程300，应当理解的是，服务器125如上关于过程200的框205、210的描述接收和/或预处理图像数据140。在框305中，服务器125确定它是否已如从用户设备150接收到与车辆101有关的数据的请求。如上所述，用户设备150可以根据用户账号或诸如此类访问服务器125。例如，用户可以订阅或诸如此类以接收与一辆车辆101或多辆车辆101有关的图像数据140。因此，图像数据140的请求可以指定用户账号和/或与请求有关的用户标识和/或针对其请求图像数据140的车辆101的标识，如车辆识别码(VIN)。请求也可以指定请求的图像数据140的类型，如静止图像、移动图像等。进一 步地，请求可以指定其他请求数据，如图像上地图信息的叠加，例如街道名称、地标名称、自然特征(如河流)、政府边界等。
请求也可以包括时间标记和/或附加的请求涉及车辆101的数据的有关时间段的指示。例如，如果车辆101陷入事故中例如与另一辆车辆碰撞或其他交通事故，车辆101可以发送信息至服务器125表明车辆101陷入事故中。然后，在以下关于过程300进一步描述的定位和提供请求数据中，服务器125可以包括在与事故有关的时间标记周围的时间窗口中的数据，如加/减一分钟等。
如果在框310中接收到请求，过程300返回至框305。然而，如果这样的请求已被接收，过程300转到框315。
下一步，在框310中，服务器125检索与在框305中接收到请求相关的图像数据140，且尝试定位请求中指定的车辆101。例如，服务器125已从作为请求对象的车辆101接收到采集到的数据115，包括地理坐标或诸如此类表明车辆101位置的数据。因此，服务器125可以识别显示车辆101位置的部分图像数据140，且可以甚至突出或以其他方式(如通过叠加于部分图像数据140上的环绕该位置的圆圈以及指向它的箭头等)提供车辆101位置的图像指示。可选地或此外，车辆101可以将识别标记(如字母、数字、符号等)如以目前用于公路执法车的方式贴到其上(如车辆101的车顶)。服务器125可以使用图像处理技术以识别这样的识别标记以及从而检索适当部分的图像数据140和/或突出车辆101的图像和/或位置。
此外，服务器125可以在请求表明的位置(如以上描述的交通事故周围数据的请求或诸如此类)检索与请求有关的时间窗口的图像数据140(如视频流和/或一系列静止图像)。这样的图像数据140对于保险公司、执法人员等评估车辆101陷入的事故是有用的。
进一步地，在框310，服务器125可以提供与车辆101有关的图像数据140的分析。例如，图像识别技术可以用于识别与车辆101相关的交通状况、道路建设等。例如，图像识别技术可以用于在图像140中识别 交通堵塞和/或道路建设以便可以警告车辆101潜在破坏或计划路线的缓慢。同样地，图像分析技术可以用于识别一辆或多辆指定车辆101陷入的事故，如撞车事故、交通违章等。
在框310之后，在框315中，服务器125确定在框305的请求中表明的车辆101是否在框310中被定位。可选地或此外，服务器125可以确定事故(如撞车事故)是否能够被定位。在任何情况下，对于在框305中接收到的请求，如果图像数据140可以被识别，那么下一步执行框325。否则，下一步执行框320。
在框320中，服务器125提供信息至在框305作出请求的用户设备150，以表明作为请求对象的车辆101不能被定位。然后过程300结束。
框325可以跟随上面的框315，在框325中，服务器125发送如上关于框315的描述确定的选定图像数据140至用户设备150以响应在框310中接收到的请求。通常，但也不必然，在框315中接收图像数据140的用户设备150与在框310请求图像数据140的用户设备150是同一设备。用户设备150可以显示图像数据140。进一步地，用户设备150可以显示多个图像140，如与不同的各个车辆101有关的图像140。例如，用户设备150可以提供多屏显示或以多辆(如甚至数十、上千或更多)车辆101为特征的分屏显示，如如果用户设备接收十六辆不同车辆101的图像140，可以用4×4网格由数字、用户名等标示的每辆车辆101的形式显示图像140，此外地图数据可以叠加在图像140上以显示每辆车辆101的位置和/或地理环境。
如上面所指出的，提供至用户设备150的图像数据140可以包括车辆101位置的突出或其他的指示。进一步地，图像数据140可以包括叠加在包括车辆101的图像上的元数据(如街道名称、位置名称等)以便提供环境和更好地表示车辆101的位置。在动态图像数据140或一系列静止图像140的情况下，叠加的标记的数据可以随着车辆101位置的改变而改变。同样地，例如，可以提供图像数据140至车辆101中的计算机105，且可以在地图上或在计算机105的显示器上提供的航行信息上叠 加图像数据140。此外，对包括图像数据140的请求的响应可以包括其他信息，如车辆101在指定位置可能的到达时间，车辆101的备用路线等。
下一步，在框330中，服务器125确定它是否已接收到应该被发送到用户设备150以响应请求的附加数据。例如，如果服务器125提供动态图像数据140至设备150，如根据MPEG(活动图像专家组)格式或诸如此类的视频数据流，过程300可以返回至框325以进一步提供视频数据140流。同样地，如果服务器125提供一系列静止图像数据140至设备150，过程300可以返回至框325以进一步提供静止图像数据140。进一步地，例如，请求可以指定被发送的更新和警报。例如，可以定期提供车辆101的更新的图像140以响应请求，如每五分钟，每十分钟等。同样地，当车辆101在请求指定的位置，越过请求指定的边界，在请求指定的时间之前或之后移动等，可以发送包括车辆101的图像140的警报。
如果没有进一步数据140即将发送到用户设备，那么过程300在框330之后结束。
图4是用于将来自远程车辆监控的数据用作至自主车辆操作的输入的第一示例性过程400的图。
过程400开始于框405，在框405中服务器125从车辆101中的计算机105中接收导航援助的请求。例如，自主车辆101可以尝试在参照地图、地理坐标等不能确定路线的环境中导航。这样的环境的一个例子包括停车场，其中，汽车、障碍以及诸如此类对导航至停车场出口造成妨碍，通常这样的障碍不在地图上表示或不是参照地理坐标可测定的地标。自主车辆101可能需要导航援助的环境的另一个例子可以是这样的情况，车辆101临近其他物体或被其他物体包围，车辆101需要导航绕过他们以继续进行它的路线。例如，在停车场，自主车辆101可能被阻止自主车辆在期望的方向继续行进的购物手推车或诸如此类包围。
在任何情况下，当自主车辆101不能确定如何进行时，自主车辆101中计算机105可以配置用于从服务器125请求附加的导航援助。这样的 导航援助的请求通常包括车辆101的标识、地理坐标和/或车辆101上的标记或标志识别，以及计算机105无法确定到达路径的车辆101的路线上想要的目的地或点。
下一步，在框410中，服务器125确定关于框405提供请求的自主车辆101感兴趣的区域。例如，服务器125可以接收车辆101的地理坐标或诸如此类和/或可以使用车辆101上的标记定位车辆101，如上所述。在任何情况下，根据定位车辆101，然后，服务器125可以使用图像识别技术识别车辆101位于的环境类型，如停车场。城市街道等。然后，服务器125可以根据起点(即如上所述识别出的车辆101目前的位置)以及期望的目标点(如结束目标点、车辆101路线上的点等)确定车辆101周围感兴趣的区域。就是说。车辆101周围感兴趣的区域通常被限定为包含车辆101以及车辆101四周的半径范围，包括期望的目标点或终点。
下一步，在框415中，服务器125分析与在框410中确定的感兴趣的区域有关的图像数据140以识别物体，如固定结构(例如墙、护坡道等)和/或可移动的物体(例如购物手推车、自行车、静止的或移动的车辆等)。就是说，服务器125可以使用图像识别技术识别车辆101前进的阻碍或障碍物。例如，拥堵的停车场可以呈现迷宫状导航问题。服务器125可以基本识别停靠的车辆的行和/或障碍(例如围墙、墙、路边或诸如此类迷宫的墙)。同样地，服务器125可以识别紧靠或临近车辆101的购物手推车或诸如此类。
下一步，在框420中，服务器125产生车辆101的路线引导，如用于车辆101从它目前的位置出发到期望的终点的指令。因此，服务器125可以为计算机105产生至期望终点(如停车场出口至城市街道的点)的建议路线、导航指令(例如缓慢碰撞购物手推车以经过它前进等)。
下一步，在框425中，服务器125提供给车辆101中的计算机105如上关于框420所述地产生的路线引导。可选地或此外，服务器125可以提供上述关于框415产生的有关车辆101前进的障碍的性质和/或位置信息，且计算机105可以使用这些信息产生至期望目标点(如停车场出 口)的路线。进一步地，车辆101中的自主驾驶模块106可以将有关障碍、障碍物等的信息与从车辆011中的数据采集装置110采集到的数据115结合使用以产生至期望目标点的路线。例如，车辆101传感器110可以检测对服务器125来说从图像数据140不是显而易见的障碍物，如小凹坑、与停车场或路面颜色和纹理相同的减速带，等。
框425之后，过程400结束。进一步地，框425之后，自主车辆101可以根据如上所述产生的路线和/或指令进行导航。
图5是用于将来自远程车辆监控的数据用作至自主车辆操作的输入的第二示例性过程500的图。
过程500开始于框505，在框505中服务器125接收导航援助的请求和/或来自车辆101的计算机105的监控请求。例如，当自主驾驶操作开始时，自主车辆101可以自动地联系服务器125以请求如上关于该过程500所述的监控。作为选择，当某些情况(如风、降水等天气状况，如自主车辆101在路线上遭遇不期望的障碍等导航上的困难，等)出现时，自主驾驶模块106可以配置用于请求来自服务器125的监控。在任何情况下，在框605，车辆101中的计算机105与服务器125建立联系以开始关于车辆101的监控和/或接收服务器125产生的监控信息。
下一步，在框510中，服务器125确定关于框505提供请求的自主车辆101感兴趣的区域。可以以一种与上述讨论的框410相同的方式做出这样的确定。可选地或此外，服务器125可以用于提供特定地理区域内的监控，以及提供上述关于该过程500的监控信息，至任意车辆101或至少至订阅系统100的任意车辆101以响应如关于框505所述的请求。在任何情况下，在框510中，服务器125可以识别与车辆101相关的被监控的地理区域。
下一步，在框515中，服务器125分析与在框510确定的感兴趣的区域有关的图像信息140以识别关注的对象，如障碍物(如石头)、凹坑、停着的车辆、吹屑、飞雪、建筑物障碍等。通常，图像识别技术可以用于识别道路中不期望的对象。例如，车辆(例如汽车和卡车)连同可能 的施工设备、建筑障碍、车道分隔器等在道路中是预期的。然而，其他对象可以是不预期的和/或造成安全和/或导航危险。图像分析技术可以用于识别和将这些其他物体进行分类，如提供估计尺寸、重量以及可能类型(如岩石、建筑障碍、吹屑等)。
下一步，在框520中，低于感兴趣的区域，服务器125产生表明在框515中识别的任意关注对象各自的位置的地图。就是说，服务器125可以识别关注对象各自的地理坐标或诸如此类以便可以参照感兴趣区域的地图数据确定关注对象各自的位置。此外，服务器125可以将风险评估或行动建议与关注对象联系起来。如上所提及的，图像识别技术可以用于识别或将特定的关注对象分类。连同这些识别或分类，服务器125可以进一步评估与关注对象相关的风险。例如，吹到路面上的纸碎片有低级别风险。飞雪有中等级别风险。路面上的卵石或停着的车辆可以呈现出高级别风险。此外，卵石或停着的车辆需要自主车辆101的行动，如停车和/或导航绕开障碍物。其他物体(例如纸碎片)不需要自主车辆101的行动。
服务器125也可以提供与每个对象有关的置信因数。例如，图像140的分析可以将物体识别为具有不同的可被量化的置信度，如百分之五十置信度、百分之七十五置信度、对象已被准确识别的百分之九十九置信度。
进一步地，可以提供用于通过计算机105显示的可视地图。例如，图标、图库图片或诸如此类可以叠加到感兴趣的区域的图像数据140和/或路线图或诸如此类上。进一步地，除了反映对象或障碍的类型，可视地图也可以包括表明与对象有关的风险类型和/或建议措施的图标或文本，如低风险、中等风险或高风险，和/或避开对象正常前进等。
框525跟随框520，在框525中，服务器125提供信息至车辆101的计算机105，如上述关于框520所述产生的对象地图。可选地或此外，服务器125可以根据对象地图提供指令(如自主模块106停止、转向、减速、加速等)至车辆101以安全地避开一个或多个被识别的物体。通常 根据服务器125的程序设计提供这些指令，但也可以根据分析图像140的人类操作者的输入和/或服务器125的对象识别、风险评估和/或置信评估提供这些指令。
进一步地，自主模块106可以包括用于确定车辆101数据采集装置110是否独立地识别包括在对象地图上的对象的指令。在自主模块106不能独立地识别包括在对象地图上的对象的情况下，为了根据对象的风险级别采取措施(如对于高风险对象减速或停车，对于低风险对象正常前进等)，自主模块106可以包括用于遵循来自服务器125关于对象的指令的指令。
可选地或此外，模块106可以考虑上述提到的通过服务器125提供并与对象相关的置信因数。例如，如果服务器125表明一个被准确识别的对象具有百分之九十或以上的置信度，模块106可以包括用于产生与对象有关的自主驾驶指令的指令。另一方面，物体识别的低置信度(如低于百分之五十)可以使模块106忽视对象识别。此外，风险评估和置信评估可以结合。例如，高风险对象即使具有相对低的置信评估可以由模块106采取措施，反之亦然。
进一步地，如上所指出的，从图像数据140障碍物的预测可以结合和/或增强以从采集到的数据115障碍物的预测。例如，计算机105不能单独从图像数据140或采集到的数据115建立有关对象性质的置信级别的情况下，来自这两个来源的对象类型、尺寸和/或位置等的预测的结合或对照可以具有足够的置信级别以为导航和/或自主操作车辆101提供依据。
进一步地，在自主模块106不能独立地检测物体的情况下，自主模块106可以包括用于忽视来自服务器125的与物体有关的风险评估、置信评估和/或建议措施的指令。另一方面，自主模块106可以将它自己的对象识别与服务器125提供的对象识别结合。例如，服务器125可以表明车辆101前面的对象具有指定的置信级别，如百分之六十，且同样地车辆101可以识别对象具有某种级别的置信度，如百分之五十，然后于 是模块106可以通过结合以来自服务器125的对象识别和置信评估来依靠具有大于百分之五十置信度的对象鉴定。此外，模块106可以使用来自服务器125的对象鉴定以确认他们遇到的对象的鉴定。例如，服务器125可以提供给计算机105有关对象的信息，对象可能是道路前方的障碍或危险，如“前方1/2英里急转弯”，于是模块106可以在车辆101靠近对象时使用此信息确认它的对象鉴定，如急转弯。总之，通过比较来自服务器125的对象识别和诸如此类与车辆101的计算机105执行的对象识别或诸如此类，可以增强自主模块106的操作。
下一步，在框530中，服务器125确定过程500是否应该继续。例如，服务器125可以执行连续的或几乎连续的一个或多个与一辆或多辆车辆101有关的感兴趣的区域监控。然而，如关于框505的描述接收到的请求可以是单一对象地图和/或一次性监控。进一步地，当车辆101停车以及自主模块106停止操作等时关于车辆101的过程500可以结束。在任何情况下，如果过程500继续，控制返回至框510。否则过程500在框530之后结束。
图6是用于提供速度建议至车辆101和/或车辆101的操作者的示例性过程600的图。
过程600开始于框605，在框605中服务器125从计算设备105或用户设备150接收车辆101速度建议的请求。关于过程600做出的请求除了识别车辆101和/或它的位置之外，通常也会识别车辆101的计划路线。可选地或此外，请求可以指定针对请求的感兴趣的地理区域或根据车辆101位置由服务器125确定的感兴趣的地理区域。如上所述，可以在请求中指定和/或从图像数据140确定车辆101位置。进一步地，服务器125确定交通信号灯时间不需要请求，例如，服务器125可以分析图像140以确定时间信息，然后，在产生时间信息之后可以提供该信息以响应接收到的请求。
通常，速度建议可以与车辆101正要穿过的路线上的交通信号(如灯)的时间有关。通过调整车辆101的速度，车辆101能够安排它的行 程的时间以便在当适用于车辆101的灯是绿灯时的时间内通过十字路口或其它交通信号灯控制的区域，从而避免因为交通信号灯是黄灯或红灯造成的停车和制动。
下一步，在框610中，服务器125分析与车辆101目前的位置和/或车辆101的计划路线和/或感兴趣的地理区域(如车辆101正在行驶的特定道路)有关的图像数据140，以确定当交通信号可能造成车辆101制动或停车的时间，如当被分析地理区域内等的车辆101路线上的交通信号(如灯)可能是黄灯或红灯的时间。例如，服务器125可以分析车辆101路线上的靠近交通信号灯的交通模式以确定当交通缓慢、停止或移动的时间。服务器125也可以考虑靠近交通信号的历史交通模式，如显示代表性地在每天的不同时间、每周的不同时间、每年的时间等的交通信号时间设置。可选地或此外，服务器125可以考虑存储的关于交通信号的数据，如绿灯/黄灯/红灯的时间周期等。进一步地，除了图像数据140，服务器125可以考虑由驾驶穿过或经过交通信号的一辆或多辆车辆101传输的来自GPS设备、移动电话等的其他数据(例如信号)。通过将图像数据140与前述的一个或多个结合，服务器125可以提供具有比以可能的其他方式高的置信级别的交通信号时间预测。
应当指出的是，在某些情况下，服务器125可以具有车辆101的位置和前进方向，如从榆树街(Elm Street)与主干道(Main Street)的十字路口在主干道上向北前进，但是没有任何有关车辆101计划路线的信息。在这样的情况下，服务器125可以分析车辆101计划路线上一组交通信号的图像数据140，如车辆101计划路线上前方的预定距离，如前方一英里、前方五英里等。进一步地，如果车辆101改变它的前进方向，如从主干道向左进入栗树街(Chestnut Street)且正在栗树街上向东前进，然后，服务器125可以分析新的计划路线的图像数据140，如根据当前车辆101前进方向的当前车辆101位置前面的预定距离的一组新的交通信号，如栗树街上车辆101的东方两英里内的信号。
框610之后，下一步在框615中，服务器125传输时间信息(如当车辆101路线上的交通信号灯可能是绿灯、黄灯和/或红灯时的时间的预 测)至计算设备105或用户设备150，以响应上述关于框605的请求。
下一步，在框620中，请求的车辆101的计算设备105或用户设备150确定车辆101的建议速度。速度建议可以考虑道路状况、交通规则(例如速度限制等)，但通常也基于与车辆101路线上的交通信号灯有关的时间信息，如当灯是红灯、黄灯或绿灯时，可以由服务器125提供该时间的预测。例如，通过已知何时给定的十字路口的交通信号灯可能是绿灯，以及通过已知目前车辆101位置，计算设备105或用户设备150可以确定车辆101接近十字路口时可取的速度。因此，计算设备105或150可以确定车辆101部分或全部计划路线上可取的速度。
下一步，在框625，在框620确定的建议速度可以提供给自主驾驶模块106。然后模块106可以根据建议调整车辆101的速度。框625之后，过程600结束。
在某些情况下，自主驾驶模块106可以不存在于车辆101中或可以不使用。在这样的情况下，过程600可以省略框625，但是尽管如此可以通过用户设备150的界面、与计算设备105有关的HMI等提供给用户建议速度信息。例如，HMI可以将与交通信号灯时间有关的信息(如目标速度，如每小时的英里数或千米数)显示为表明增加速度的向上箭头、表明减速的向下箭头、或维持速度的直线等。
进一步地，如上述关于框620所提到的，对于不同的车辆101线路各个部分，计算设备105、150可以提供不同的速度建议。例如，线路的不同部分可以取决于不同的速度限制、道路状况等，但是此外为了适应车辆101路线的不同部分的交通信号灯时间信息，速度变化是可取的。
此外，在上述示例性过程600中，在收到来自服务器125的时间信息之后，速度建议由设备105、150确定。然而，服务器125可以为部分或全部车辆101路线提供一个或多个速度建议，且可以传输这些建议至设备105或150。
结论
计算设备，例如本发明中所讨论的那些，通常各自包括一个或多个 计算设备(如上所述的那些)可执行的指令，用于执行上述过程的框或步骤。例如上述讨论的过程框可以呈现为计算机可执行的指令。
计算机可执行的指令可以从使用多种程序设计语言和/或技术建立的计算机程序中被编译或解读，这些程序设计语言和/或技术，非为限制，包括JavaTM，C，C++，Visual Basic，Java Script，Perl，HTML等中单独一个或结合。通常，处理器(如微处理器)如从存储器，计算机可读介质等接收指令，并且执行这些指令，从而执行一个或多个过程，包括本发明中所述过程的一个或多个。这样的指令和其它数据可以被存储且使用多种计算机可读介质传送。计算设备中的文件通常是存储在计算机可读介质(例如存储介质，随机存取存储器等)中的数据集。
计算机可读介质包括参与提供计算机可读数据(如指令)的任何介质。这样的介质可以采取许多形式，包括但不限于非易失性介质，易失性介质等。非易失性介质包括，例如光盘或磁盘以及其他持续内存。易失性介质包括动态随机存取存储器(DRAM)，其典型地构成主存储器。计算机可读介质的普遍形式包括，例如软盘(floppy disk)，可折叠磁盘(flexible disk)，硬盘，磁带，其它磁性介质，CD-ROM,，DVD，其它光学介质，穿孔卡片，纸带，其它具有孔排列模式的物理介质，RAM，PROM，EPROM，FLASH-EEPROM，其它存储芯片或磁片盒，或其它计算机可读的介质。
在附图中，相同的附图标记指示相同元件。进一步地，这些元件中的一些或全部可以被改变。至于本发明中所述的介质，过程，系统，方法等，应当理解的是，虽然这些过程等的步骤等被描述成根据一定的有序序列发生，这些过程可以实施为以不同于本发明所述顺序的顺序来执行所述的步骤。进一步应当理解，某些步骤可以同时执行，其它步骤可以增加，或在此所述的某些步骤可以省略。换句话说，提供本发明过程的描述目的在于说明某些实施例，而不应以任何方式被解释为限制要求保护的发明。
因此，应当理解的是，上述说明旨在说明而不是限制。除了提供的 例子，在阅读上述说明基础之上许多实施例和应用对本领域技术人员来说是显而易见的。本发明的范围不应参照上述说明来确定，而是应该参照权利要求连同这些权利要求所享有的全部等效范围确定。可以预见和预期未来的发展将会发生在本发明讨论的领域，且本发明所公开的系统和方法将会被结合到这些未来的实施例中。总之，应当理解的是，本发明能够进行修改和变化并且仅被以下权利要求限定。
在权利要求中使用的所有术语旨在被给予它们最宽泛的合理解释和它们如本领域中技术人员理解的通常含义，除非在此作出明确相反的指示。特别是单数冠词如“一”，“该”，“所述”等的使用应被理解为叙述一个或多个所示元件，除非权利要求中叙述了明确相反的限制。