用于使用全景成像的增强时间推移视频生成的系统和方法.pdf

一种系统，用于周期性地记录车辆驾驶员的旅程期间车辆的GPS坐标作为旅程坐标，在检测到驾驶员注视偏离行进的方向时，根据当前GPS坐标和驾驶员的眼睛注视的角度，记录潜在的兴趣点，并且在到达目的地之后，将旅程坐标和兴趣点坐标发送到远程服务器。远程服务器然后可以从标记GPS坐标的图像数据库检索对应于旅程坐标和潜在兴趣点坐标的全景图像。驾驶员或者该系统的任何其他用户然后可以通过将检索的全景图像转换为聚焦于获得驾驶员注意的兴趣点的视频，创建驾驶员的旅程的增强时间推移视频。

权利要求书
1.  一种用于创建从起点到目的地的车辆旅程的视频的系统，包括：
与服务器操作通信的车辆，具有
第一处理器，其与以下数据通信
全球定位系统(GPS)模块；
第一蜂窝数据收发器；
用于检测何时驾驶员注视偏离前面道路并且朝向潜在兴趣点的部件；以及
非暂时存储设备，其上存储计算机可读代码，当由所述第一处理器运行所述计算机可读代码时，使得所述车辆
周期性地将所述旅程期间所述车辆的GPS坐标记录为旅程坐标；
当检测到所述驾驶员的眼睛注视时，根据所述车辆的GPS坐标以及所述驾驶员的眼睛注视的角度，记录潜在兴趣点；
在所述车辆到达所述目的地之后，经由蜂窝数据收发器，将周期性记录的旅程坐标以及潜在兴趣点发送到所述服务器；并且
所述服务器具有
第二处理器，其与以下数据通信
第二蜂窝数据收发器；
包含预定兴趣点的GPS坐标的兴趣点数据库；
用于比较记录的潜在兴趣点与所述预定兴趣点的GPS坐标以确定确认的兴趣点坐标的部件；
用于从标记GPS坐标的图像数据库检索对应于所述确认的兴趣点坐标和所述旅程坐标的图像的部件；以及
用于将检索的图像转换为所述车辆旅程的时间推移视频的部件。

2.  如权利要求1所述的系统，其中所述计算机可读代码使得所述车辆在所述驾驶员注视偏离道路的同时，记录所述车辆的当前速度、所述车辆的马达的当前每分钟转速、以及当前时刻的至少一个。

3.  如权利要求2所述的系统，其中检索的图像对应于所述驾驶员注视偏 离道路的时刻。

4.  如权利要求1所述的系统，其中所述计算机可读代码使得所述车辆记录当前车辆定位和所述驾驶员的眼睛注视的角度之间的关联。

5.  一种与服务器操作通信的车辆，并且所述车辆配置为操作为用于创建从起点到目的地的车辆旅程的视频的系统的一部分，所述车辆包括：
处理器，其与以下数据通信
全球定位系统(GPS)模块；
蜂窝数据收发器；
驾驶员监视单元，配置为检测驾驶员触发作为潜在兴趣点；以及
非暂时存储设备，其上存储计算机可读代码，当由所述处理器运行所述计算机可读代码时，使得所述车辆
周期性地将所述旅程期间所述车辆的地理坐标记录为旅程坐标；
根据所述车辆的GPS坐标以及所述驾驶员的眼睛注视的角度，记录潜在兴趣点；
在所述车辆到达所述目的地之后，经由所述蜂窝数据收发器，将周期性记录的旅程坐标以及潜在兴趣点发送到所述服务器。

6.  如权利要求5所述的车辆，其中所述驾驶员触发包括所述驾驶员注视偏离所述驾驶员前面的道路。

7.  如权利要求5所述的车辆，其中所述驾驶员触发包括基本与所述驾驶员注视偏离道路同时，所述驾驶员按下键。

8.  如权利要求5所述的车辆，其中所述驾驶员监视单元进一步配置为检测所述驾驶员的姿态的方向。

9.  如权利要求5所述的车辆，还包括导航显示器，其中所述驾驶员触发包括所述驾驶员在所述导航显示器上突出所述潜在兴趣点。

10.  如权利要求5所述的车辆，其中所述视频能够包括从所述车辆的内部拍摄的图像以及从所述车辆的外部拍摄的确认的兴趣点的图像的至少一个。

11.  一种配置为操作为用于创建从起点到目的地的车辆旅程的视频的系统的一部分的服务器，包括：
处理器，其与以下数据通信
蜂窝数据收发器，配置为接收
对应于在所述旅程期间周期性记录的所述车辆的地理定位系统(GPS)坐标的旅程坐标；
基于当检测到所述车辆的驾驶员的触发事件时的车辆GPS坐标和所述驾驶员的眼睛注视的角度的潜在兴趣点；以及
根据所述车辆的GPS坐标以及所述驾驶员的眼睛注视的角度记录地点作为潜在兴趣点
非暂时存储设备，其上存储
包含预定兴趣点的地理定位系统(GPS)定位的兴趣点数据库；以及
计算机可读代码，当所述计算机可读代码由所述处理运行时，使得所述服务器
比较接收的潜在兴趣点GPS与所述预定兴趣点以确定确认的兴趣点坐标；
从标记GPS坐标的图像数据库检索对应于所述确认的兴趣点坐标和接收的旅程坐标的图像；以及
将图像转换为所述旅程的视频。

12.  如权利要求11所述的服务器，其中检索的图像对应于所述驾驶员注视偏离所述驾驶员前面的道路的时刻。

13.  如权利要求11所述的服务器，其中所述视频包括车辆运行条件信息，包括以下的至少一个：所述车辆的当前速度以及所述车辆的马达的当前每分钟转速(RPM)。

14.  如权利要求11所述的服务器，其中所述计算机代码使得所述服务器另外根据所述驾驶员注视的角度检索图像。

15.  如权利要求11所述的服务器，其中所述图像包括街景全景图像。

16.  一种用于创建从起点到目的地的车辆旅程的视频的方法，所述方法包括：
周期性地将所述旅程期间所述车辆的地理定位系统(GPS)坐标记录为旅程坐标；
检测驾驶员触发事件作为潜在兴趣点；
记录检测到驾驶员触发时的GPS坐标和驾驶员的注视角度作为潜在兴趣点；以及
在到达所述目的地之后，发送所述旅程坐标和所述潜在兴趣点到远程服务器。

17.  如权利要求16所述的方法，其中所述驾驶员触发包括所述驾驶员注视偏离所述驾驶员前面的道路。

18.  如权利要求16所述的方法，其中所述驾驶员触发包括基本与所述驾驶员注视偏离道路同时，所述驾驶员按下键。

19.  如权利要求16所述的方法，其中检测驾驶员触发包括检测所述驾驶员的姿态的方向。

20.  如权利要求16所述的方法，还包括导航显示器，其中所述驾驶员触发包括所述驾驶员在所述导航显示器上突出所述潜在兴趣点。

21.  一种用于创建从起点到目的地的车辆旅程的视频的方法，所述方法包括：
从所述车辆检索旅程坐标，其中所述旅程坐标对应于在所述旅程期间周期性记录的所述车辆的地理定位系统(GPS)坐标；
检索对应于当检测到所述车辆的驾驶员的触发事件时记录的车辆GPS坐标和所述驾驶员的眼睛注视的角度的潜在兴趣点；
比较所述潜在兴趣点与所述预定兴趣点的定位以确定确认的兴趣点坐标；
从标记GPS坐标的图像数据库检索对应于所述确认的兴趣点坐标和旅程坐标两者的图像；以及
将所述图像转换为所述旅程的时间推移视频。

22.  如权利要求21所述的方法，其中检索的图像对应于所述驾驶员注视偏离所述驾驶员前面的道路的时刻。

23.  如权利要求21所述的方法，其中所述视频包括车辆运行条件信息，包括以下的至少一个：所述车辆的当前速度以及所述车辆的马达的当前每分钟转速(RPM)。

24.  如权利要求21所述的方法，其中所述检索还包括根据所述驾驶员注视的角度检索图像。

25.  如权利要求21所述的服务器，其中所述图像包括街景全景图像。

说明书用于使用全景成像的增强时间推移视频生成的系统和方法
技术领域
本公开涉及用于时间推移视频生成的系统、组件和方法。具体地，本公开指向使用全景成像资源而无需车载相机，实现车辆驾驶员的旅程的增强时间推移视频的生成的系统、组件和方法。
背景技术
时间推移视频可以指将场景或者对象的记录转为以比原始记录更快速度回放的视频的技术。换句话说，该技术允许观看场景的改变而不必等待实际时间。时间推移视频已经变为用于驾驶员捕获和重建他们的旅行的越来越流行的方式。例如，数小时的实际视频驾驶时间可以压缩为仅仅数分钟回放时间的视频，有此建立了时间推移效果。该时间推移视频以加速方式重建驾驶员的旅行。
典型地，通过使用安装在车辆仪表盘上或者车辆外部的相机生成车辆驾驶员的旅程的时间推移视频。适当地捕获车辆的旅程需要细心设置相机。例如，为了具有希望场景的清晰视图，必须放置相机以便不被车辆的其他部分遮挡。此外，在没有有风险的用户交互的情况下，相机将通常指向车辆旅程的一般方向，因此仅仅捕获车辆前方的场景。
结果，相机可能过错或者未能捕获可能在他的或者她的驾驶期间已经吸引驾驶员的注意的场景或对象。更具体地，在驾驶期间，驾驶员可能短暂地从前方道路移开视线到吸引他的或她的注意的场景或对象。不幸地，因为相机固定在车辆前方的道路的方向，所以相机可能未能捕获吸引驾驶员注意的场景或对象(即，兴趣点)。
发明内容
根据本公开，提供一种系统，用于生成增强时间推移视频，该增强时间推移视频可以关注在驾驶员的旅程期间吸引驾驶员的注意的兴趣点，而无需车载相机。
公开的实施例提供了通过以下提供了对于上述技术问题的解决方案，周期性地记录车辆驾驶员的旅程期间车辆的GPS坐标作为旅程坐标，在检测到驾驶员注视偏离行进的方向时，根据当前GPS坐标和驾驶员的眼睛注视的角度，记录潜在的兴趣点，并且在到达目的地之后，将旅程坐标和兴趣点坐标发送到远程服务器。服务器然后可以从标记GPS坐标的图像数据库检索对应于旅程坐标和潜在兴趣点坐标的全景图像。驾驶员或者该系统的任何其他用户然后可以通过将检索的全景图像转换为聚焦于获得驾驶员注意的兴趣点的视频，创建驾驶员的旅程的增强时间推移视频。
在说明性实施例中，系统包括处理器、驾驶员监视单元、GPS模块、以及与远程服务器通信的收发器。
在考虑示例执行如目前认知的公开的最佳模式的说明性实施例时，本公开的其他特征将对于本领域的技术人员变得明显。
附图说明
详细说明具体地参照附图，附图中：
图1A-1D构成旅行经历重建处理的图示和透视图，示出在驾驶期间监视驾驶员的设备的第一点、监视设备注意何时驾驶员的注视偏离道路并且记录与驾驶员所观看的相关的数据的第二点、记录的数据用于创建驾驶员观看的单视点图像的第三点、以及编绘创建的单视点图像以产生驾驶员的旅程的叙述的第四点；
图2是关注驻留在车辆中的系统的组件的、根据本公开的示例性系统的框图；
图3是现在关注驻留在远程服务器中的系统的组件的、根据本公开的示例性系统(诸如图2中示出的系统)的框图；
图4示出用于直观地重建驾驶员的旅程经历的子程序的说明性处理的示意图，其通过监视驾驶员、识别对应于兴趣点的数据、并且将数据转换为用于驾驶员观看的单视点图像，其具有将数据上传到远程计算机用于处理、确认兴趣点、以及产生驾驶员的旅程的完整叙述的选项；
图5是图4的监视子程序的示意图，示出用于在驾驶期间监视驾驶员输入的操作；
图6是图4的识别子程序的示意图，示出用于当接收来自驾驶员的输入 信号时记录对应于潜在兴趣点的数据的操作，并且如果驾驶员希望重建他们的驾驶经历则在稍后处理中利用该数据；
图7是图4的通信和确定子程序的示意图，示出可选操作用于将记录的数据从车辆上传到远程计算机用于处理并且允许驾驶员沿着他们的驾驶路径手动选择兴趣点，或者用于使计算机在收集用于重建驾驶经历的图像之前基于预定兴趣点自动地移除误报兴趣点；
图8是图4的转换子程序的示意图，示出用于基于记录的数据和兴趣点从全景图像创建单视点图像的操作；
图9是图4的产生子程序的示意图，示出可选操作用于如果用户希望，则通过以基于记录的时间和定位数据的顺序编绘沿着驾驶路径拍摄的多个单点图像，创建重建驾驶员的旅程的停止运动视频，并且存储单视点图像和/或视频用于观看；
图10A是示出驾驶员在第一时间点驾驶和被监视的透视图；
图10B是示出在第一时间点驾驶员沿着他们的行进路径的定位的地图的自上而下视图；
图11A是示出在稍后的第二时间点注意驾驶员的注视何时偏离道路的监视设备的透视图；
图11B是示出在第二时间点驾驶员沿着他们的行进路径的定位的地图的自上而下视图，并且已经用在驾驶员定位的相应数据的标记潜在兴趣点；
图12A是在稍后的第三时间点驾驶员的车辆与远程计算机通信的示意图；
图12B是示出在第三时间点驾驶员已经到达他们的目的地的地图的自上而下视图；
图13是收集操作的示图，示出与第三时间点同时从图像数据库收集全景图像的远程计算机；
图14A是示出在稍后的第四时间点从基于驾驶员在兴趣点的注视角度从一部分全景图像捕获的单视点图像的地图的自上而下视图；
图14B是在第四时间点从全景图像捕获的单视点图像的示图；
图15是示出在稍后的第五时间点沿着驾驶员的行进路径捕获的单视点图像编绘为视频以产生旅程叙述的示图；
图16是示出除了位于方向盘的硬键外使用驾驶员监视设备用于捕获潜 在兴趣点的旅行经历的示图；
图17是图示使用导航系统显示器用于捕获驾驶员的潜在兴趣点的示意图；以及
图18是图示使用位于车辆的移动电话相机在驾驶员的旅程期间捕获图像的示意图。
具体实施方式
在此提供的附图和描述可能已经简化以图示与用于在此描述的设备、系统和方法的清楚理解相关的各个方面，同时为了简洁的目的，消除了可以在典型的设备、系统和方法中找到的其他方面。本领域的技术人员可以认识到其他原件和/操作操作可能是希望的和/或必要的以实施在此描述的设备、系统和方法。因为这样的原件和操作是本领域公知的，并且因为他们不便于本公开的更好理解，所以在此可能不提供这样的原件和操作的讨论。然而，认为本公开内在地包括所有这样的原件、对于本领域技术人员所公知的各方面的变化和修改。
典型地，通过使用安装在车辆仪表盘上或者车辆外部的相机生成车辆驾驶员的旅程的时间推移视频。适当地捕获车辆的旅程需要细心设置相机。例如，为了具有希望场景的清晰视图，必须放置相机以便不被车辆的其他部分遮挡。此外，在没有有风险的用户交互的情况下，相机将通常指向车辆旅程的一般方向，因此仅仅捕获车辆前方的场景。因此，任何创建的时间推移视频可能仅包含在车辆的行进的方向上的场景或对象的片段。
结果，并且如之前注意到的，相机可能过错或者未能捕获可能在他的或者她的驾驶期间已经吸引驾驶员的注意的场景或对象。例如，在驾驶期间，常常驾驶员可能短暂地从前方道路移开视线到吸引他的或她的注意的场景或对象。不幸地，因为相机固定在车辆前方的道路的方向，所以相机可能未能捕获吸引驾驶员注意的场景或对象(即，兴趣点)。
公开的实施例提供了通过提供车辆系统提供了对于上述技术问题的解决方案，车辆系统用于周期性地记录车辆驾驶员的旅程期间车辆的GPS坐标作为旅程坐标，在驾驶员注视偏离行进的方向时，记录包括车辆的当前GPS坐标和驾驶员的眼睛注视的角度的注视目标信息，以确定潜在的兴趣点(POI)，并且在到达目的地之后，将旅程坐标发送到远程服务器。远程服务器然后可 以从标记GPS坐标的图像数据库检索对应于注视目标信息的全景图像以及对应于总体旅程坐标的图像。驾驶员或者该系统的任何其他用户然后可以通过将检索的全景图像转换为用于编绘为视频的单视点图像，创建驾驶员的旅程的增强时间推移视频。
因此，如图1A-1D所示，可以根据公开的实施例设计系统，以生成包括驾驶员的旅程期间吸引驾驶员注意的任何兴趣点的时间推移视频，而无需车载相机。如图1A所示，驾驶员监视单元101监视在车辆103中驾驶时驾驶员的行为。更具体地，驾驶员监视单元101可以跟踪并且检测驾驶员何时看向与车辆的进行方向(即，车辆的前方)不同的方向，或者“注视”。例如，并且如图1B所示，诸如可能通过车辆的侧窗最好地观看的山脉的场景或对象(即，兴趣点)可能吸引驾驶员的注意。驾驶员监视单元101检测驾驶员何时注视山脉，并且记录对应于该检测时间的注视目标信息。该注视目标信息可以包括车辆的当前GPS坐标(即，兴趣点坐标)、驾驶员注视的角度等。
在驾驶员到达他的或她的目的地之后，车辆可以将注视目标信息上传到远程服务器。远程服务器能够诸如从图像数据库检索对应于注视目标信息的全景图像，并且将这些图像转换为如图1C所示的时间推移视频。使用注视目标信息，驾驶员可以捕获更具体地代表在他的旅程期间驾驶员可能看到的全景图像的一部分。换句话说，驾驶员可以将全景图像转换为驾驶员视点，或者如在此使用的，单视点图像。如此，并且现在参照图1D，驾驶员具有回看和编辑图像和/或视频、产生定制的旅程叙述的选项。
如图2所示，车辆103可以包括各种组件，其经由各种收发器实现对于信息的访问以及与一个或多个服务器的通信。因此，车辆103可以包括蜂窝数据收发器201、车辆数据记录器202和驾驶员监视单元101，其可以起到如结合图1A-1D说明的功能。车辆103还可以包括全球定位系统(GPS)模块203，其具有确定车辆103的地理定位的能力。包括在图2中图示的车辆103中的各种组件的操作可以在一个或多个处理器205的引导下命令或者执行，一个或多个处理器205可以直接或间接耦合到车辆103中图示的各种组件的每一个。
因此，处理器205可以耦合到存储器207，其可以包含各种程序、指令和数据。例如，如下面更详细说明的，处理器205可以使用GPS模块203(从GPS卫星204接收传输)和指令209，周期性地记录车辆驾驶员的旅程期间 的车辆的GPS坐标，并且可以将其作为旅程坐标211存储在存储器207中。处理器205还可以使用GPS模块203和指令209，记录对应于驾驶员监视单元101检测到驾驶员注视偏离车辆103的行进方向的时间的车辆的GPS坐标。除了仅仅检测驾驶员注视偏离前方道路，还可以记录驾驶员注视偏离前方道路的角度。更具体地，驾驶员监视单元101可以检测从驾驶员的眼睛在行进方向向前直视的方向和驾驶员的眼睛注视的方向得到的角度。通过在这些记录车辆定位的驾驶员的注视角度确定地点在此称为潜在兴趣点(POI)。潜在POI可以存储在潜在POI数据库213中。
处理器205还可以诸如从车辆数据记录器202(其可以通信地耦合到其他车辆组件，诸如速度表、RPM表等)检索其他车辆数据、车辆情况数据库215中的信息，诸如车辆103的当前速度、车辆103的马达的当前每分钟转速(RPM)等并且存储在存储器207中。
因此，车内系统组件能够记录和存储旅程坐标、潜在POI信息、以及在这些检测到的时间点的其他车辆数据，诸如测量的当前速度、车辆的马达的RPM等。该记录的数据和信息坐标以及其他车辆数据然后可以用于创建包括吸引驾驶员的注意的兴趣点的加亮的时间推移视频。
为了实现时间推移视频的创建，上述车内组件与各种车外、或者远程的与系统相关联的组件通信。因此，蜂窝数据收发器201等可以用于与一个或多个远程服务器300通信，其转而与一个或多个标记GPS坐标的图像数据库301通信。图像数据库301可以包括真实世界图像，诸如来自已知为“街景(Street View)”的地图服务。该真实世界图像可以包括街道级别的沉浸式360°全景图像。系统服务器300和图像数据库301之间的通信可以经由有线或无线连接，例如经由因特网和/或任何其他公共和/或私人通信网络执行。
图3图示系统服务器300的构成结构的一个示例。如图3所示，系统服务器300可以包括一个或多个处理器303，其耦合到存储器305并且访问和存储存储器305中的数据和指令。系统服务器300还可以包括显示/输入接口304，用于由驾驶员或者其他用户使用，用于观看和创建旅程视频的指令的输入。为了提供与图像数据库301通信的能力，系统服务器300可以包括或者耦合到网络接口307。同样地，为了与车内组件通信，系统服务器300可以包括或耦合到蜂窝收发器309。存储器305可以包括可由处理器303访问的 指令和数据，以提供在此描述的功能。因此，存储器305可以包括预定兴趣点的坐标的数据库311以及从车辆103接收的任何潜在POI坐标。预定POI数据库311可以包括之前由驾驶员或者观察者识别、验证和记录为有用或感兴趣的场景或对象的坐标。因此，在一些实施例中，系统服务器300可以比较潜在POI坐标与预定POI坐标。该比较可以用于消除任何误报兴趣点，或者换句话说，在为了不同于吸引他的或她的注意的场景或对象的原因驾驶员注视偏离道路时记录的坐标。例如，驾驶员可能注视偏离前方的道路以查看他的移动电话或改变车道。因此，在执行该比较之后，仅仅哪些匹配预定POI坐标的潜在POI保留作为数据库313中存储的确认的兴趣点坐标。存储器还可以包括指令315，用于执行驾驶员的旅程的时间推移视频的创建。
因此，鉴于前述，并且如图4一般地所示，本公开的实施例包括用于通过首先在401监视驾驶员直观地重建驾驶员的旅行经历的系统。接下来，在403识别对应于潜在POI的数据。可选地，在405，在驾驶员到达他的目的地之后，数据可以上传到远程服务器300，并且在407，可以确认POI。在409，数据然后可以转换为单视点图像，并且然后可选地，在411，可以从图像产生驾驶员的旅程的时间推移视频叙述。
图5是图4的监视子程序401的示意图，示出用于在驾驶期间监视驾驶员输入的操作。一旦驾驶员开始驾驶，在步骤501启用车辆数据记录器202。在驾驶员正在驾驶的同时，在步骤503，车辆数据记录器202在存储器(诸如图2示出的存储器207)中连续记录车辆数据，包括对应于诸如GPS坐标和车辆运行条件的其他车辆信息的记录的时间的时间戳。在步骤505，可以启用驾驶员监视单元101。在步骤507，驾驶员监视单元101可以监视驾驶员的输入，直到驾驶员到达他的目的地，这由决定步骤509确定。在步骤511，驾驶员监视单元101将继续查看驾驶员输入信号，直到驾驶员到达他的或她的目的地。如在此一直讨论的，该输入可以是以驾驶员的眼睛注视偏离前方道路的形式。如果确定已经接收驾驶员输入，那么监视子程序401进到图6的识别子程序403。
图6是图4的识别子程序403的示意图，示出用于当接收来自驾驶员的输入信号时记录对应于潜在兴趣点的数据的操作。当已经接收驾驶员输入，并且更具体地，当驾驶员注视偏离前方道路时，驾驶员监视单元101在步骤601确定注视目标信息(诸如驾驶员注视角度)并且在步骤603记录该角度。 在步骤605，记录通过将注视角度与车辆的GPS坐标(潜在POI坐标)相关联确定的地点。
一旦驾驶员到达他的或她的目的地，如果驾驶员在决定步骤607希望捕获他的或她的旅程，记录的数据将上传到远程服务器300，并且识别子程序403分别进到图4的通信和确定子程序405和407。图7是示出用于将记录数据从车辆上传到远程服务器300的可选操作的示图。如之前在图6中讨论的，如果驾驶员在决定步骤607希望捕获他的或她的旅程，则上述记录数据(例如，旅程坐标、注视目标信息、车辆数据等)可以在609上传到远程服务器300。在决定步骤701，驾驶员具有从预定POI坐标手动选择视为兴趣点的选项。如果如此，则驾驶员可以进到在步骤703使用用户界面304从预定POI选择。如果驾驶员不希望手动执行该功能，则在步骤705，远程服务器300可以比较潜在POI坐标与预定兴趣点的坐标的数据库(诸如，来自图3的POI数据库311)。不匹配(即，不基本类似于)预定兴趣点的GPS坐标的潜在POI坐标在步骤707标记为误报兴趣点，并且在步骤709移除。匹配预定兴趣点的GPS坐标的潜在POI坐标标记为确认的兴趣点，或者吸引驾驶员注意的场景或对象。在步骤711，基于匹配的坐标，连同总体旅程坐标以及其他车辆数据和注视目标信息，从图像数据库(诸如街景(Street View)图像数据库)检索全景图像。此外，因为还记录时间戳信息(例如，时刻信息)，可以在类似的光照条件下检索和产生图像和最终捕获的视频。例如，如果驾驶员从东部标准时间10:30pm到11:30pm驾驶，因为时间戳，远程服务器300可以检索具有与在他的旅行经历期间(在此情况下，在夜间)的驾驶员的光照条件类似的光照条件的全景图像。这可以允许驾驶员创建更精确地描绘驾驶员旅行的旅程视频。
在收集全景图像之后，可以执行图4的转换子程序409，图8中示出其示意图。例如，图8是图4的转换子程序的示意图，示出用于基于记录的数据、旅程坐标以及确认的兴趣点从全景图像创建单视点图像的操作。在已经从图像数据库301检索全景图像之后，系统可以执行额外操作以允许更精确捕获兴趣点。更具体地，通过进一步采用记录的驾驶员注视角度，系统可以捕获吸引驾驶员注意的兴趣点的具体部分。因为来自数据库的图像是“全景的”，所以它们具有由被视为装订在一起的多个视点构成的延长视场。本公开的实施例可以选择聚焦于吸引驾驶员注意的整个全景图像的特定部分。例如， 全景图像可能是山脉，以及围绕车辆的视图中的其他对象。通过使用驾驶员的注视角度，系统能够完全精确驾驶员正在注视整个全景图像中哪个对象或者场景。因此，系统能够在步骤801基于驾驶员的注视角度捕获单视点图像(即，由驾驶员在他的或她的驾驶期间实际观看的整个全景图像的一部分构成的图像)。驾驶员在步骤803确定他或她是否希望创建旅程视频。
图9是图4的产生子程序的示意图，示出用于创建重建驾驶员的旅程的视频的可选操作。如所示的，在步骤803，如果驾驶员不希望创建旅程视频，则捕获的图像和其他车辆信息可以在步骤805存储/下载用于之后使用。可替代地，如果驾驶员希望创建旅程视频，则系统基于时间戳和其他车辆数据在步骤901排列转换的单视点图像。在步骤903，系统确定驾驶员是否希望还包括其他数据。该其他数据可以包括上面讨论的记录的车辆数据的任一，诸如车辆的速度、RPM等。如此，在步骤905，该数据可以插入作为在单视点图像上的视觉叠加。一些这样数据的数据包含可以用于进一步增强视频。例如，驾驶员可能希望在视频上示出在他的旅程期间的特定点的速度。该速度可以视觉叠加在视频上。因此，在步骤907，单视点图像连同任何额外车辆数据可以交织在一起，以创建时间推移视频序列。本公开的实施例允许提供进一步视频增强的其他生产技术。例如，驾驶员可以移除旅程的某些部分和/或扩展(即，“放慢”)他或她希望突出的部分。驾驶员还可能选择以音乐和/或个人叙述的形式的音频增强视频。如上所述，驾驶员然后可以在步骤805存储和/或下载创建的旅程和捕获的图像。
因此，鉴于前述，如图10A、10B、11A、11B、12A和12B所示，可以根据公开的实施例设计系统，以便生成包括在驾驶员的旅程期间吸引驾驶员的注意的任何兴趣点的时间推移视频，而无需车载相机。图10A是示出驾驶员在第一时间点驾驶和被监视的透视图。图10B是示出在第一时间点驾驶员沿着他们的旅行路径的定位的地图的自上而下视图。图11A是示出在稍后的第二时间点注意驾驶员的注视何时偏离道路的监视设备的透视图。图11B是示出在第二时间点驾驶员沿着他们的旅行路径的定位的地图的自上而下视图，并且已经用在驾驶员定位的相应数据的标记潜在兴趣点。图12A是在稍后的第三时间点驾驶员的车辆与远程计算机通信的示意图。图12B是示出在第三时间点驾驶员已经到达他们的目的地的地图的自上而下视图。
如图13所示，远程服务器能够诸如从图像数据检索对应于注视目标信息 和旅程坐标的全景图像。现在参照图14A，示出在稍后的第四时间点从基于驾驶员在兴趣点的注视角度从一部分全景图像捕获的单视点图像。图14B是在第四时间点从检索的全景图像捕获的单视点图像的自上而下视图。
驾驶员然后具有回看和编辑视频、产生定制的旅程叙述的选项。图15是示出在稍后的第五时间点沿着驾驶员的行进路径捕获的单视点图像编绘为视频以产生旅程叙述的示图。
本公开的实施例包括用于在驾驶员的旅行期间捕获兴趣点的其他技术。在一个替代技术中，在驾驶员的注视偏离前方道路的同时驾驶员按压硬键时，指令209可以使得车辆103记录GPS坐标和其他注视目标信息。如图16所示，硬键1601可以位于或者通信地耦合到方向盘1603。然而，硬键1601可以位于其他组件上，诸如导航系统1605。
可替代地，或者除了驾驶员监视系统，车辆103可以包括三维识别系统。在该实施例中，当驾驶员作出特定手势(例如，将食指指向一个方向)时，将记录潜在兴趣点。将记录手势的方向用于与远程服务器的预定兴趣点比较。
本公开的实施例可以采用导航系统。例如，如图17中车辆103的控制台1701所示，驾驶员可以用动作表示(例如，点、按压、画圈等)对应于导航系统1707的地图显示屏1705上兴趣点的特定区域1703。该兴趣点然后将由车辆103记录，用于在驾驶员到达他的目的地之后创建旅程视频。
为了进一步个性化旅程视频，驾驶员(或者任何其他用户)可以将具有定位信息的图像(经由移动电话应用或相机)插入旅程视频。例如，并且如图18所示，移动电话1801可以放置以捕获车辆103的内部(例如，以突出乘客)或者车辆103的外部(例如，以突出兴趣点、检测地标或者进一步精炼突出的兴趣点)的图像。这些图像也可以包括在旅程视频中。
鉴于前述，系统可以存储任何数目的驾驶员度量、车辆数据等。该信息可以以多种方式使用。例如，该信息可以视为对由另一驾驶员拍摄的特定线路感兴趣的其他用户有价值。通过从越来越多的驾驶员连续收集和编绘更多信息(例如，旅程图像、视频、车辆数据)，系统可以能够例如识别静态道路特征、单向道路、双向道路、死路、不同类型的交叉点、允许和不允许的转弯、环岛、减速带、天桥、地下通道、限速隧道、交通灯、交通标志、加油站、停车场和其他兴趣点。该信息例如对于期待通过示出他的或她的新路线以节约他的或她的常规通勤时间的驾驶员是有用的。如此，随着时间过去， 系统的信息数据库可能变得对于驾驶员和系统的其他用户越来越有用。此外，该信息可以用于创建或者结合移动应用(app)诸如社交导航应用或者社交视频应用。
公开的实施例不同于现有技术在于其提供一种系统和方法，用于增强可以聚焦于在驾驶员的旅程期间吸引驾驶员的注意的兴趣点的时间推移视频，而无需车载相机。传统技术实现时间推移视频的创建(例如，http://hyperlapse.tllabs.io)。然而，其未能允许增强视频。例如，驾驶员不能创建聚焦于吸引他的或她的注意的兴趣点的视频，允许更加个性化的旅行经历的重建，而不用车载相机。如在此彻底讨论的，其他增强也使得在此的公开的实施例不同于现有技术。
因此，根据本公开，提供一种系统，用于生成增强时间推移视频，该增强时间推移视频可以关注在驾驶员的旅程期间吸引驾驶员的注意的兴趣点，而无需车载相机。
尽管以一定程度的特别性的示例性形式描述和图示了特定实施例，但是注意仅仅以示例的方式作出描述和图示。可以进行各部分和操作的结构、组合和安排的细节上的许多改变。因此，这样的改变旨在包括于本公开的范围内，其保护范围由权利要求限定。