车辆用图像处理装置.pdf

本发明提供一种车辆用图像处理装置，其具备：周期性地拍摄车辆的室内的拍摄部(40)、取得拍摄部拍摄到的拍摄图像的亮度的亮度取得部(21)、基于亮度的变化的历史记录来推定以后拍摄的拍摄图像的亮度的周期性变化的亮度推定部(22)、基于拍摄图像的亮度的周期性变化的推定结果来设定拍摄部的拍摄状态的拍摄状态设定部(23)。

1.  一种车辆用图像处理装置，其中，具备：
拍摄部(40)，其周期性地拍摄车辆的室内；
亮度取得部(21)，其取得所述拍摄部拍摄到的拍摄图像的亮度；
亮度推定部(22)，其基于所述亮度的变化的历史记录，推定以后 拍摄的拍摄图像的亮度的周期性变化；以及
拍摄状态设定部(23)，其基于所述拍摄图像的亮度的周期性变化 的推定结果，设定所述拍摄部的拍摄状态。

2.  根据权利要求1所述的车辆用图像处理装置，其中，
所述亮度推定部推定运算所述拍摄图像的亮度变化的周期，并基于 该周期，变更所述拍摄状态。

3.  根据权利要求2所述的车辆用图像处理装置，其中，
所述拍摄部以预先决定的拍摄周期拍摄所述车辆的室内，
所述拍摄状态设定部以抑制被周期性地拍摄的每一所述拍摄图像 的亮度的偏差的方式来设定所述拍摄周期。

4.  根据权利要求3所述的车辆用图像处理装置，其中，
具备车速检测部(41)，所述车速检测部检测所述车辆的速度，
所述亮度推定部在所述车辆的速度变化时，基于所述车辆的速度的 变化量，来推定运算变化后的车辆的速度下的所述拍摄图像的亮度变化 的周期，
所述拍摄状态设定部基于所述亮度推定部的推定运算结果，来设定 所述拍摄部的拍摄状态。

5.  根据权利要求4所述的车辆用图像处理装置，其中，
具备拍摄状态存储部(27)，所述拍摄状态存储部将所述车辆的速 度与所述拍摄部的拍摄状态建立关联地存储，
所述拍摄状态设定部在所述车辆的速度变化时，且在变化后的车辆 的速度被存储在所述拍摄状态存储部时，不进行由所述亮度推定部对亮 度的推定运算，就设定为被与该车辆的速度建立了关联的拍摄状态。

6.  根据权利要求1至5中任意一项所述的车辆用图像处理装置， 其中，
所述拍摄部以预先决定的曝光状态拍摄所述车辆的室内，
所述拍摄状态设定部基于所述亮度推定部的推定运算结果，使所述 曝光状态变化。

7.  根据权利要求1至6中任意一项所述的车辆用图像处理装置， 其中，
具备地图信息取得部(30)，所述地图信息取得部取得包含所述车 辆行驶中的当前位置的地图信息，
具备判定部(25)，所述判定部基于所述地图信息，判定是否进行 由所述拍摄状态设定部对所述拍摄部的拍摄状态的设定。

车辆用图像处理装置
关联申请的相互参照
本公开基于2012年10月30日提交的日本申请编号2012-238439号， 在此用于其记载内容。
技术领域
本公开涉及车辆用图像处理装置。
背景技术
为了辨别驾驶员是否正漫不经心驾驶、瞌睡驾驶等，进行从驾驶员 的脸图像读取脸的朝向、眼的状态，并根据需要发出警报等的处理。但 是，因为车辆移动，所以拍摄驾驶员的光环境等也随时间变化。因此， 存在脸图像过暗或引起晕影，从而其准确的解析变得困难，不能准确地 读取脸的状态(例如，脸的朝向、视线的方向、眼的开闭状态等)的情 况。若这样的状态持续，则有可能适当地发出警报变得困难。
因此，设计有能够判定所使用的地域的商用电源频率来自动地抑制 闪烁的产生本身的带相机的便携式信息终端装置(参照专利文献1)。
另外，设计有通过根据照明的频率或者明亮度变更拍摄元件的帧 率，从而能够不使用电子快门地进行闪烁对策以及光量调整的相机(参 照专利文献2)。
另外，设计有能够不基于拍摄驾驶员的光环境的变化而提供适当的 警报的车载用图像处理装置(参照专利文献3)。
另外，设计有能够与拍摄对象的周围的明暗无关地取得鲜明的拍摄 图像的图像处理装置(参照专利文献4)。
专利文献1：日本特开2003-060984号公报
专利文献2：日本特开2002-165141号公报
专利文献3：日本特开2009-116742号公报
专利文献4：日本特开2009-017474号公报
如上述那样，因车辆移动，所以在如专利文献1及2那样根据照明 的频率或者明亮度来变更拍摄元件的帧率的结构中，不能够应对伴随着 车辆的移动的光环境的变化。
另外，在专利文献3的结构中，因根据脸图像的明亮度来使相机的 曝光时间或者光阑直径变化，所以需要曝光处理变复杂的光阑可变机 构，从而相机的成本增大。
另外，在专利文献4的结构中，基于来自导航装置的当地信息，判 定拍摄图像的明暗，所以需要导航装置或者取得当地信息的装置，成本 增大。
在由桥柱、高速道路的街灯等道路附近以大致均等的间隔排列的构 造物产生的影子中行驶时，产生与行驶速度相应的周期性的明暗。这时， 在该明暗的周期接近拍摄(曝光)的周期的倍数时，产生拍摄的图像以 缓慢的周期反复出现明暗的现象。因此，专利文献4的结构能够适合如 隧道那样明暗变化的周期比较长的情况，但不能应对其他构造物。
发明内容
本公开的目的在于提供低成本且能够进行不基于光环境的变化的、 适于解析的图像的取得的车辆用图像处理装置。
为了解决上述课题，根据本公开的一观点，提供车辆用图像处理装 置，该车辆用图像处理装置包括拍摄部、亮度取得部、亮度推定部和拍 摄状态设定部。拍摄部周期性地拍摄车辆的室内。亮度取得部取得拍摄 部拍摄的拍摄图像的亮度。亮度推定部基于亮度的变化的历史记录，推 定以后拍摄的拍摄图像的亮度的周期性变化。拍摄状态设定部基于拍摄 图像的亮度的周期性变化的推定结果，设定拍摄部的拍摄状态。
根据上述结构，能够防止上述那样的拍摄图像以缓慢的周期反复出 现明暗的现象的产生。另外，拍摄图像的亮度的不均变少，能够取得许 多适于解析的图像，能够得到稳定的识别处理结果。原本，需要测定例 如由沿着道路的构造物产生的影子造成的明暗的周期，调查该明暗的周 期与拍摄周期之间的关系，但根据本结构，能够基于拍摄图像的亮度变 化，推定明暗的周期与拍摄周期之间的关系，结果是，能够使拍摄周期 不成为接近由影子造成的明暗的周期的倍数的值。
附图说明
通过边参照添附的附图边进行的下述的详细记述，关于本公开的上 述目的以及其他目的、特征、优点得以更加明确。
图1是表示本公开的车辆用图像处理装置的结构例的图。
图2是对拍摄状态控制处理进行说明的流程图。
图3是表示基于以往技术的拍摄图像的亮度的变化的图。
图4是表示基于本公开的拍摄图像的亮度的变化的图。
图5是对拍摄状态控制处理的其他例进行说明的流程图。
图6是对反映车辆的当前位置的拍摄状态控制处理进行说明的流程 图。
具体实施方式
以下，使用附图对本公开的车辆用图像处理装置进行说明。如图1 所示，车辆用图像处理装置1包括驱动电机ECU(以下简称为“ECU”) 10以及与该ECU10连接的拍摄部40和检测车辆的速度的车速传感器 41(也称为车速检测部)。另外，也可以为导航装置50经由车内LAN60 能够进行数据通信地与ECU10连接的结构。
ECU10包括：运算部20、图像处理部26、存储部27(也称为拍摄 状态存储部)以及信号输入输出电路(以下简称为“I/F”)30(也称 为地图信息取得部)。
运算部20也称为运算电路20，包括亮度取得部21、亮度推定部22、 拍摄状态设定部23、拍摄控制部24、判定部25。亮度取得部21从在图 像处理部26被处理的拍摄图像之中的、例如判别驾驶员的脸位置(关 于脸位置的判别的详细，参照专利文献3)，取得驾驶员的脸图像的亮度。 亮度例如通过将预先存储于存储部27的每一亮度的基准数据和脸图像 进行对照来取得。
运算部20的各部包括CPU、各种存储部等，可以作为1个或者多 个IC或者ASIC等而硬件性地构成，也可以软件性地在存储部上构建 其一部分以及全部。
亮度推定部22根据存储部27过去存储的脸图像的亮度，推定在亮 度的变化中是否有周期性。拍摄状态设定部23基于亮度推定部22的推 定结果，设定拍摄状态(详细之后叙述)。拍摄控制部24基于拍摄状态 设定部23设定的拍摄状态，控制拍摄部40的动作(详细之后叙述)。
判定部25进行是否执行后述的拍摄状态控制处理的判定(参照图 6)。
图像处理部26利用公知的图案识别等技术进行拍摄部40拍摄的拍 摄图像的解析。在图像处理部26中，例如通过对拍摄图像实施一般的2 值化处理，转换成每个像素的数字多值图像数据。然后，使用一般的图 像处理方法从得到的多值图像数据提取所希望的图像部分(例如驾驶员 的脸)。
存储部27例如由闪存存储部等非易失性存储部构成，存储控制程 序、车辆用图像处理装置1的动作所需要的数据。通过运算部20所包 含的CPU执行控制程序，来实现作为车辆用图像处理装置1的各种功 能。
信号输入输出电路30包括波形整形电路、A/D转换电路、D/A 转换电路、电压转换电路等。另外，来自车速传感器41的输出信号被 输入至信号输入输出电路30。输入的信号根据需要被进行波形整形以及 电压转换，之后被A/D转换，成为在运算部20中能够运算的值(数 字值)。
拍摄部40例如是使用了公知的CMOS传感器或者CCD传感器的 相机。也可以使用红外线相机。拍摄部40在预先决定的时刻(例如拍 摄周期)对拍摄对象进行拍摄或者捕获拍摄对象的影像，并将拍摄图像 输出至图像处理部26。拍摄对象例如是包含驾驶员的驾驶座周边的、车 辆的室内的预先决定的区域或者存在于该区域的物体。
导航装置50例如是基于接收到的GPS信号检测车辆的当前位置， 在地图数据上显示车辆的当前位置，并且引导直至所设定的目的地的路 径的公知的装置。另外，导航装置50对车辆用图像处理装置1输出车 辆的当前位置的地图信息(详细之后叙述)。
其中，在本申请中，“信息”不仅作为不可数名词使用，也作为可 数名词使用。
使用图2，对在运算部20中执行的拍摄状态控制处理进行说明。其 中，本处理包含于存储部27中存储的控制程序中，与控制程序所包含 的其他处理一起在预先决定的时刻被反复执行。
这里，本申请所记载的流程图或者流程图的处理由多个部分(或者 称为步骤)构成，各部分例如表现为S11。并且，各部分能够分割成多 个子部分，另一方面，也可以组合多个部分而形成一个部分。并且，这 样构成的各部分能够称为器件、模块、手段。另外，上述多个部分的各 个或者组合后的部分(i)不仅是与硬件单元(例如计算机)组合了的软件 的部分，(ii)也能够作为硬件(例如集成电路、布线逻辑电路)的部分， 包含或者不包含关联装置的功能地实现。并且，硬件的部分也能够在微 型计算机的内部构成。
首先，在拍摄状态设定部23，将拍摄周期设定为f0(缺省值)(S11)。 其中，拍摄周期是拍摄部40拍摄图像的周期、即图3的相邻的图像(例 如图像101和图像102)的拍摄间隔，例如f0＝10ms。
接下来，在拍摄控制部24中，按照以上述的拍摄周期f0拍摄驾驶 员的脸图像的方式控制拍摄部40(S12)。接下来，在亮度取得部21中， 从拍摄部40拍摄并图像处理部26处理后的图像数据取得拍摄图像(即 驾驶员的脸图像)的亮度(S13)。该亮度与图像的拍摄时刻建立关联地 存储于存储部27。拍摄时刻可以是日期和时间(例如，从导航装置50 取得)，也可以是系统时间(例如，CPU的计数器值)。
接下来，在亮度推定部22中，如以下那样推定存储在存储部27的 过去的拍摄图像的亮度的变化周期(S14)。首先，判定拍摄图像的明暗。 例如，在拍摄图像的亮度超过预先决定的亮度阈值时判定该拍摄图像的 明暗为“明”，在拍摄图像的亮度小于该亮度阈值时判定该图像的明暗 为“暗”。
上述结构相当于如下结构：亮度推定部对拍摄图像的亮度变化的周 期进行推定运算，基于该周期变更拍摄状态。根据本结构，能够根据拍 摄图像的亮度变化的周期来设定拍摄状态。
然后，例如，在“明”连续m±2次接着“暗”连续n±2次(m、 n是正整数，连续次数的下限值是0)的状态反复出现预先决定的次数 (例如5次)时，判定为拍摄图像的亮度规定时间以上周期性地变化。 这时，也预先计算出该周期。
上述结构相当于如下结构：亮度推定部在拍摄图像的亮度超过预先 决定的亮度阈值的状态持续规定时间，且这之后该图像的亮度小于该亮 度阈值的状态持续了规定时间时，设该图像的亮度周期性地变化。根据 本结构，能够以比较的简单的结构推定亮度的周期性变化。
在拍摄图像的亮度规定时间以上周期性地变化时(S15：是)，在拍 摄状态设定部23，将拍摄周期设定为f1。将拍摄周期f1设定为判定为 明暗为“暗”的拍摄图像的数量变少的值(S16)。
上述结构相当于如下结构：拍摄部与预先决定的拍摄周期拍摄车辆 的室内，拍摄状态设定部按照抑制周期性地拍摄的每一拍摄图像的亮度 的偏差的方式设定拍摄周期。根据本结构，能够防止拍摄图像以缓慢的 周期反复出现明暗的现象的产生。
更详细而言，拍摄状态设定部相当于如下设定部：将拍摄周期设定 为与在拍摄图像的亮度根据周期而变化的状态时设定的拍摄周期不同 的拍摄周期。
接下来，从车速传感器41取得车速信息，将这时的车速设为v1 (S17)。这时，将上述的拍摄周期f1与车速v1建立关联地存储于存储 部27。
这之后，在车速从v1变化为v2时(S18：是)，基于车速的变化量， 推定亮度的变化周期(S19)。其中，设车速的变化量是后述的大于x的 量。一般而言，车速降低时，亮度的变化周期变成长，车速增加时，亮 度的变化周期变短。也可以预先将车速的变化量与亮度的变化周期的增 减之间的关系作为映射数据存储于存储部27，参照该映射数据推定亮度 的变化周期。
然后，基于推定出的亮度的变化周期，将拍摄周期变更成f2(S20)。 这时，将拍摄周期f2和车速v2建立关联地存储于存储部27。当然，按 照不成为与拍摄周期f1接近的值的方式设定拍摄周期f2。
上述结构相当于如下结构：具备检测车辆的速度的车速检测部 (41)，亮度推定部在车辆的速度变化时，基于车辆的速度的变化量， 推定运算变化后的车辆的速度下的拍摄图像的亮度变化的周期，拍摄状 态设定部基于亮度推定部的推定运算结果，设定拍摄部的拍摄状态。根 据本结构，能够以与根据拍摄图像的亮度的变化来进行推定相比短时间 来设定拍摄部的拍摄状态。
接下来，从车速传感器41取得车速信息(S21)。而且，在该车速 与上述的v1之差在x以下时(S22：是)，不进行拍摄周期的推定，将 拍摄周期返回至f1(S23或者S16)。
上述结构相当于如下结构：具备将车辆的速度与拍摄部的拍摄状态 建立关联地进行存储的拍摄状态存储部(27)，拍摄状态设定部在车辆 的速度变化时，在变化后的车辆的速度存储于拍摄状态存储部时，不进 行由亮度推定部进行的亮度的推定运算，而设定为与该车辆的速度建立 关联的拍摄状态。根据本结构，能够以短时间设定拍摄部的拍摄状态。
使用图3以及图4，对在执行图2的拍摄状态控制处理时的拍摄图 像的亮度的变化进行说明。在图3中，按时间序列示出基于以往技术的 拍摄图像的亮度的变化。图像101是最早的拍摄图像，图像115是最新 的拍摄图像。在图4中，按时间序列示出基于本公开的拍摄图像的亮度 的变化。图像201是最早的拍摄图像，图像215是最新的拍摄图像。
如图3所示，在拍摄图像的亮度的明暗的周期接近拍摄周期的倍数 时，拍摄图像以缓慢的周期反复出现明暗。在图3中，图像101～105 以及图像110～114表示“明”，图像106～109以及图像115表示“暗”。 即，以5次“明”、4次“暗”为1周期，反复出现明暗。这与由上述构 造物产生的影子造成的明暗的周期不同。
在本公开中，检测该明暗的反复，推定运算该反复的周期。然后， 在推定为以推定运算出的周期周期性地反复出现明暗时，判定为拍摄周 期接近由上述构造物产生的影子造成的明暗的周期的倍数，将拍摄周期 设定为不同的周期。即，使不接近由影子造成的明暗的周期的倍数，使 拍摄图像的亮度不周期性地反复出现明暗。
在图4中，使拍摄图像的亮度的明暗的周期与图3不同，所以图像 214以外的图像为“明”状态。即，图像214以外的图像至少是大于上 述阈值的亮度。由此，能够准确地读取脸的状态的拍摄图像的枚数变多。
使用图5，对拍摄状态控制处理的其他例进行说明。本结构相当于 如下结构：拍摄部以预先决定的曝光状态拍摄车辆的室内，拍摄状态设 定部基于亮度推定部的推定运算结果，使曝光状态变化。根据本结构， 能够防止拍摄图像以缓慢的周期反复出现明暗的现象的产生。另外，拍 摄图像的亮度的不均减少，能够得到稳定的识别处理结果。
首先，在拍摄状态设定部23，将拍摄部40拍摄图像时的曝光时间 (例如，相机的快门速度)设定为T0(缺省值)(S31)。接下来，在拍 摄控制部24中，按照以上述曝光时间T0拍摄驾驶员的脸图像的方式控 制拍摄部40(S32)。
接下来，在亮度取得部21中，从拍摄部40拍摄并由图像处理部26 处理过的拍摄图像取得该拍摄图像(即驾驶员的脸图像)的亮度(S33)。 与图2相同地，将该亮度与拍摄时刻建立关联地存储于存储部27。
接下来，在亮度推定部22中，与图2相同地推定存储在存储部27 的过去的拍摄图像的亮度的变化周期(S34)。然后，在判定为拍摄图像 的亮度规定时间以上周期性地变化时(S35：是)，基于亮度的变化周期， 推定在下一个拍摄时刻的拍摄图像的亮度(S36)。
在推定为在下一个拍摄时刻的拍摄图像的亮度小于阈值(即判定为 “暗”)时(S37：是)，在拍摄状态设定部23，将曝光时间设定为T1。 将曝光时间T1设定为判定为明暗为“暗”的拍摄图像的数量变少的值， 例如按照T1＞T0的方式设定。
另一方面，在推定为在下一个拍摄时刻的拍摄图像的亮度大于阈值 (即判定为“明”)时(S37：否)，保持曝光时间为在上述的步骤S31 所设定的T0不变。
使用图3以及图4，对图5中的拍摄图像的亮度的变化进行说明。 如上述那样，在图3中，在拍摄图像的亮度的明暗的变化周期接近拍摄 周期的倍数时，拍摄图像以缓慢的周期反复出现明暗。即，在连续5次 “明”后，连续4次“暗”。
另一方面，在图4中，在拍摄图像201之前的时刻，能够预先推定 上述的拍摄图像的明暗的变化的周期，若在拍摄图像201之前连续出现 4次“暗”，则能够推定接下来的5枚的拍摄图像(即，图像201～图像 205)是“明”。因此，这时的曝光时间为T0即可。在拍摄图像205时， “明”连续出现5次，所以能够推定下一次以后的4枚的拍摄图像(即， 图像206～图像209)是“暗”。因此，使这时的曝光时间为T1。同样， 能够推定图像210～图像214是“明”。由此，在基于以往技术的方法中 成为“暗”的图像206～图像209变成“明”，所以能够准确地读取脸的 状态的图像(成为“明”的图像)的枚数变多。而且，能够取得许多适 于解析的图像，能够得到稳定的识别处理结果。
也可以从导航装置50取得车辆的当前位置的地图信息，基于地图 信息执行拍摄状态控制处理(图2或者图5)。图6中示出其一个例子。 本结构相当于如下结构：具备取得包含车辆行驶中的当前位置的地图信 息的地图信息取得部(30)，具备基于地图信息，判定是否进行由拍摄 状态设定部进行的拍摄部的拍摄状态的设定的判定部(25)。根据本结 构，能够仅在需要的地方进行拍摄状态的设定，所以能够得到稳定的识 别处理结果，并且涉及处理负荷的降低。
首先，从导航装置50取得地图信息(S51)。接下来，在判定部25 (参照图1)基于地图信息判定是否需要执行拍摄状态控制处理(S52)。 在以下的至少一个成立时，判定为需要执行拍摄状态控制处理。
·当前位置为隧道内时。
·当前位置为沟渠部时。
·当前位置为森林地带时。
·沿着当前行驶中的道路排列有高楼、街道树或者街道灯时。
·沿着当前行驶中的道路排列有桥柱时。
在判定为需要执行拍摄状态控制处理时(S53：是)，执行拍摄状态 控制处理(图2或者图5)(S54)。
本公开以实施例为基准进行了记述，但应理解本公开并不限定于该 实施例、构造。本公开也包含各种各样的变形例、均等范围内的变形。 除此之外，各种各样的组合、方式、并且在其中仅包含一要素、更多或 者更少的其他组合、方式也属于本公开的范畴、思想范围内。