帧插补装置 【技术领域】
本发明涉及生成原帧之间的插补帧并插入原帧之间的帧插补装置。背景技术 近年来， 采用帧插补技术增加运动图像的画面数更加平滑地生成余像感少的运动 图像的方法已实际应用。例如， 使每秒 60 帧 (60Hz) 的运动图像提高 2 倍从而变换为 120Hz 的运动图像进行显示的技术也已经实际应用。
在日本从 2006 年 4 月起开始了单频段广播。单频段广播是以便携电话等便携设 备作为主要接收对象的利用窄频带的广播。在单频段广播中， 通常按每秒 15 帧发送影像， 因此非常需要增加其画面数。对于一般的单频译码器而言， 由于以 60Hz 帧频输出影像， 因 此基本上输出 4 帧相同的影像。该情况下， 采用上述帧插补技术用于增加运动图像的画面 数的帧插补装置， 连接于上述单频译码器的后级。
例如， 提出了如下的技术 ： 在这种帧插补装置中， 常时对帧的连续数进行计数， 检 测帧的连续数的变化， 在检测出的结果不是 4 个连续时， 停止插补处理， 或者使采样帧移动 ( 例如， 参照专利文献 1)。
专利文献 1 ： JP 特开 2009-239335 号公报
然而， 在上述技术中， 由于所输入的帧的连续数每次发生变化， 就变更采样帧， 因 此采样率是可变的。在连续帧的检测精度不佳进而误检测连续帧的个数的情况下 ( 例如， 输入影像中存在变化点， 而在检测结果中判定为没有变化点的情况 )， 影像无法被采样。在 此期间也有可能发生输入影像并未反映在输出影像的情况。
此外， 输入至帧插补装置的影像中不仅有单频段广播的影像， 还有通过单频译码 器叠加了时钟显示的 OSD(On Screen Display) 或触摸面板形式的 OSD 菜单等的情况。对 帧的连续数进行计数的结果， 由于该 OSD 的影响， 例如， 也可能发生判定为连续个数为 1 个、 2 个、 3 个的情况。在该情况下当通过采样率可变使采样点移动时， 在进行流水线处理的帧 插补的运算处理中， 有可能发生带宽较大的处理重叠的情况， SDRAM(Synchronous Dynamic Random Access Memory) 的带宽的峰值有可能上升。
发明内容 本发明是鉴于这种状况进行的， 其目的在于提供一种抑制在进行帧插补时可能发 生的影像质量下降的技术。
本发明某一方式的帧插补装置从图像生成装置接收运动图像， 该图像生成装置在 运动图像的各帧后面追加 n(n 为自然数 ) 个复制帧， 使帧数增加之后进行输出， 该帧插补装 置具备 ： 帧取得部， 从运动图像按 (n+1) 个取 1 个的周期对帧采样 ； 插补帧生成部， 生成由 帧取得部采样的帧之间的插补帧 ； 同一性判定部， 判定运动图像的连续的帧的同一性 ； 和 采样点变更部， 在由同一性判定部判定为相同的帧少于或多于 (n+1) 个连续且满足一定条 件时， 使周期固定的情况下移动其采样点。
本发明的其他方式是显示装置。该装置具备上述的帧插补装置、 和显示由帧插补 装置进行倍速变换之后的运动图像的显示部。
根据本发明， 能够抑制在进行帧插补时可能发生的影像质量的下降。 附图说明 图 1 表示实施方式所涉及的显示装置的功能结构。
图 2 表示本发明的实施方式所涉及的帧插补装置的结构。
图 3 表示插补帧的生成原理 (2 倍速变换 )。
图 4 表示实施方式所涉及的帧插补装置的基本动作的时序图。
图 5 表示本实施方式所涉及的具备 3 个连续输入和 / 或 5 个连续输入对策的控制 部的结构。
图 6 是表示实施方式所涉及的帧插补装置的实施了 5 个连续输入对策的动作例的 时序图。
图 7 是表示实施方式所涉及的帧插补装置的实施了 3 个连续输入对策的动作例的 时序图。
图 8(a) ～ (d) 是表示在从图像生成装置提供的运动图像中周期地包含 3 个连续 输入和 4 个连续输入以及 5 个连续输入的例子的图， 是 5 个连续输入对策之前的图。
图 9(a) ～ (d) 是表示在从图像生成装置提供的运动图像中周期地包含 3 个连续 输入和 4 个连续输入以及 5 个连续输入的例子的图， 是 5 个连续输入对策之后的图。
图 10 表示包含实施方式所涉及的图像生成装置生成的 OSD 区域的帧。
图中 ：
10 存储部
20 帧取得部
21 RGB/YC 变换电路
30 插补帧生成部
31 动态向量检测部
32 第 1 块匹配电路
33 第 2 块匹配电路
35 插补帧算出部
40 帧输出部
41 YC/RGB 变换电路
50 控制部
52 同一性判定部
54 采样点变更部
100 帧插补装置
200 天线
300 图像生成装置
310 接收部
320 译码部
330 340 350 400 500复制部 叠加部 控制部 显示部 显示装置具体实施方式
图 1 表示实施方式所涉及的显示装置 500 的功能结构。显示装置 500 是搭载了接 收单频段广播等的电视广播并进行显示再现的功能的设备。例如， 既可以是单频段广播的 接收再现专用机， 也可以是搭载了该功能的便携电话、 智能手机 (smart phone)、 便携式音 乐播放器、 电子词典、 汽车导航装置等。显示装置 500 并不限于是接收电视广播的设备， 也 可以是显示再现运动图像的设备。
显示装置 500 具备 ： 天线 200、 图像生成装置 300、 帧插补装置 100 和显示部 400。 图像生成装置 300 对接收到的信号进行译码输出运动图像。此时， 在对接收到的信号译码 而得到的运动图像的各帧之后追加 n(n 为自然数 ) 个复制帧， 使帧数增加来进行输出。在 接收单频段广播的例子中， 在各帧之后追加 3 个复制帧， 使帧数增加至 4 倍。
图像生成装置 300 包括 ： 接收部 310、 译码部 320、 复制部 330、 叠加部 340 和控制 部 350。接收部 310 经由天线 200 接收单频段广播， 对所选择的频道的信号进行解调， 之后 输出至译码部 320。译码部 320 对从接收部 310 输入的编码数据进行译码。在单频段广播 图像的编码中采用 AVC/H.264 标准。译码部 320 将译码之后的帧输出至复制部 330。
复制部 330 对从译码部 320 输入的帧单纯地进行复制， 并输出至叠加部 340。 如上 述那样在单频段广播中， 以 15Hz 发送过来影像。复制部 330 将该每秒 15 帧的影像变换至 每秒 60 帧的影像。由此， 能够在 60Hz 驱动的显示部 ( 显示面板 )400 显示影像。此外， 在 被译码之后的帧输入至叠加部 340 之前， 实际上由未图示的换算器 (scaler) 实施分辨率变 换， 但在此省略。
叠加部 340 在从复制部 330 接收到的运动图像的画面上叠加 OSD。 OSD 由文字 ( 包 括数字 )、 符号等表现， 例如频道信息、 音量信息、 日期信息、 时刻信息、 电波状况信息、 电池 剩余容量信息等。此外， 还有触摸面板输入中的操作画面等。此外， 叠加部 340 可以将 OSD 区域在画面内设置多处。OSD 是由接收机侧事后附加于各帧的信息， 而不是由发送站附加 的。此外， OSD 叠加显示的画面位置可预先规定， 图像生成装置 300 保存与 OSD 种类相应的 OSD 区域的位置信息。
控制部 350 为了将 OSD 叠加在画面上， 在叠加部 340 中设定 OSD。控制部 350 也进 行接收部 310、 译码部 320 和复制部 330 的动作控制。
帧插补装置 100 从图像生成装置 300 接收运动图像。帧插补装置 100 对接收到的 运动图像进行倍速变换从而提高影像质量。以下， 在本说明书中以 2 倍速变换为例进行说 明。显示部 400 显示由帧插补装置 100 进行了倍速变换之后的运动图像。
图 2 表示本发明的实施方式所涉及的帧插补装置 100 的结构。该帧插补装置 100 具备存储部 10、 帧取得部 20、 插补帧生成部 30、 帧输出部 40 和控制部 50。帧取得部 20、 插 补帧生成部 30 和帧输出部 40 通过并行动作实行流水线处理。存储部 10 可由 SDRAM 构成。此外， 存储部 10 可以设置在帧插补装置 100 之外。帧 取得部 20、 插补帧生成部 30 和帧输出部 40 分别可由组合了各种运算器和寄存器的逻辑电 路构成。该逻辑电路包括由 SRAM(Static Random Access Memory) 等构成的工作区域。控 制部 50 可由逻辑电路或 DSP(Digital Signal Processor) 构成。
存储部 10 暂时存储帧。更而具体而言， 存储从外部输入的原帧和由插补帧生成部 30 所生成的插补帧。 此外， 存储部 10 还存储插补帧生成的运算过程中产生的中间数据 ( 例 如， 动态向量 )。
帧取得部 20 将构成从外部输入的运动图像的帧写入至存储部 10 中。更为具体而 言， 帧取得部 20 从图像生成装置 300 所输入的运动图像中按照 (n+1) 个取 1 个的周期 ( 本 实施方式中为 4 个取 1 个的周期 ) 对帧进行采样。
在本实施方式中， 输入至帧取得部 20 的帧数据， 前提是由三原色 (R、 G、 B) 信号规 定的。帧取得部 20 包括 RGB/YC 变换电路 21。RGB/YC 变换电路 21， 将输入的三原色 (R、 G、 B) 信号变换至亮度 (Y) 信号和色差 (Cb、 Cr) 信号， 然后写入存储部 10 中。此时， 能够对数 据量进行压缩。例如， 可以将 4:4:4 的三原色 (R、 G、 B) 信号变换为 4:2:2 的亮度 (Y) 信号 和色差 (Cb、 Cr) 信号。 以下， 将亮度 (Y) 信号简记为 Y 信号， 将两个色差 (Cb、 Cr) 信号归类简记为 C 信 号。此外， 将原帧的 Y 信号和 C 信号分别简记为原 Y 信号和原 C 信号， 将插补帧的 Y 信号和 C 信号分别简记为插补 Y 信号和插补 C 信号。
在本实施方式中， RGB/YC 变换电路 21 生成块匹配用的 Y 信号， 并存储在存储部 10 中。例如， 生成对未达到 1 像素的像素精度 ( 例如 1/2 像素精度、 1/4 像素精度 ) 的信号进 行插补的、 分辨率增大的 Y 信号。如果使用该 Y 信号， 则能进行小于 1 像素的像素精度下的 动态补偿， 能进行精度更高的动态向量的检测。此外， 小于 1 像素的像素精度的信号， 能够 通过采用 6 抽头 FIR 滤波器等的滤波处理来生成。
插补帧生成部 30 生成由帧取得部 20 采样之后的帧之间的插补帧。更为具体而 言， 插补帧生成部 30 从存储部 10 读出多个原帧， 生成这些帧之间的插补帧， 并写入存储部 10。在本实施方式中， 插补帧生成部 30 从存储部 10 读出 2 个原帧， 生成这些原帧之间的插 补帧， 并将该插补帧写入存储部 10。插补帧生成部 30 包括动态向量检测部 31 和插补帧算 出部 35。
动态向量检测部 31 在 2 个原帧之间检测以块为单位或以像素为单位的动态向量。 在本实施方式中， 通过 2 阶段的块匹配检测以像素为单位的动态向量。
动态向量检测部 31 包括第 1 块匹配电路 32 和第 2 块匹配电路 33。第 2 块匹配电 路 32 从存储部 10 读出要作为该 2 个原帧的、 当前帧的块匹配用 Y 信号和其先前帧的块匹 配用 Y 信号。第 1 块匹配电路 32 将先前帧分割为多个块 ( 例如 8×8 或 16×16 的宏块 )， 在当前帧中搜索与该各个块一致或误差最小的块。
例如， 在先前帧内的对象块与当前帧内的候选块之间， 求出两者包含的对应位置 的像素的差值绝对值和或差值平方和， 将该值最小的候选块作为当前帧内的最佳预测块。 此外， 也可以将在先前帧内的对象块与当前帧内的候选块之间、 两者中包含的对应的位置 的像素实质上一致的数目最多的候选块， 作为当前帧内的最佳预测块。
第 1 块匹配电路 32 计算先前帧内的各块与当前帧内的各最佳预测块的动态向量。
由此， 能够检测以块为单位的动态向量。第 1 块匹配电路 32 将这些的运算结果作为中间数 据写入存储部 10。
第 2 块匹配电路 33 从存储部 10 读出由第 1 块匹配电路 32 写入的中间数据， 在先 前帧内的各块与当前帧内的各最佳预测块之间求出像素值实质上不一致的像素的动态向 量。 例如， 利用与上述方法相同的方法， 在当前帧内搜索与先前帧内的各块内的像素值实质 上不一致的像素的区域一致或误差最小的区域。由此， 能够在先前帧与当前帧之间检测以 像素为单位的动态向量。第 2 块匹配电路 33 将以像素单位的动态向量写入存储部 10 中。
插补帧算出部 35 分别指定通过插补帧内的各像素的上述动态向量， 对与该动态 向量的起点和终点对应的先前帧内的像素以及当前帧内的像素进行合成， 由此生成该插补 帧内的各像素。以下， 参照图 3 对插补帧内的像素生成方法进行说明。
图 3 表示插补帧的生成原理 (2 倍速变换 )。 在 2 倍速变换中， 需要在第 1 原帧 Fo1 与第 2 原帧 Fo2 之间插入一个插补帧 Fi。插补帧 Fi 插入在将第 1 原帧 Fo1 与第 2 原帧 Fo2 之间的时间间隔二等分的时间位置。
插补帧 Fi 的像素 Pi 是对通过该像素 Pi 的动态向量 mv 的起点和中点所对应的第 1 原帧 Fo1 的像素 Po1 和第 2 原帧 Fo2 的像素 Po2 进行合成而生成的。例如， 也可以对两者 的像素值进行平均从而计算出插补帧 Fi 的像素 Pi 的像素值。 在此， 只要能总是正确求出通过插补帧 Fi 的像素 Pi 的动态向量 mv， 则可以将该动 态向量 mv 的起点所对应的第 1 原帧 Fo1 的像素 Po1 直接分配给插补帧 Fi 的像素 Pi。 但是， 在误检测动态向量 mv 的情况下， 由于仅参照单方的像素 Po1， 因此容易产生较大的噪声。 因 此， 在本实施方式中， 参照第 1 原帧 Fo1 的像素 Po1 以及第 2 原帧 Fo2 的像素 Po2 的双方。
此外， 不存在通过插补帧 Fi 的对象像素的动态向量的情况下， 例如以如下方式进 行处理。也就是说， 从插补帧 Fi 内的周边像素中将空间上进行过插补的像素分配给该对象 像素， 或者将合成了与插补帧 Fi 的对象像素相同位置的、 第 1 原帧 Fo1 的像素以及第 2 原 帧 Fo2 的像素之后的像素分配给该对象像素。
返回至图 2， 插补帧算出部 35 从存储部 10 中读出先前帧的原 Y 信号以及原 C 信 号、 当前帧的原 Y 信号以及原 C 信号、 和先前帧与当前帧的动态向量。插补帧算出部 35 利 用上述方法生成插补帧， 将该插补 Y 信号和插补 C 信号写入存储部 10 中。
帧输出部 40 从存储部 10 中读出原帧和插补帧， 按照显示顺序输出至外部 ( 在本 实施方式中为显示部 400)。帧输出部 40 包括 YC/RGB 变换电路 41。YC/RGB 变换电路 41 从 存储部 10 中读出插补 Y 信号和插补 C 信号， 将其变换至三原色 (R、 G、 B) 信号并作为插补帧 输出至外部。此外， YC/RGB 变换电路 41 从存储部 10 读出原 Y 信号和原 C 信号， 将其变换 为三原色 (R、 G、 B) 信号作为原帧输出至外部。
控制部 50 对帧插补装置 100 的整体进行总控制。控制部 50 的与本实施方式相关 的详细结构和动作在后面叙述。
以下， 对实施方式所涉及的帧插补装置 100 的基本动作进行说明。帧取得部 20、 插补帧生成部 30 和帧输出部 40， 按照比帧取得部 20 中被输入要作为处理对象的帧的周期 短的周期进行动作。 在此， 所谓要作为处理对象的帧是指不被丢弃、 在显示以及插补帧生成 的参照中实际使用的帧。以下， 对以 15Hz 的周期向帧取得部 20 中输入帧， 帧取得部 20、 第 1 块匹配电路 32、 第 2 块匹配电路 33、 插补帧算出部 35 以及帧输出部 40 分别以 60Hz 的周
期动作的例子进行说明。
在本实施方式中， 设定帧取得部 20 和插补帧生成部 30 的动作定时， 使得帧取得部 20 对存储部 10 的原帧写入定时与插补帧生成部 30 对存储部 10 的插补帧写入定时错开。 以下， 参照图 4 对帧取得部 20、 插补帧生成部 30 以及帧输出部 40 的具体动作定时进行说 明。
插补帧生成部 30 在从对象帧输入至帧取得部 20 并写入至存储部 10 的上述对象 帧的输入期间的结束起至下一帧的输入期间的开始为止的期间， 结束插补帧生成处理。所 谓该插补帧生成处理是至少从存储部 10 读出该对象帧， 至少参照该对象帧生成插补帧， 以 及将其写入存储部 10 的处理。该插补帧是应该插入该对象帧之前的插补帧。插补帧生成 部 30 既可以参照该对象帧以及其前一个帧来生成该插补帧， 也可以参照该对象帧和前 2 个 以上的帧生成该插补帧， 还可以参照该对象帧和更靠前的多个帧生成该插补帧。
图 4 是表示实施方式所涉及的帧插补装置 100 的基本动作的时序图。在此， 示出 的例子是单频段广播中以 15Hz 的频率接收的帧通过图像生成装置 300 的复制部 330 的单 纯的复制处理帧数被增加至 4 倍之后、 该增加的帧输入至帧插补装置 100。
在图 4 中， 连续输入 4 个相同的帧 A， 接下来连续输入 4 个相同的帧 B， 接着连续输 入 4 个相同的帧 C。以下， 继续输入帧 D、 帧 E、 …。插补帧生成部 30 在帧 A 与帧 B、 帧B与 帧 C、 帧 C 与帧 D、…的各个帧之间生成一个插补帧。由此， 对输入的运动图像进行 2 倍速 变换。 帧取得部 20 在连续输入的 4 个相同的帧之中留下一个丢弃 3 个。在此， 对最初的 1 个帧进行输入处理， 丢弃剩余的 3 个帧。
插补帧生成部 30， 在从对象帧 (A) 输入至帧取得部 20 并写入存储部 10 的对象帧 (A) 的输入期间 ( 原 F 输入 (A)) 的结束起， 至下一帧 (B) 的输入期间 ( 原 F 输入 (B)) 的 开始为止的期间， 结束从存储部 10 读出对象帧 (A) 和其之前的帧 (x)、 生成两帧之间的插 补帧 (xA) 以及将其写入存储部 10 的处理。也就是说， 第 1 块匹配电路 32 的第 1 匹配期间 (BM1(xA))、 第 2 块匹配电路 33 的第 2 匹配期间 (BM2(xA)) 以及插补帧算出部 35 的算出期 间 ( 插补 F 算出 (xA)) 被设定为收敛在从对象帧 (A) 的输入期间 ( 原 F 输入 (A)) 的结束 至下一帧 (B) 的输入期间 ( 原 F 输入 (B)) 的开始为止的期间。
帧输出部 40 在从下一帧 (B) 的输入期间 ( 原 F 输入 (B)) 的开始至再下一帧 (C) 的输入期间 ( 原 F 输入 (C)) 的开始的期间， 按照插补帧 (xA) 和对象帧 (A) 的顺序从存储 部 10 输出， 进而输出至外部。在此， 先输出 2 个相同的插补帧 (xA)， 然后再输出 2 个相同的 对象帧 (A)。
与帧输出部 40 的插补帧 (xA) 和对象帧 (A) 的输出期间 ( 插补 F 输出 (xA)、 插补 F 输出 (xA)、 原 F 输出 (A)、 原 F 输出 (A)) 并行地， 设定帧取得部 20 的下一帧 (B) 的输入期 间 ( 原 F 输入 (B))、 第 1 块匹配电路 32 的第 1 匹配期间 (BM1(AB))、 第 2 块匹配电路 33 的 第 2 匹配期间 (BM2(AB)) 和插补帧算出部 35 的算出期间 ( 插补 F 算出 (AB))。由此， 实现 流水线处理。以下， 对于后续的帧 C、 D、 E、…也同样地进行处理。
根据该动作例， 由硬件处理实现生成插补帧并插入原帧之间的处理的情况下， 能 够确保实时性并且能够减轻存储器的负担。也就是说， 通过使帧取得部 20、 插补帧生成部 30 和帧输出部 40 并行进行动作进行流水线处理， 由此能够确保实时性。
此外， 通过设定帧取得部 20 和插补帧生成部 30 的动作定时， 使得从帧取得部 20 对存储部 10 的原帧写入定时、 和从插补帧生成部 30 对存储部 10 的插补帧写入定时错开， 由此能够减轻存储部 10 的最大负担。
具体而言， 在帧取得部 20 的输入期间 ( 原 F 输入 ) 以及插补帧算出部 35 的算出 期间 ( 插补 F 算出 ) 中， 访问存储部 10 的数据量较多。也就是说， 从帧取得部 20 对存储部 10 的原帧写入， 需要写入 Y 信号和 C 信号的双方。此外， 在插补帧算出部 35 和存储部 10 之 间， 需要从存储部 10 将先前帧和当前帧各自的 Y 信号和 C 信号、 以及先前帧和当前帧的动 态向量读出至插补帧算出部 35。 此外， 还需要并行地从插补帧算出部 35 将插补帧的 Y 信号 和 C 信号写入存储部 10。
对于该点， 在第 1 块匹配电路 32 的第 1 匹配期间 (BM1) 以及第 2 块匹配电路 33 的第 2 匹配期间 (BM2) 中， 访问存储部 10 的数据量较少。这是因为在第 1 块匹配电路 32 与存储部 10、 以及第 2 块匹配电路 33 与存储部 10 各自之间传送的信号是 Y 信号或动态向 量， 而不传送 C 信号。
因此， 按照帧取得部 20 的输入期间 ( 原 F 输入 ) 与插补帧算出部 35 的算出期间 ( 插补 F 算出 ) 不被安排在相同期间的方式进行设定， 由此能够抑制访问存储部 10 的数据 量增大。在图 4 所示的动作例中， 按照该输入期间 ( 原 F 输入 ) 与该算出期间 ( 插补 F 算 出 ) 错开的方式进行设定。此外， 在单位动作期间， 按照帧取得部 20 的输入处理、 插补帧算 出部 35 的算出处理以及帧输出部 40 的输出处理都不同时进行的方式设定。由此， 与帧取 得部 20、 插补帧算出部 35 以及帧输出部 40 整体相关的负荷被平均化。
至此， 对从图像生成装置 300 向帧插补装置 100 理想情况下连续输入 4 个相同帧 的例子进行了说明。 但是， 现实中也存在如下情况 ： 在图像生成装置 300 侧由于为了避免电 波干扰而有意地使帧频偏离 60Hz 等原因， 使得图像生成装置 300 中的译码频率与从图像生 成装置 300 输出的影像的帧频不完全是 4 倍的关系。此外， 由于上述显示装置 500 的应用， 也存在利用软件处理对接收到的运动图像进行译码的应用。在该应用中， 有可能出现译码 处理与此外的负荷较大的处理同时进行处理的情况， 该情况下译码处理有可能延迟。 这样， 理想的应该是连续输入 4 个帧， 但时常会发生连续输入 3 个或连续输入 5 个的情况。
图 5 表示本实施方式所涉及的具备应对连续 3 个输入或连续 5 个输入的控制部 50 的结构。控制部 50 具备同一性判定部 52 和采样点变更部 54。
同一性判定部 52 判定从图像生成装置 300 输入的运动图像的连续帧的同一性。 该 同一性判定的具体例在后面叙述。
采样点变更部 54， 在由同一性判定部 52 判定为相同的帧其连续情况比 (n+1) 个 ( 本实施方式中为 4 个 ) 少或者多时 ( 例如 3 个或 5 个 )， 在使上述周期固定的状态下， 适 应性地移动其采样点。
(5 个连续输入 )
以下， 对从图像生成装置 300 提供的运动图像中包含 5 个连续相同帧的情况下的 动作进行说明。采样点变更部 54 在由同一性判定部 52 判定为相同的帧多于 4 个时 ( 本动 作例中为 5 个 )， 也就是对该帧重复采样时， 使采样点在时间上至少延后一帧。
图 6 是表示实施方式所涉及的帧插补装置 100 的、 实施了 5 个连续输入对策的动 作例的时序图。图 6 的时序图以图 4 的时序图为基础。以下， 主要对两者的不同点进行说明。此外， 输入帧 A1、 A2、 A3、 A4 全部是相同的帧。 「」 表示是由图像生成装置 300 的复制部 330 复制出的复制帧。数字表示输入顺序。帧 B 以后以及后述的图 7 的输入帧也同样。
此外， 图 6 的标出○的输入期间 ( 原 F 输入 ) 表示执行原帧的采样， 并且该原帧是 动态向量的算出、 插补帧的生成、 以及向显示部 400 的输出中使用的原帧。标出△的输入期 间 ( 原 F 输入 ) 表示尽管执行原帧的采样， 但该原帧是由在其下一个标出○的输入期间 ( 原 F 输入 ) 被采样的原帧所覆盖的原帧。
图 6 中连续输入 5 个帧 B。在本动作例中， 同一性判定部 52 检测相同的帧是否连 续 5 个， 并且在第 5 个帧是采样点的帧时， 在下一个帧期间对标记 ( 以下， 称为重复标记 ) 置位。当该重复标记置位时， 采样点变更部 54 在该期间使采样点移动。原则上采样周期是 固定的， 但是在该重复标记被置位时例外地变更采样周期。
帧取得部 20 对帧 B1 采样之后， 对其 4 个之后的帧 B5 进行采样， 但无论哪个都是 帧 B。在连续帧的第 5 个结束的时刻， 能够判断出相同帧 ( 在此为帧 B) 至少 5 个连续， 因 此， 将此作为条件接下来的帧 C1 成为重复标记的候选。进而， 该帧 C1 之前的帧位于原帧输 入期间 ( 原 F 输入 ) 的采样帧， 因此 5 个连续的帧 B 被连续采样 2 次。以此为条件最终在 帧 C1 的位置上对上述重复标记置位。帧取得部 20 与该重复标记置位和 4 个采样周期无关 地， 对该期间的帧采样。在此， 对帧 C1 采样。以下， 将该采样点作为开始基准， 重新开始 4 个采样周期。 这样， 帧取得部 20 连续 2 次对相同帧采样的情况下， 后被采样的期间的处理实质 上视为无效。具体而言， 在该期间采样的帧 B5 被丢弃。帧输出部 40 在该期间向外部输出 帧 A 与帧 B 之间的插补帧 AB， 但是该外部输出并不被计数成有效输出。 也就是说， 在该期间 后向外部连续输出 2 个插补帧 AB。用户将看到一帧的多个插补帧 AB， 但对于视觉上几乎没 有影响。
即便连续检测出 5 个相同的帧连续， 在采样点不在重复标记置位的帧之先前的帧 的情况下， 该重复帧也不会被置位。这种情况下， 不进行采样点变更， 采样周期维持以前的 反复定时。
(3 个连续输入 )
以下， 对从图像生成装置 300 提供的运动图像中包含 3 个连续相同的帧时的动作 进行说明。采样点变更部 54 在由同一性判定部 52 判定为相同的帧少于 4 个时 ( 本动作例 中为 3 个 )， 也就是在一周期内无法对该帧采样时， 使采样点在时间上至少前进一帧。 此时， 优选采样点变更部 54 使采样点在时间上前进， 使得帧取得部 20 的对存储部 10 的原帧写入 定时与插补帧生成部 30 的对存储部 10 的插补帧写入定时错开。
图 7 是表示实施方式所涉及的帧插补在之后 100 的、 实施了 3 个连续输入对策的 动作例的时序图。 图 7 的时序图是以图 4 的时序图为基础的。 以下， 主要对两者的不同点进 行说明。在图 4 的时序图中对 4 个连续输入的帧之中最初的帧进行采样， 但在图 7 的时序 图中以对第 4 个帧采样为例进行说明。再有， 作为临时帧对第 2 个帧事先进行采样。更为 具体而言， 帧取得部 20 与第 2 块匹配电路 33 的第 2 匹配处理并行地对临时帧进行采样， 将 该临时帧输入至存储部 10 或其他临时存储部。也就是说， 第 2 匹配期间 (BM2) 与原帧 ( 临 时帧 ) 的输入期间 ( 原 F 输入 ) 被设定为相同的定时。
此外， 图 7 的标出○的输入期间 ( 原 F 输入 ) 以及标出△的输入期间 ( 原 F 输入 )
是指与图 6 的相应期间相同的意义的输入期间 ( 原 F 输入 )。标出 × 的输入期间 ( 原 F 输 入 ) 中不执行采样。
图 7 中连续输入 3 个帧 C。在本动作例中， 在同一性判定部 52 检测出相同的帧连 续 3 个， 接下来的帧将变化为其他帧， 并且 3 个连续之后的下一帧是采样点的帧时， 在下一 帧的期间对标记 ( 以下， 称为丢失标记 ) 置位。采样点变更部 54 在该丢失标记置位时， 在 丢失标记置位之后的下一帧的期间移动采样点。在图 7 的时序图中， 使采样点在时间上前 进 2 帧。
帧取得部 20 在对帧 B4 采样之后， 对其 4 帧之后的帧 D1 进行采样。这是因为帧 C 仅连续 3 个。同一性判定部 52 在相同帧连续 3 个而接下来其他帧的输入结束的时刻， 能够 判断出连续帧在 3 个处结束， 因此， 以此为条件接下来的帧 D2 成为丢失标记的候选。进而， 由于该帧 D2 之前的帧 D1 位于原帧输入期间 ( 原 F 输入 ) 的采样帧， 因此 3 个连续的帧 C 一次也没有被采样。以此为条件最终在帧 D2 的位置使上述丢失标记置位。当该丢失标记 被置位时， 尽管帧取得部 20 与 4 个采样周期无关地对该期间接下来的帧 D3 采样， 但并不执 行作为临时帧的帧 D3 的采样。以下， 将该采样点作为开始基准， 重新开始 4 个采样周期。
当上述丢失标记置位时， 第 1 块匹配电路 32 不使用之前采样的帧， 使用临时帧进 行第 1 匹配处理。 在此， 不使用之前进行过采样的帧 D1， 使用该 2 单位期间之前进行过采样 的临时帧 C 进行帧 B 和帧 C 之间的第 1 匹配处理。后续的由第 2 块匹配电路 33 进行的第 2 匹配处理也在帧 B 与帧 C 之间实行， 由插补帧算出部 35 进行的插补帧算出处理也是在帧 B 与帧 C 之间实行。后续的由帧输出部 4 进行的输出处理与通常不同， 逐个向外部输出帧 B 与帧 C 之间的插补帧、 以及原帧 C。尽管用户少看到一帧份的插补帧 BC 和原帧 C， 但在视觉 上几乎没有影响。 即便检测到相同的帧连续 3 个其后的帧变为其他帧， 当采样点不在丢失标记置位 的帧之前的帧中时， 该重复标记不被置位。该情况下， 不进行采样点的变更， 采用周期维持 之前的反复定时。
在图 7 的时序图中， 帧取得部 20 的对存储部 10 的原帧写入定时与插补帧生成部 30 的对存储部 10 的插补帧写入定时不重复。这样， 在图 7 的时序图中能够确保实时性， 同 时在抑制存储部 10 的负荷增大的情况下， 实施 3 个连续输入对策。
(3 个连续输入和 5 个连续输入混合存在 )
图 8(a) ～ (d) 是表示在从图像生成装置 300 提供的运动图像中周期性地包含 3 个连续输入、 4 个连续输入和 5 个连续输入的例子的图， 是 5 个连续输入对策之前的图。在 图 8(a) ～ (d) 的各图中， 上段表示对帧插补装置 100 的输入帧， 下段表示来自帧插补装置 100 的输出帧。下段的 2 个小写文字的块表示插补帧。纵向虚线右侧的块表示采样点。
图 8(a) 分别 4 个 4 个输入到帧 X、 Y、 Z， 在帧 A 之后周期地输入 3 个连续帧、 4 个连 续帧、 5 个连续帧。 该周期性的现象是由于对图像生成装置 300 的电波干扰或图像生成装置 300 中的负荷变动等产生， 并观测到的现象。此外， 该现象是随机产生的。图 8(d) 中在帧 H 以后返回至 4 个连续输入。进行过采样的原帧被延后 6 帧输出。在 3 个连续输入、 4 个连续 输入以及 5 个连续输入周期性地发生的情况下， 帧插补装置 100 的 2 倍速变换， 能按照与 4 个连续输入持续的情况同样的精度无误地进行。
图 8(b) 表示按照与图 8(a) 同样的图案输入帧， 并且采样点被延后一帧的情况。 该
情况下， 帧插补装置 100 的 2 倍速变换也能够按照与 4 连续输入持续的情况相同的精度无 误地进行。图 8(c) 表示按照与图 8(a) 同样的图案输入帧并且采样点被延后 2 帧的情况。 该情况下， 帧插补装置 100 的 2 倍速变换也能够按照与 4 连续输入持续的情况相同的精度 无误地进行。
图 8(d) 表示按照与图 8(a) 同样的图案输入帧并且采样点被延后 3 帧的情况。该 情况下， 由于 3 个连续输入的帧与采样点偏离， 因此该帧成为丢失帧。在图 8(d) 中， 帧 A、 D、 G、 J 成为丢失帧。此外， 由于 5 个连续输入的帧被采样 2 次， 因此成为重复帧。在图 8(d) 中， 帧 C、 F、 I 成为重复帧。图 8(d) 中帧插补装置 100 的 2 倍速变换的精度下降。
图 9(a) ～ (d) 是表示从图像生成装置 300 提供的运动图像中周期地包含 3 个连 续输入、 4 个连续输入以及 5 个连续输入的例子的图， 是 5 个连续输入对策之后的图。图 9(a) ～ (c) 与图 8(a) ～ (c) 同样。
图 9(d) 中， 尽管无法防止最初发生的 3 个连续输入的帧 A 的丢失， 但随着检测出 最初发生的 5 个连续输入的帧 C， 使采样点 (SP) 延后一帧。 由此可知， 之后丢失和重复都不 会发生。
只要实施上述的 3 个连续输入对策， 就能够防止最初发生的 3 个连续输入的帧 A 的丢失。但是， 上述这种 3 个连续输入对策中， 需要保持临时帧， 需要增大存储容量。相对 于此， 在 5 帧连续输入对策中则不需要。因此， 对于帧插补装置 100 而言， 较之于 3 个连续 输入， 5 个连续输入更容易处理。 ( 同一性判定 )
接下来， 对同一性判定部 52 进行的帧之间的同一性判定处理进行说明。同一性判 定部 52 计算从图像生成装置 300 输入的运动图像的各帧的像素值的合计值， 以此来判定同 一性。 在像素值的合计值一致或者在规定设定值的范围内的情况下， 判定为相同的帧。 应该 作为该像素值计算的基础的帧， 既可以是 RGB/YC 变换前的帧， 也可以是该变换之后的帧。 此外， 还可以是仅仅 Y 信号的帧。该情况下， 尽管判定精度下降， 但能够减少运算量。
此外， 从图像生成装置 300 输入的帧中叠加了 OSD 的情况下， 同一性判定部 52 从 至少除去了叠加于各帧的 OSD 的区域， 计算各帧的像素值的合计值。
图 10 表示实施方式所涉及图像生成装置 300 生成的包含 OSD 区域的帧 60。在该 帧 60 显示 OSD 区域 62。
OSD 区域 62， 根据种类预先设定显示的位置和大小。例如， 音量信息如图 10 所示 那样显示在帧 60 的下部， 频道信息显示在帧的左上部。
此外， 同一性判定部 52， 可以计算至少除去了叠加于各帧的 OSD 之后的区域中得 到的、 实质上最大的矩形区域的像素值的合计值。该情况下， 该运算电路的硬件化容易实 现。
如上述根据本实施方式， 4 个连续输入被打乱时， 通过固定采样率的情况下使采样 点移动， 由此能够抑制在进行帧插补时可能产生的影像质量的下降。
对于该点， 在采样率可变的结构中， 误检测连续个数的情况下， 采样自身有可能停 止， 输入影像有可能不反映在输出影像中。对于这一点， 根据本实施方式， 即便在误检测连 续个数的情况下， 影像输出也不会中断， 在正确检测到连续个数之后， 重新开始正确的帧插 补。
此外， 在上述的 3 个连续输入对策中， 将作为临时帧缓存的帧作为不发生带宽上 升的定时的帧， 由此能够抑制带宽的上升。
以上， 根据几个实施方式对本发明进行了说明。 该实施方式仅是例示， 对于本领域 技术人员而言应该理解为在各结构要素和各处理过程的组合中可进行各种变形， 这种变形 例也属于本发明的范围。
在上述实施方式中， 例示了在 4 个连续输入中混入了 3 个连续输入和 5 个连续输 入的情况， 但并不限于此。若是单纯的 4 个连续输入和 5 个连续输入的组合、 或者单纯的 4 个连续输入和 3 个连续输入的组合， 则仅采用对应的连续输入对策即可。
具体而言， 将图像生成装置 300 的复制部 330 设定成按比生成 n 个 ( 本动作例中 为 3 个 ) 的复制帧的动作频率更高的频率进行动作。例如， 设定成按高于 60Hz 的 60.2Hz 等进行动作。帧插补装置 100 从按比生成 n 个复制帧的动作频率更高的频率进行动作的图 像生成装置 300 接收运动图像。由此， 接收 4 个连续输入和 5 个连续输入的组合的输入帧， 通过仅采用 5 个连续输入对策， 能够抑制电路规模的增大， 同时维持倍速变换的精度。
此外， 将图像生成装置 300 的复制部 330 设定成按比生成 n 个 ( 本动作例中为 3 个 ) 的复制帧的动作频率更低的频率进行动作。 例如， 设定成按低于 60Hz 的 59.8Hz 等。 帧 插补装置 100 从按比生成 n 个复制帧的动作频率更低的频率进行动作的图像生成装置 300 接收运动图像。由此， 接收 3 个连续输入和 4 个连续输入的组合的输入帧， 通过仅采用 3 个 连续输入对策， 能够维持倍速变换的精度。
在上述 3 个连续输入对策中， 说明了在检测到 3 个连续输入时使采样点前进 2 帧 的处理。在能够很好接受带宽上升的情况下， 也可以采用使采样点前进一帧的处理。
此外， 在上述实施方式中， 对通过 2 阶段的块匹配检测以像素为单位的动态向量 的方法进行了说明， 但也可以利用通过一次的块匹配得到的以块为单位的动态向量来求得 通过插补帧内的各像素的动态向量。此外， 也可以利用梯度法而不是块匹配来检测以像素 为单位的动态向量。
此外， 在上述实施方式例示的例子中， 对图像生成装置 300 追加了帧插补装置 100， 由此实现单频段影像的倍速变换， 但也可以在图像生成装置 300 内代替复制部 330 而 在一开始就搭载帧插补装置 100。
此外， 在上述实施方式中， 说明了对单频段广播的运动图像进行倍速变换的例子， 但本发明所涉及的帧插补装置 100 并不限定于该用途， 可以应用于各种运动图像的阵列变 换。特别是可有效地适用于由低规格摄像头拍摄的运动图像等低帧频的运动图像。例如， 也可以适用于小于 15Hz 的运动图像的帧频变换。