改进的HDR图像编码和解码方法和设备.pdf

为了具有非常有效并且在一些实施例中还与遗留LDR显示系统后向兼容，教导了涉及将对应于第一辉度动态范围（R_oLDR）的图像编码（LDR_CONT）解码成第二辉度动态范围（R_oHDR）输出图像（HDR_FIN）的装置和方法，其中图像编码（LDR_CONT）是高动态范围场景的原始图像（HDR_ORIG）的编码像素，所述方法包括：利用预定色调映射策略（FL2H）来将所述图像编码（LDR_CONT）中的像素的至少亮度色调映射到对应于所述第二辉度动态范围（R_oHDR）的中间图像（HDR_PRED）中的像素亮度上；以及通过将所述中间图像（HDR_PRED）的像素中的至少一些的亮度乘以预定相乘因子，来修改所述亮度，得到所述输出图像（HDR_FIN）。

权利要求书1.  一种将对应于第一辉度动态范围（R_oLDR）的图像编码（LDR_CONT）解码成第二辉度动态范围（R_oHDR）输出图像（HDR_FIN）的方法，其中图像编码（LDR_CONT）是高动态范围场景的原始图像（HDR_ORIG）的编码像素，所述方法包括：- 利用预定色调映射策略（FL2H）来将所述图像编码（LDR_CONT）中的像素的至少亮度色调映射到对应于所述第二辉度动态范围（R_oHDR）的中间图像（HDR_PRED）中的像素亮度上；以及- 通过将所述中间图像（HDR_PRED）的像素中的至少一些的亮度乘以预定相乘因子，来修改所述亮度，得到所述输出图像（HDR_FIN）。2.  根据权利要求1所述的对图像编码进行解码的方法，其中所述第一辉度动态范围是低动态范围，所述低动态范围通常对应于500尼特或更低的范围的峰值明度，并且所述第二辉度动态范围是高动态范围，具有至少750尼特的峰值明度。3.  根据权利要求1或2所述的对图像编码进行解码的方法，其中所述预定相乘因子被存储在与所述图像编码（LDR_CONT）相关联的元数据中，所述解码方法包括在所述元数据中读取定义所述图像编码（LDR_CONT）的空间区域的信息，针对所述图像编码（LDR_CONT），至少一个相乘因子被编码在所述元数据中，所述空间区域的几何形状被编码（503、504、505）在所述元数据中。4.  根据权利要求3所述的对图像编码进行解码的方法，其中所述预定相乘因子包括在相乘因子阵列（506）中，所述相乘因子阵列包括每个像素或像素组的相乘因子，其中根据与所述空间区域几何形状的编码对应地定义所述阵列。5.  根据权利要求4所述的对图像编码进行解码的方法，其中所述相乘因子阵列（506）中的相乘因子被编码为到定义表（520）中的索引，所述定义表（520）包含针对所述索引的实际相乘因子。6.  根据权利要求5所述的对图像编码进行解码的方法，其中所述定义表（520）与描述符（530）相关联，所述描述符（530）表征所述定义表，并且于是在修改亮度的该情况下，应当例如在图像的特定拍摄上使用它。7.  根据权利要求6所述的对图像编码进行解码的方法，其中所述解码还读取窗类型（531），指示与该窗类型（531）相关联的空间区域具有凭借与对应于所述窗类型（531）的描述符（530）相关联的定义表来编码的相乘因子。8.  根据权利要求1或2所述的对图像编码进行解码的方法，其中以约束所述相乘到相乘策略中的方式来执行所述修改所述中间图像（HDR_PRED）的所述像素中的至少一些的亮度，在所述相乘策略中，所述输出图像（HDR_FIN）的局部平均辉度在与所述中间图像（HDR_PRED）的局部平均辉度的预定百分比偏差内。9.  根据权利要求8所述的对图像编码进行解码的方法，其中读取类型值508，所述类型值508指示与这样的被约束的相乘相关地定义所述相乘因子。10.  根据权利要求1或2所述的对图像编码进行解码的方法，其中从所述元数据读取所述相乘因子作为在运动的1维或2维位置坐标上的相乘因子的函数定义。11.  一种将高动态范围场景的原始图像（HDR_ORIG）编码为对应于第一辉度动态范围（R_oLDR）的图像编码（LDR_CONT）的方法，所述方法包括：- 利用预定色调映射策略（FL2H）来将所述图像编码（LDR_CONT）中的像素的至少亮度色调映射到对应于第二辉度动态范围（R_oHDR）的中间图像（HDR_PRED、GRAD_1LDR）中的像素亮度上；- 通过分析所述中间图像（HDR_PRED、GRAD_1LDR）中的像素颜色与指定的第二图像（HDR_ORIG或GRAD_FINLDR）的那些像素颜色的区别，来确定用于与所述中间图像（HDR_PRED、GRAD_1LDR）的所述像素中的至少一个的亮度相乘的相乘因子；以及- 在图像信号（S_im）中编码所述图像编码（LDR_CONT）、指定所述色调映射策略（FL2H）的数据和所述相乘因子。12.  根据权利要求11所述的对高动态范围场景的原始图像（HDR_ORIG）进行编码的方法，其中所述第一辉度动态范围（R_oLDR）是低动态范围，所述低动态范围通常对应于500尼特或更低的范围的峰值明度，并且所述第二辉度动态范围（R_oHDR）是高动态范围，具有至少750尼特的峰值明度。13.  一种HDR图像解码装置（401），包括：- 解码器（402），其被布置为获得对应于第一辉度动态范围（R_oLDR）的图像编码（LDR_CONT）；- 色调映射器（403），其被布置为获得色调映射策略（FL2H）的规范，并且应用所述色调映射策略到所述图像编码（LDR_CONT），得到对应于第二辉度动态范围（R_oHDR）的中间图像（HDR_PRED）；以及- 像素颜色修改器（404），其被布置为获得包括至少一个相乘因子的相乘因子数据（A_MUL），并且被布置为将至少一个相乘因子乘以所述中间图像（HDR_PRED）中的至少一个像素的亮度，得到输出图像（HDR_FIN）作为输出。14.  一种HDR图像编码装置（701），包括：- 用于获得高动态范围场景的原始编码（HDR_ORIG）的输入，- 分级管理器（702），其被布置为将该原始编码（HDR_ORIG）转换为对应于第一辉度动态范围（R_oLDR）的图像编码（LDR_CONT），并且被布置为通过利用被编码在色调映射数据（FL2H）中的色调映射策略来色调映射所述图像编码（LDR_CONT）来确定对应于第二辉度动态范围（R_oHDR）的中间图像（HDR_PRED）；- 分级差别比较器（704），其被布置为将所述中间图像（HDR_PRED）与指定的第二图像（HDR_ORIG，或GRAD_FINLDR）进行比较，并且基于在这些图像之间的差别得到相乘因子数据（A_MUL），所述相乘因子数据包括至少一个相乘因子，所述相乘因子当与所述中间图像（HDR_PRED）的至少一个像素的亮度相乘时得到输出图像（HDR_FIN）的最终像素颜色，所述最终像素颜色比起所述中间图像（HDR_PRED）中的像素的颜色更接近在所述第二图像中的对应像素的颜色；以及- 编码单元（710），其被布置为将所述图像编码（LDR_CONT）、所述色调映射数据（FL2H）和所述相乘因子数据（A_MUL）编码在输出图像信号（S_im）中。15.  根据权利要求14所述的HDR图像编码装置（701），包括用户接口单元（703），所述用户接口单元（703）被布置为允许人颜色分级员确定至少所述图像编码（LDR_CONT）和所述色调映射策略。16.  一种HDR图像信号，包括：- 对应于第一辉度动态范围（R_oLDR）的图像编码（LDR_CONT）；- 被用于将所述图像编码（LDR_CONT）色调映射成对应于第二辉度动态范围（R_oHDR）的中间图像（HDR_PRED）的色调映射数据（FL2H）；以及- 相乘因子数据（A_MUL），包括至少一个相乘因子用于与所述中间图像（HDR_PRED）的至少一个像素的亮度相乘。17.  一种被布置为能够存储包括如权利要求16所述的HDR图像信号的数据的便携数据设备，例如蓝光盘。

说明书改进的HDR图像编码和解码方法和设备
技术领域
本发明涉及与被称为低动态范围（LDR）图像的遗留图像相比具有增大的动态辉度（luminance）范围的至少一个图像或视频的改进的编码的装置和方法和得到的产品（例如数据储存产品或例如存储在存储器中的编码后的信号）。
背景技术
近来，图像采集、显示和特别是编码已从所谓的低动态范围（LDR）成像（例如类似PAL或MPEG2的经典系统）改进到所谓的高动态范围成像（HDR）。传感器现今具有较高的原生(native)信号电压范围（在饱和或至少给出最大允许像素电压的场景辉度与最小值或替代的典型噪声水平之间），或它们具有用于通过多个图像（例如从具有不同敏感度的空间系统，或具有不同曝光设置的连续图片）组成得到的图像来延展该传感器范围的技术。利用LDR摄像机采集(capturing)的区别是这样的LDR摄像机通常修剪和/或软修剪一些区域，如在外部的明亮辉度变成白（那些存储的编码的LDR图像像素的亮度（luma）Y为255），而HDR采集系统可合理地如实地采集在场景中的所有辉度。尽管这样，但是怎么处理它们仍然是个问题，即，如何针对例如在电视网络系统上的传输来对它们进行编码，并且如何在例如HDR显示器上（如实地，或以优选的方式，或至少可接受地）渲染它们，HDR显示器具有比LDR显示器的典型峰值明度更高的峰值明度（例如3000尼特，而不是100或500尼特）。
因为对图片的渲染的外观取决于很多变量，例如图片中的内容，所渲染于的显示器的种类（例如其峰值明度）和观看环境，通常所采集的原始传感器图片（其可以紧密相关于原始场景，但是绝对不与最终渲染环境有关，从而没有关于人将如何看这两个场景的信息）经历其像素颜色的转换（其被称为分级）。通常这可以是人分级员。例如，在电影制作中，可能难以精确地照亮房屋内部（还给定了定时和定价约束），更不必说建立特殊灰度模式的雷云。场景照明组可以然后争取近似正确的照明，其至少在所有地方建立“足够”或“正确量”的光，并且可以定位实践（例如如在桌上的蜡烛之类的氛围照明（或模拟其的一些事物），霓虹灯等）。但是分级员然后在图像处理软件中对其进行改进，例如他可以画出阳光，如同在实际场景中穿过窗户落下那样。
LDR编码具有表征其的另一属性。天真地，可能认为LDR仅仅是其中亮度具有每像素8位代码字（或当然类似的实施例）的编码，并且反之亦然，8位表示LDR。但是在理论上，可以对8位代码的那些图像阵列中的任意进行编码，从而可以至少在理论上对非常复杂的图案进行编码，从而为什么HDR图像不可以。
问题是（并且其部分是长历史传统的遗留）根据特定代码映射函数将传感器电压（即场景辉度的线性表示）编码为8位代码字。这是简单的、不太非线性单调和连续的函数，即伽马2.2。理念是，经由这样的直接连接系统对采集、编码和渲染的这一紧密链接将相当于几乎自动地正确做出分级。信号被直接施加到CRT显示器的阴极，并且这是由于该CRT物理结构才选择伽马2.2（其附带地还给出合理的均匀精神性视觉明度范围来利用）。如果仅存在单个类型的显示器，其将正确地将驱动值渲染成输出辉度，只要其被为LDR信号的驱动信号驱动。并且利用直接来自摄像机的补偿伽马（即大约1/2.2）对其进行自动预分级。而且，如果在创建侧的任何分级艺术家希望微调或改进像素颜色，则他将在创建侧的正好同一CRT上观看信号时这么做，从而消费者家庭电视机将大约精确地给出相同渲染（除在观看者上的环绕效果之外），因为其由同一校正的图像驱动。
在任何情况下，该LDR编码链用作闭合的规范，其中渲染和编码（或分级）相当于同一事情。现今，具有非常不同的显示器（例如在家庭的LCD，用于在火车上观看图像内容的Ipad、家庭投影仪和最近非常高明度的HDR显示器）使得渲染或色域映射应当是完全与图像编码分离的阶段成为必要，因为给定同一输入图像，这些显示器将显示出在它们的输出外观中的非常大的变化，这可能比期望的更加严重。
但是在任何情况下，在内容创建侧，例如在摄像机和编码之间，在LDR系统中仍然遵循该紧密链接。尽管现代消费者摄像机（尤其是因为最近它们开始并入HDR功能）可使用比伽马2.2更精密的代码映射函数，它们仍然具有相对类似的功能，其不是高度非线性的，即不是如此不同使得我们不能利用线性分析逼近它们的数学行为的很多方面。
特别是其在必须采集较高辉度范围的场景（例如坐在汽车中的人的场景）时被看到。例如人的脸的曝光以及代码映射函数（例如S曲线）之类的因素的组合通常导致以下事实：如果针对汽车内部良好地曝光，则可仅利用接近代码色域的上边界的淡颜色（pastellish color），即利用接近255的亮度来表示外部。这是因为摄像机或摄影师例如选择使脸部颜色代码映射为接近平均辉度，比如说简单值128。如果我们粗略估计在该值周围的映射函数是平方函数，则值255可仅表示高4x的外部亮度。当然实际值将取决于摄像机系统（包括人操作员选择）将如何智能地处理这样的亮区域，并且在代码映射中的大致肩部可仍然至少分配不同的代码值给比脸部的4x辉度更高的场景辉度（但是也必须说，在实际上，当在不具有很多准备的情况下拍摄地点快速产生的内容中的非常多部分将图像的显著部分修剪到255，并且其是否是如此令人满意是成问题的）。
无论如何，作为粗略措施，可以说500：1（或至少1000：1）的上述辉度比率，LDR编码变得成问题，并且至少如果我们希望对场景正确地编码，则我们进入HDR编码技术领域。因此这以建立大约5-10到1、高亮到阴影的照明不均匀的几何形状因子发生，因为物体的反射通常在1%和100%的范围之间。这样的照明降低可已经发生在距离窗户几米远的房间中。
高动态范围场景的示例（其也清楚地向人观看者显示独特的色彩方案）是黄昏城市风景。白色已变成对于人类视觉来说的浅灰色，并且白色看起来在场景中丢失，因为光已经跳到在该（“光”）之上的明度水平。即，人将愿意能够在HDR显示器上显示这些作为光对象，并且还以能够将它们清楚地辨别为光（尤其通过不直接应用输入信号作为驱动信号，但是做一些色域映射优化的渲染器）的方式对它们进行编码。注意，因为摄像机采集、编码和显示的去耦合，关于指定哪些动态范围（并且它们应当不总是辉度对比），应当做出仔细的辨别，因为当进行渲染时特别的例如100000：1的动态范围场景可能不一定需要相同的对比度（例如在显示器上的太阳不需要实际能够伤害你的眼睛），实际相关因子是精神性视觉合理的类似表现。更不用说在一般的高度非线性编码中，这应当表示关于编码解码器的动态范围的任何事情，因为例如特定的映射或编码/渲染精度之类的这样的因素可能都对其具有影响。关于显示渲染，已知具有HDR显示系统，如果其可渲染特别是在LDR显示器上不能如实渲染的光效果，例如实际闪耀的灯，或室外场景的真实太阳照射。并且特别地，将其它场景对象（例如室内家具）的明亮与其协调，即，给出明亮和正常/较暗对象的良好外观结果的这样的亮度（人视觉是相对的）。
被首先设想用于HDR图像编码的（原生）解决方案是由工作在计算机图形学领域中的人构想的，因为在计算机中，可做出任何类型的信号（不具有采集透镜限制，在计算机中，在超新星旁边的宇宙可实际具有零辉度，而且不具有任何采集的光子噪声）。因为框架能够全部遗弃任何之前电视技术约束，合逻辑的解决方案将仅对场景辉度进行线性编码。这将意味着对于像素亮度，需要较高量的代码位，例如16或32。除了如上文所述较高量的数据（其对于视频可能有时候是个问题）之外，这样的原生编码绝对与成像链的剩余部分（即渲染系统）没有链接（或嵌入的技术知识，例如附加的值、测量或包括在等式中的知识，其可以与被编码的像素图像一起被协同编码为元数据或与被编码的像素图像分离但是可链接到被编码的像素图像）。
编码的替代的第二方式是通过双显示系统启示的，或至少与双显示系统概念上相关，双显示系统例如双LCD面板显示器、或具有2D可调制背光的单面板LCD。在这些系统中，最终输出是有背层显示器产生的光图案与前LCD的透射的乘数。问题然后是如何驱动两个信号，给定例如我们具有如上文的原生16位（至少亮度）HDR编码，以及标准驱动器电子器件和例如8位的LCD的物理调制能力（这意味着LCD的线性透射可实现其完全透射的1/255的黑色，以及对于非线性行为的潜在稍微不同的值；并且例如背光也是通过8线性位可调制的）。简单的解决方案则将是取像素亮度的平方根，并且发送2x该平方根给两个驱动器。原理上，任何乘法分解将（理论上）适合。例如，如果LCD仅可以4个梯级（step）（2位线性）改变透射，可仍然做出精确的HDR系统，只要利用给出除法的余数的信号来驱动背光：
Y_背光 = Y_HDR/Y_LCD，
其中Y_LCD将在该示例中更亮或暗地以4个不同方式调制在背后的是什么光（例如最大阻挡，其可以是例如投射背后的光的第1/80，相比透射100%和在2等距透射之间）。
Y_HDR将是16位信号，其中最大值将表示通过将显示器的背光（局部地）切换到其最大值（考虑加热、老化等）大致可渲染的一些非常亮的场景辉度。从而，再次使用线性编码（因为其是渲染如何物理上工作），背光将需要做出16位的第1/4的范围（将做出65536个线性阶梯），其（再次如果我们假设我们需要线性编码和等距驱动）意味着背光将由14位信号驱动（如果需要这样的精度的话）。背光可因此通过任何所需的因子将局部值变为LCD值以渲染HDR图像。实际上，因为这些显示器包含比像素远更少的数量的LED背光元件，所以通过根据一些平均照度驱动背光来渲染图像的一定逼近。从而，例如类似于英国哥伦比亚大学的US7172297的权利要求2中那样，首先计算局部图像像素的平均亮度，并且这得到逼近所需要的渲染的背光值，并且然后设定LCD像素为Y_HDR与该逼近的除数。从而，该相乘的令人感兴趣的属性是其对应于线性位中的降低以对图像之一执行编码，这可在数学上被看作一定种类的范围压缩或色域映射。
从而进一步对此进行精细设计，即以基于这样的乘方案对任何HDR图片进行编码（不一定用于实际两层显示器）。即，可以通过做出一些一般色调的映射来形成第一图片，并且从该映射的得到的8位图像建立标准的JPEG图片（Y_JPEG）。并且然后存储第二图片，第二图片是比例图像Y_HDR/Y_JPEG。从而在解码器侧，可然后使用正常的LDR JPEG图片，或通过将两个LDR图片相乘来再创建HDR图片（假定初始是16位得到两个8位图片，这一般对于大多数（如果不是所有的话）HDR场景或情形是足够的）。该方法的第一劣势是，尽管可如此编码任何HDR图像（通过在比率图片中校正在JPEG图片中的任意，或至少得到合理的逼近，如果JPEG被恶劣编码以致得到的校正越过可能的范围的话，例如如果两个相邻像素被选择为JPEG中的1的话这可能发生，但是在HDR中应当是230或350，再次假定线性），但是代价是需要编码2个图片。通过任何数学校正没有节约，除了需要周围的语义来对那两个图片格式化之外，乍看起来将需要与当存储单个16位图像时相同量的位（至少如果不空间上做二次采样等的话）。第二，该“盲”分解与实际渲染器的物理结构或呈现在所渲染的场景中的物理或精神性视觉语义法（例如哪个对象是仅仅亮的灯）无关，相反其仅仅起因于对被选择以变成基于JPEG的图像的东西的相乘校正。但是它是好的对图像进行编码的向后兼容的策略。
可以从预测-校正可伸缩编码追溯编码的第三方式，其中通过附加的校正图像来校正预测。最初，这在尤其SNR可伸缩性中发生，并且第一图像是逼近，其可包含像素亮度的凑整或量化的版本。在其之上添加图片，该图片添加了另外的精度（注意其它变型可包含例如空间逼近，其也可通过加入校正信号来校正，这将然后也恢复高频率，例如在边界处）。从而如果例如待编码的原始（LDR）信号具有空间上相邻的像素127、144，可以例如利用4的精度阶梯对6位的逼近进行编码，给出像素值128和144。可然后利用包含值-1和0的更高精度的图像来对其校正。因为逼近已经足够好，校正信号的范围应当更低，这可实现位节省。
因为范围和在范围内的精度可原理上互换，也可构想使用这样的技术用于编码HDR图像。实际上，可以定义任何编码范围（以及8位编码）的最大值来与任何场景辉度对应。但是给定HDR场景中的明度阶梯的量，这可被看成是大概仅对于大于8位编码来说是合理的。同时，仅仅可伸缩性不暗示色调映射中的任何改变，即显然仅处理亮度的精度问题，但是并不陈述有关特定LDR编码将如何与任何HDR编码相关，或任何编码后图像将需要如何被最优地渲染在任何显示器上（而不会例如一般在较低峰值明度的显示器上被渲染地过暗）的任何内容。
在该概念上进一步构建，如在WO2007/082562（参见图1）中开发了两层HDR编码方法。在这样的编码器中，认识到存在在HDR和LDR之间的关系，因为其可被采集、编码（例如凭借色域映射）或一般被分级（一般通过为内容制作人工作的艺术家分级员），。例如，因为LDR色域（如由例如400尼特的典型LDR显示器将渲染的东西来定义）可能不能够如实包含亮区域，例如阳光充足的室外，可以通过降低其亮度（并且可能还降低颜色饱和度）来将这样的区域映射到LDR空间。从这样的原始场景的LDR编码做出HDR图像将包含将图像的那些亮室外区域的像素亮度/颜色映射到较高的明度（或换言之，预测HDR分级图像将像什么），例如通过添加固定的或取决于LDR亮度的明度来偏置那些LDR亮度，或一般施加映射函数到至少亮度：Y_HDR=f(Y_LDR)。将至少得到更像HDR似的外表，但是该预测将如何靠近原始HDR分级将强烈取决于映射/预测函数的正确性（和复杂性）。因为图像的高复杂性（使人通常选择更简单的预测（例如是全局色调映射，其将每个像素亮度唯一地映射在亮度值上并且不映射例如图像中的像素的空间位置之类的其它因素），而不是选择（无论如何不完全精确地预测原始HDR图像的）更复杂预测），将存在差别，并且这将是不同的图像。从而，这些两层方法也将该对图像进行编码。因为在LDR分级（其原则上甚至不必须靠近或类似于HDR分级，而可以是任何形式）与HDR分级之间的区别与X位精度和信号的X+Y位精确表示之间的区别完全不同。它们可以原则上是任何东西，甚至高到16位图像（例如原始HDR），而不是8位区别图像，例如如果预测是如此差以致预测像素亮度的连续零，而HDR像素亮度将例如是65000、65004等（虽然这样的最差情况情形是如此不太可能，也能够限制编解码器仅在该情况下犯错误）。在任何情况下，利用校正图片测试那些预测编解码器中的一些，我们发现它们可能需要大量的编码后的数据，并且特别是该数据可编码实际上不与HDR体验如此相关的图像信息，例如在错误方向映射HDR亮度的预测模型误差的校正，或噪声或精神性视觉上不如此相关的图像结构，或至少不是对HDR影响有贡献的最重要图像结构（在HDR相关性的层级上，例如火焰可以是重要的，并且该外观可已经通过很少的良好选择的数据字来编码）。
从而下文提出的技术的目标是提供HDR编码技术（即，与经典LDR相比，沿着亮度范围的图像区域的更高质量的任何编码技术），其给出对场景中的至少一些（如果不是所有的话）HDR方面（即，光，对象的照明（例如某些图像区域的太阳照射），某些方面（例如局部对比度）的改进渲染，等）的编码的更好控制，得到这样的可能的优势，例如较低的比特率，或在编码的位的层级中至少更显著的信息。
发明内容
该目标的问题中的一些通过将对应于第一辉度动态范围（R_oLDR）的图像编码（LDR_CONT）解码成第二辉度动态范围（R_oHDR）输出图像（HDR_FIN）的方法来处理，其中图像编码（LDR_CONT）是高动态范围场景的原始图像（HDR_ORIG）的编码像素，该方法包括：
利用预定色调映射策略（FL2H）来将图像编码（LDR_CONT）中的像素的至少亮度色调映射到对应于第二辉度动态范围（R_oHDR）的中间图像（HDR_PRED）中的像素的亮度上；以及通过将中间图像（HDR_PRED）的像素中的至少一些的亮度乘以预定相乘因子，来修改该亮度，得到输出图像（HDR_FIN）。
通过对像素进行编码，我们当然意指那些像素的信息（因为像素是对特定采样位置的纹理颜色采样，如在所选择的比色系统中定义的），即它们呈现的图像对象纹理，即那些像素的颜色表示（例如YCrCb或RGB）。但是LDR_CONT并不包含在原始HDR图像的颜色编码中的实际表示（即使其将被编码为3x8位图像），但是相反包含存储在LDR_CONT中的新颜色中的那些颜色的转换，该新颜色然而仍旧包含渲染原始图像所需要的空间统计颜色信息。从而，像素仍然表示相同的几何图像对象结构，但是如果被渲染在与原始HDR图像被输入的不同的特定显示器上时具有不同的比色外观（但是信息理论上，不管什么比色转换，与在原始图像中相同的信息，即对HDR场景中的信息的良好采集，几乎仍然存在于图像编码LDR_CONT中，并且是至少利用附加元数据，并且特别是利用根据本创新实施例的元数据，而可再获得的）。通过与图像对应或与图像相关联的动态范围，我们意指旨在主要在特定动态范围的显示器，或类似范围的显示器上渲染（在下文解释在定义以这样的方式的编码的含义的渲染的动态范围与人们所通常认为的例如8位亮度编码的动态范围（其仅对于线性编码是有意义的）之间的精确区别）。通过色调映射策略，我们意指例如简单的全局色调映射函数，或例如将图像编码的像素颜色最终改变为输出图像的像素颜色的任意算法。
实现具有向后兼容直接可用LDR信号的这样的系统的非常令人感兴趣的方式是将高动态范围（输入或主）图像或视频信号的编码解码成高动态范围输出图像或视频信号的方法，该方法包括：
- 利用预定色调映射函数将编码中的像素的至少亮度色调映射在高动态范围中间图像中的HDR像素的亮度上；以及
- 通过将该中间图像的HDR像素中的至少一些的亮度乘以预定相乘因子来修改该亮度。
对于编码，我们意指场景的图像的任意表示，不一定被压缩，但是特别智能地在其表示中使用HDR场景的属性（例如分配亮度子范围以平均灰度对象以及另一子范围用于光效果）。为了简化，我们将聚焦于亮度，因为规定对象的明亮值是对于视觉质量来说更重要的因子，在其周围的颜色具有一定更小的影响（例如因为我们不知道新闻播报员的衬衫的颜色）。从而如果我们需要做出变形误差，例如因为色域形状问题，我们能够在色度方向更好地做出它们。技术人员知道，我们还能够指定在该亮度轴周围的颜色的色度方面，其通过指定在规定的亮度周围的色域映射的色度（例如一些色相和饱和度函数），或通过工作在三个R、G、B轴上，而不是在亮度、色度颜色表示上等。因为这不是本发明的核心，我们将不对此详述。技术人员理解，可在亮度通道上完成的操作（映射和修改）可当然也能够在另一颜色通道（例如红色通道）上完成。对于信号，可以理解如何根据一定标准对图像数据进行格式化，尤其是当添加另外的元数据时，而在我们的描述中的图像可以被理解为像素颜色的原始阵列（但是在这两种构想中都可容易理解本发明）。
我们将描述用于有用的应用的基本方法，其中我们主要将HDR场景（存在至少协同编码的转换函数，但是可以例如以辅助方式来编码一些HDR高明度区域，例如利用局部替换图片，以给出在解码器侧的空间局部像素的集合）编码为8位遗留图像（即例如凭借MPEG-AVC编码来编码的），我们将其称为“HDR_encoded_as_LDR”（或还可称其为“LDR_容器”编码，因为HDR被封装在LDR框架中）。在该示例中的编码将是例如LDR MPEG或JPEG，包含主要的高动态范围输入视频信号（例如16位线性）的信息。能够理解为什么这样的编码可在很多情形中工作。尽管对于最高质量，避免在精细梯度上的条带，或对象的非常精细的纹理，但是对于目前的显示明度和尺寸，甚至多于8位可能是令人满意的。然而，对于在图像中快速移动的复杂对象纹理，6位逼近可能已经是合理的。从而将重要的亮度子范围压缩到不小于6位的任何映射可能不错。对于整个范围，通过在LDR和HDR 8位分级之间的映射从8到6位的降低将允许已经线性的伸展或伽马，其通过因子4或2段（stop）来减光。尤其对于其中带宽/存储器或比特率是有点关键的应用，可能希望使编码允许已经大多数HDR特征处于非常合理的质量，如果不是需要更多的位的最大可能质量（并且可能甚至对于很多所谓高质量应用，通过例如不适当或临界地调谐DCT系数的量化器等来无论如何做出更大的伪影）。
应当仔细衡量以理解在被编码用于特殊辉度范围（例如LDR范围）的信号（例如可用于通过直接应用该信号作为驱动信号）与其实际包含的信息之间的对于本教导的重要区别（该区别不是通俗易懂的见解）。因为我们已将编码和渲染完全去耦，所以这可被完成。仅必须处理将亮度子范围中的信息沿着[0.1]或[最小_亮度, 最大_亮度]范围偏移到适当的水平，来在特定显示器上正确地渲染。例如，编码可以被如此构造（例如人分级）以在LDR显示器上给出好看的图片（还注意我们利用辉度(luminance)而不是亮度(luma)来描述对应于编码的范围，辉度是当最终渲染时图像编码所对应的线性输出结果，而亮度是实际编码，其在理论上可以是任何东西，例如辉度0.1尼特可通过亮度32来编码，而辉度200尼特可由亮度0来编码）。这意味着我们例如已对较暗区域进行分级使得仍然存在在低峰值亮度（例如100尼特）显示器上可见的足够的结构，而不是在难以辨别的黑色中视觉上混淆任何东西。但是该图像分级将对于HDR渲染来说不是非常有用，因为例如较暗的图像区域可以被认为极其明亮以表达正确的场景气氛。然而，现在注意到该LDR分级图像（其是正确的暗区域行为等）可以都包括较低原始场景范围或子范围的信息（即像素亮度空间变化结构），或较高辉度（子）范围的信息。例如，可通过仅使用将阳光充足外部区域修剪到最大白色（255）的简单摄像机，但仍然具有相同的暗和中间区域亮度值，来构造LDR信号。或者可以使用智能色域映射算法，其包括那些阳光充足外部区域的原始采集纹理中的一些。其可挤压在LDR图像的低动态范围中的那些（通常考虑在较少的位中挤压，但是更重要的问题是如何分配对应于编码的帐篷形状的亮度、色相、饱和度色域的子区域），在这样的场景可决不被如实地渲染在LDR显示系统的意义上生成一些错误。但是无论如何，除了凑整误差之外，HDR信息仍然存在。即，其在LDR编码中，以这样的方式其是直接可渲染的（无论如何，与较暗的内部多少相同的平均辉度的柔和状（pastellish）外部区域远比修剪更好）。但是HDR信息在编码中，因此其还可用于HDR渲染，但是则当然首先需要适当的色调映射以获得正确外观的输出图像。但是注意到将HDR场景编码为LDR可用信号（即当直接应用于LDR显示器时具有正确的外观）的该非常有用的后向兼容系统的替代方式，可大概以其他方式使用我们的发明的相同技术教导。
即，可还具有例如8位编码，但是其现在被分级用于直接使用在例如3500尼特的HDR显示器上。即该信号将被不同地分级，因为其将通常例如具有较小的亮度用于较暗的辉度区域。在该情况下，将不需要从LDR信号恢复HDR信号（即针对HDR辉度范围渲染器），但是可通过应用主要具有反转特性（例如伸展较暗的亮度而不是压缩它们）的色调映射从8位HDR分级得到用于遗留显示器的LDR信号。色调映射函数将类似于在元数据中的协调编码，但是大概具有相反的形状（压缩而不是伸展）。并且然后将应用我们的相乘修改到LDR预测而不是HDR预测。当然，该方法可对其中预测是大部分足够的任何其他系统起作用，但是针对至少一些情形，即针对一些图像的一些部分，仍然期望具有用于主要效果的少附加位的一些校正。例如丢失遗留的8位编码约束，仍然明智的是将HDR色调映射到例如10位容器，并且然后通过伸展色调映射来再获得用于任何参考显示（峰值明度）的HDR，并且然后应用一些相乘精调。从而现在应当清楚的是该方法如何工作作为利用在不同的第一和第二辉度范围的编码之间的色调映射对系统的最有用的主要校正。
应当清楚的是图像信号的含义，即这是用于封装图像数据的现有或类似方式中的任意，具有例如一般包含例如针对数据的含义的描述符（例如图像高宽比）的这样的元数据，以及包含与编码图像有关的有用信息（例如用于修改该编码图像）的元数据等。
与对原始和预测（即什么应当仍然被编码）的剩余差别进行逻辑编码的增强方法（该增强方法高度聚焦于精度，并且浪费在最终HDR外观上的具有小的影响或没有影响的位）相比，我们优选地聚焦于更重要的位，优选快速给出标记的HDR效果增大。例如，HDR_encoded_as_LDR编码可工作，因为可牺牲对范围的精度。原理上，可以说需要多于8位用于尤其在高明度显示器上精确地渲染灰度值，因为否则冒着看到一些条带的风险。看待该问题的替代方式是从人视觉体验来看，考虑这样的理论误差实际上多差。在高度有纹理的区域中，这些量化误差将通常不是高度显著的，在运动视频中尤其不显著。甚至它们发生在一些场景中，例如在背景梯度中，虽然它们可被看做烦恼，但是问题当然是这样的伪影与其他伪影相比有多严重。例如，在较低的容量或带宽介质中，其可以是最重要的视觉因素以能够渲染HDR外观，并且如果已经存在这样的伪影，如DCT阻挡伪影，则一些偶尔的条带可以是可接受的。HDR编码然后相对于与精度，与场景对象的亮度/明亮的正确分配和对应的编码技术（例如色调映射函数）更加有关。实际上，可以陈述的是，6位/通道对于LDR已经是相对好的量的数据精度，并且然后8位将允许更高的辉度范围。实际上，两个附加的位允许额外4因数，其可用作附加的亮度范围，而不是精度（例如分配四个不同的亮度子范围用于各个场景区域，例如“暗阴影”、“平均灰度/正常点亮”、“更亮的区域（例如针对外部阳光充足区域）”以及“过亮”，并且然后对其中各个对象进行编码）。
但更重要的，通过具有良好的控制，可以调谐色调映射函数，并且由此最佳地分配所需要的子区域。以该方式，它们不需要都具有等同于6位精度的子范围，但是如果一些重要的子范围（例如其中存在演员的主要（平均辉度）范围）需要更多精度，则可以以另一范围为代价作出，其中在该场景中没有很多在继续（例如可以利用仅一对代码对明亮光进行编码）。
这给出尝试利用LDR分级识别HDR分级的高通用性。在说明中，我们将假设其中其工作得甚至更好的情形，即从该HDR得到LDR。因此利用色调映射进行映射，色调映射原理上（完全或至少大部分）是从HDR亮度到LDR亮度可逆的。可以折衷这样的因数，例如使所获得的LDR分级看起来类似于HDR分级（只要LDR显示器的较低明度色域允许），并且保持足够的精度用于对应于空间子区域或对象的各种（尤其当重要时的）亮度子范围。
现在可然后反转该映射，从而可通过利用预定色调映射函数进行色调映射来从LDR编码重构HDR图像，该预定色调映射函数是从主HDR分级到例如HDR_encoded_as_LDR分级的逆函数（例如如果伽马0.33函数被用于重分配在标准[0,1]浮动表示中的值以获得[0,255]LDR亮度，然后用于重构HDR，将使用3的伽马）。原理上，可完全恢复HDR信号。但是可能存在一些问题。因为将想要能够使用LDR分级作为在遗留LDR显示上的好看的遗留视频信号，并且给定其是从HDR信号计算的（其可例如在一些区域具有非常高的对比度以强调HDR，或相反地，在映射到低明度范围之后，在一些其他区域中的具有过低对比度），可能发生的是，LDR看起来不是令人满意的。当然分级员可然后权衡。他可尝试进一步调谐色调映射函数，直到LDR看起来合理，并且同时重构的HDR仍然具有足够的视觉质量。但是还可能的是，分级员从这相当大地偏离，并且做出不同的LDR分级。至少在一些区域，例如他可以开始对一些脸的像素任意的重新着色。在这样的情况下，从LDR信号预测回到HDR将不仅仅看起来不合理地接近（无论是利用例如PSNR的数学标准来确定，还是利用精神性视觉的标准来确定）原始主HDR分级（其被认为在该HDR_encoded_as_LDR的分级中编码），但更严重地，其可能显著不同，给出不同的HDR外观，或甚至没有给出HDR效果，或者在HDR渲染中严重的视觉伪影等。从而，在这样的情况下，HDR重构将必须被进一步修改。根据本发明，我们认为，最好不只是使用任何修改，而是使用具有高的影响的修改，并且特别考虑很多时候HDR重构将已经是相对接近所期望的，也许不根据PSNR值，而是精神性视觉地。
可以以至少两个有用类型来对校正分类。或者重构的HDR图像的亮度严重偏离，例如像素亮度Y_HDR_RECONSTR是1024，其中其应当是Y_HDR_MASTER 2048。或者应当完成小的校正，例如以带来在对象中多少更多对比度或纹理。替代做出小的改变，可根据视觉重要层级来完成改变，并且特别地，可以利用相乘校正来处理两个情形。即使将要编码的原始HDR的Y_HDR_MASTER是2000，可以将通过从HDR_encoded_as_LDR像素色调映射而重构的HDR像素乘以2。这将仍然包含48（或2%）的误差，但是这比初始100%误差远更好。并且不管怎样，这样的小误差在精神性视觉上最可能是不非常重要的（给定总是存在图像噪声，例如由于光子噪声等）。如果在LDR编码中具有过低的对比度（其也未通过到HDR的色调映射被足够恢复），可通过乘以1.5来增加对比度，针对原始和修改的局部平均值的差别（或经过相乘的和未修改的第一像素的差别）进行校正，修改像素450、452、449为675、678和674，并且然后修改为450、453、449。前一示例具有针对邻近像素的空间连续或延续的相乘校正，还可以指定每个像素的相乘校正模式。在该情形中，可以甚至引进纹理，例如其通过在较低精度LDR颜色空间中的取整被完全丢失。例如，可以在不改变平均明度的情况下可以再次将固定亮度980乘以2.3、4、3.8、1.2等。
各个实施例将以不同的智能优化的方式来对所需要的相乘校正进行编码。例如采用较低的精度、最重要的HDR效果第一视图，不需要任意的相乘因子（如1.222235），并且可因此对该附加的数据进行编码，需要仅少量附加的位。特别是该数量的位不应当被改变超出HDR_encoded_as_LDR编码（其已经非常有效）太多，因为修改被期望仅针对一些图像（或其部分）在一些时候被需要，因为在很多情况中，尽管可能存在一些区别，但是分级员可推断改进不是必要的。但是被编码的部分将然后一般是重要的HDR外观（例如使金属对象看起来更有光泽，更强反差等），或HDR效果，或被认为会引起反感的编码伪影的减轻等。注意，我们旨在还覆盖其中相乘通过对例如颜色通道R、G、B的修改间接作用于亮度上的情形，但是添加那些区别到权利要求中将使得难以可读。
对原理的一些有趣的变型尤其在下文。
一种对图像编码进行解码的方法，其中将预定相乘因子存储在与图像编码（LDR_CONT）相关联的元数据中，该解码方法包括在元数据中读取定义图像编码（LDR_CONT）的空间区域的信息，对于该图像编码，至少一个相乘因子被编码在元数据中，针对该图像编码的空间区域在元数据中编码（503、504、505）几何形状。
能够理解的是可以很多方式来编码几何区域，例如可以定义具有中心(x,y)和两个轴的椭圆，其中通过第一色调映射策略预测的中间图像的对应区域必须被利用例如单个相乘因子相乘地修改，或对应区域可以从子区域构成，其中，例如每10个像素，将使用不同的相乘因子。
一种对图像编码进行解码的方法，其中在相乘因子的阵列（506）中包括预定的相乘因子，该相乘因子阵列（506）包括每像素或像素组的相乘因子，其中与空间区域几何形状的编码对应地定义该阵列。
例如，可以在1D阵列中按像素排序一个相乘因子，该1D阵列对应于作为椭圆中垂线的扫描线，例如在第一线中2像素，然后6像素等。但是还可以定义关系，使得例如相乘因子将被用于例如在几何区域中的2个连续像素。
一种对图像编码进行解码的方法，其中对相乘因子的阵列（506）中的相乘因子编码为到定义表（520）中的索引，定义表包含针对该索引的实际相乘因子。
这允许仅使用几个索引来对最有用的实际相乘因子进行编码。以该方式，可利用例如仅每相乘因子4位来编码阵列506。
一种对图像编码进行解码的方法，其中定义表（520）与描述符（530）相关联，描述符表征定义表，并且于是在修改亮度的该情况下，其应当用于例如图像的特定拍摄（shot）。
向相乘因子给出描述符允许它们被使用或（再）使用于特定预定义情形上。例如可以在电影编码的一开始定义将用于特定种类的暗环境区域的定义表（520），无论它们在电影中的哪个地方出现。但是另一这样的暗环境区域种类可使用另一表。可以进一步有条件地确定它们，例如在当前拍摄中应当使用所选择的表，但是例如仅当HDR_PRED的像素亮度低于值Lx（在其他情况下，可以忽略相乘因子，即使它们被编码），或被编码的索引中的一些可被忽略，这允许再使用表格，并且可以在图像的该拍摄之前指定，例如“不使用29-31”等。这还允许对之前分级和编码的图像信号S_im进行转码。
一种对图像编码进行解码的方法，其中该解码还读取窗类型（531），指示与该窗类型（531）相关联的空间区域具有凭借与对应于窗类型（531）的描述符（530）相关联的定义表来编码的相乘因子。这可用于更紧密地将定义表或其部分与（多个）图像的部分链接。
一种对图像编码进行解码的方法，其中以将相乘约束到相乘策略的方式执行修改中间图像（HDR_PRED）的像素中的至少一些的亮度，在该相乘策略中，输出图像（HDR_FIN）的局部平均辉度在从中间图像（HDR_PRED）的局部平局辉度的预定百分比偏离内。这可以各种方式通过引入平均辉度或类似值到相乘修改策略的等式中来完成。
一种对图像编码进行解码的方法，其中读取类型值508，指示与这一被约束的相乘相关地定义相乘因子。还如此编码相乘策略的几个类型，对此，我们描述了其中两个感兴趣的类型用于阐述。
一种对图像编码进行解码的方法，其中从元数据读取相乘因子作为在运转的1维或2维位置坐标上的相乘因子的功能定义。还可以编码相乘因子作为功能形式，尤其当它们遵循规则形状时，并且假定通常它们可不需要非常精确。例如因子1,4,9或1,5,8可以被编码为在连续位置上的矩形函数。通常，将优选相乘因子的数字编码。
一种将高动态范围场景的原始图像（HDR_ORIG）编码为对应于第一辉度动态范围（R_oLDR）的图像编码（LDR_CONT）的方法，该方法包括：
- 利用预定色调映射策略（FL2H）来将图像编码（LDR_CONT）中的像素的至少亮度色调映射到对应于第二辉度动态范围（R_oHDR）中间图像（HDR_PRED，GRAD_1LDR）中的像素的亮度上；
- 通过分析中间图像（HDR_PRED，GRAD_1LDR）中的像素颜色与指定的第二图像（HDR_ORIG，或GRAD_FINLDR）的像素颜色的区别，来确定用于与中间图像（HDR_PRED，GRAD_1LDR）的像素的至少一些的亮度相乘的相乘因子；以及
- 在图像信号（S_im）中编码该图像编码（LDR_CONT），指定色调映射策略（FL2H）和相乘因子的数据。
如果HDR信号S_im主要针对HDR显示系统来定制，这可对例如较低动态范围预测的修改进行编码。在该情形中，系统可通过下映射可用作HDR驱动图像8位_HDR（或任何HDR编码，例如与线性辉度HDR表示相比具有一些定义色调映射函数的10位）的8位的辉度来得到用于连接的LDR显示的LDR图像。但是通常编码器可当然对可简单用于遗留LDR系统上的LDR_CONT进行编码，在该情况下HDR图像被预测为中间，并且相乘因子用于将其修改为更接近HDR_ORIG。即，这可对应于编码高动态范围场景的原始图像（HDR_ORIG）的方法，其中第一辉度动态范围（R_oLDR）是低动态范围，这通常对应于500尼特或更低的范围的峰值明度，并且第二辉度动态范围（R_oHDR）是高动态范围，具有至少750尼特的峰值明度。
一种HDR图像解码装置（401）包括：
- 解码器（402），其被布置为获得对应于第一辉度动态范围（R_oLDR）的图像编码（LDR_CONT）；
- 色调映射器（403），其被布置为获得色调映射策略（FL2H）的规范，并且应用色调映射策略到图像编码（LDR_CONT），得到对应于第二辉度动态范围（R_oHDR）的中间图像（HDR_PRED）；以及
- 像素颜色修改器（404），其被布置为获得包括至少一个相乘因子的相乘因子数据（A_MUL），并且被布置为将至少一个相乘因子乘以中间图像（HDR_PRED）中的至少一个像素的亮度，得到输出图像（HDR_FIN）作为输出。
一种HDR图像编码装置（701）包括：
- 用于获得高动态范围场景的原始编码（HDR_ORIG）的输入，
- 分级管理器（702），其被布置为将该原始编码（HDR_ORIG）转换为对应于第一辉度动态范围（R_oLDR）的图像编码（LDR_CONT），并且被布置为通过利用被编码到色调映射数据（FL2H）中的色调映射策略来色调映射图像编码（LDR_CONT）来确定对应于第二辉度动态范围（R_oHDR）的中间图像（HDR_PRED）；
- 分级差别比较器（704），其被布置为将中间图像（HDR_PRED）与指定的第二图像（HDR_ORIG，或GRAD_FINLDR）进行比较，并且基于在这些图像之间的差别得到相乘因子数据（A_MUL），相乘因子数据包括至少一个相乘因子，该相乘因子当与中间图像（HDR_PRED）的至少一个像素的亮度相乘时得到输出图像（HDR_FIN）的最终像素颜色，最终像素颜色比起中间图像（HDR_PRED）中的像素的颜色更接近在第二图像中的对应像素的颜色；以及
- 编码单元（710），其被布置为将图像编码（LDR_CONT）、色调映射数据（FL2H）和相乘因子数据（A_MUL）编码在输出图像信号（S_im）中。
HDR图像编码装置（701）将一般还包括用户接口单元（703），用户接口单元被布置为允许人颜色分级员确定至少图像编码（LDR_CONT）和色调映射策略。
技术人员将认识到，本发明的部件可以以很多方式来进一步体现，例如软件，或者一种HDR图像信号包括：
- 对应于第一辉度动态范围（R_oLDR）的图像编码（LDR_CONT）；
- 被用于将图像编码（LDR_CONT）色调映射成对应于第二辉度动态范围（R_oHDR）的中间图像（HDR_PRED）的色调映射数据（FL2H）；以及
- 相乘因子数据（A_MUL），包括至少一个相乘因子用于与中间图像（HDR_PRED）的至少一个像素的亮度相乘。
或者被布置为能够存储包括这样的HDR图像信号的数据的一种便携数据设备，例如蓝光盘。
附图说明
根据下文描述的实施方式和实施例，根据本发明的方法和装置的这些和其它方面将变得清楚，并且参考下文描述的实施方式和实施例，并且参考附图来阐明本发明的方法和装置的这些和其它方面，附图仅仅用作例示更一般的概念的非限制特定图示，并且在图中，虚线用于指示部件是可选的，未画虚线的部件不一定是必要的。虚线也可被用于指示被解释为必要的被隐藏在对象的内部中的元件，或者用于无形的东西，例如对象/区域的选择（以及它们可如何显示在显示器上）。
在图中：
图1示意性图示HDR场景；
图2a示意性图示在HDR场景中的对象辉度，以及图2b示意性示出可如何利用一个可能的LDR亮度编码来编撰这样的对象辉度，以及即LDR图像中的这样的亮度值的柱状图；
图3a示意性图示在HDR场景的图像的不同表示之间的映射链，并且图3b示出可用于在两个这样的不同表示之间映射的全局色调映射函数的示例；
图4示意性图示在接收侧上的根据本发明原理的得到HDR图像的可能编码并且连接到HDR显示器的解码装置；
图5示意性图示在图像信号的一些实施例中可如何编码一些实施例实现所需要的数据中的一些，技术人员理解该数据中的一些可以是替代、附加、可选的等；
图6在色域视图中示意性图示在使用HDR_encoded_as_LDR编码技术的情况下在第一和第二辉度动态范围之间的优化映射之后应用相乘修改的一个示例将如何工作；
图7示意性图示根据本原理的HDR图像编码装置的可能实现可看起来像什么；以及
图8示意性图示在其中可用于LDR/遗留显示器的分级被编码为主图像纹理像素数据的情形中应用本概念的另一编码示例。
具体实施方式
图1示意性示出内容创建者可如何设计HDR场景（用于任何照片应用、电影、现场新闻采集或生成的计算机图形等）的典型示例。通常存在具有对象（如桌105）的平均照亮内部，其亮度编码辉度将通常落到接近编码的代码范围的中间的某处（例如亮度128和周围）。存在至少一个显著较高的辉度区域，即在该情况下如经由窗户101的阴影（条102）看到的阳光照射的外部世界。因为该阴影，房间可以是显著更暗的。在那外边，存在如房屋104之类的亮对象，其通常应当最终被编码有在代码范围上的高处的亮度。在差照亮的阴影区域中，内部可能存在非常暗的对象，例如篮子120。还存在关于在HDR以及LDR显示器上对它们的颜色渲染是关键的区域。在该示例中，其是人110。与用于LDR成像的LDR场景（其中通常对照明进行优化以在脸上具有一些亮结构）相比，但是不具有太多对比度（例如3：1），在该照明情形中，在脸上可存在明亮的阳光照亮带112，以及暗阴影带111。
图2a示出该场景从辉度柱状图角度上色度地看起来如何（n是具有辉度L_sc的像素的数量），以及可通过摄像机如何捕捉它，为了解释的简单，我们将假定其在范围上是线性的。实际上，我们可考虑替代实际场景，已经采集和通常HDR分级的原始或主HDR图像，其包含现在被编纂为对应像素的表示性辉度L_sc（例如在XYZ颜色表示中）的场景辉度（我们讲究实效地在50000尼特终止，50000尼特是十亿尼特太阳将修剪到的位置）。外部世界对象辉度通过波瓣203来概括。篮子对应于波瓣204。在脸上的暗和亮带分别对应于波瓣201和202。典型的LDR摄像机采集将通常采用子范围R_Grab_LDR-Class，并且通常利用伽马函数Y_LDR=a+b*L_sc^伽马，将这些辉度映射到在[0,255]内的亮度。在R_Above范围中的所有辉度将被修剪到255。在阐明我们的发明的示例性实施例中，我们将需要编码HDR范围范围_HDR中的所有值，因为我们需要能够从我们的8位编码Y_LDR_aut基本上相等地构建HDR表示（即接近主HDR表示）。这将包含智能偏移和压缩各个波瓣。在图2b的示例中，我们分配了窄的代码范围284用于暗对象，例如仅Y_LDR_aut= {0,1,2,3,4,5}是可能的，因为在有意的观看条件下，我们希望我们不需要具有对于这些暗区域的过高的视觉再现质量。我们分配了相当大的子范围用于亮对象的波瓣283，因为我们需要足够的代码值来编撰在阳光照射外部环境中的所有纹理的足够信息，例如房屋104的砖中的细节（其不应当变得带状，或显示夸张的DCT压缩伪影等）。脸区域现在对应于亮度代码波瓣281和282。我们已假定较低波瓣的上亮度限制Y1是仍然与被明亮照射的脸部较高波瓣282的下限Y2多少分离。这是平衡的选择。从编码观点，为了恢复HDR图片，我们可当然仅使代码波瓣被接触。我们将然后需要稍微更多延伸色调映射以将那些投影到它们的需要的HDR预测图像范围。但是记住，当该Y_LDR_aut编码被直接经由LDR解码和渲染链发送时（在该情况下那些亮度通常经由伽马2.2映射被转换为输出显示辉度），我们还需要具有好看的LDR图像。即，我们可需要该距离来使脸看起来足够强反差，以使该HDR场景照射的某物甚至被渲染在有限的LDR显示上。但是在另一方面，该对象内部对比度还应当不过高，即使其已经仅用于LDR范围不容纳那么多的代码值的事实（因为我们仍然需要足够的上述代码值用于阳光充足的外界，对此我们假定大多数合理渲染给出的约束是使他们在Y4处开始，而不具有另外的损失代码，无论如何给定了精确HDR渲染是不可能存在的）。还应当注意到，而且，经由这样的方面的非线性（例如HDR和LDR动态范围的两个色域），涉及像素颜色的色度坐标。无论如何，如果对该脸部进行非最优映射/编码，可看到例如看起来像巧克力冰淇淋人的东西，假如亮的部分具有香草种类的外观，并且较暗的褐色部分是巧克力外观的种类。在这样的情况下，分级员应当明确地继续其分级以一定方式获得更好的东西，即LDR分级及其对应映射或通常转换应当变得更好，理想地也不修改可恢复的HDR过多（其原理上应当（接近）完全可逆，使主HDR正好可恢复）。
图3a示出在HDR_encoded_as_LDR技术实施例中的编码的可能处理链，以及适合于驱动特定HDR显示器的HDR图像的其生成。我们以主分级的HDR图像HDR_ORIG开始，其被假定为沿着在代码0.0和1.0（或精确地例如1.00000000）之间的浮动精度范围301被编码。场景对象的位置和尺寸示意性图示了场景对象将在对应于编码的显示渲染上覆盖哪些子范围。对于HDR_ORIG，我们假定线性辉度空间。窗（或至少亮的外部）将位于在HDR显示器可产生的最高辉度处的某个地方，可能不在峰值明度、但是接近，从而存在真实太阳照射的外观。篮子是非常小的，因为其被映射到峰值明度的最低百分比，其对于3500尼特将仍然得到那些暗纹理的良好可见性。脸被分级得使得其真实具有非常对比的HDR照亮外观，即其将跨越从非常亮到相对暗的相当大的子范围。这可具有在该3500HDR显示器（其可以是在创建主分级时由分级员使用的那个）上可接受的外观，但是其可导致在其它显示器上讨厌的外观。现在如向着左边所示的，可总是直接将这些浮点量化为8位表示（具有范围302的HDR_8bit，其然后当然对应于同一辉度范围（如301），但是具有取决于映射函数的代码范围）。但是在该直接应用技术（其假定线性显示，或者在表现为对例如XYZ图像的1对1的线性直接精确色度再现的链的剩余部分中的至少校准）中，实际上不存在将对象的明度沿着该范围偏移的所需要的映射，但是相反存在对二进制数字的仅仅取整。
向右边，我们示出得到HDR_encoded_as_LDR编码的可能方式。因为我们需要具有合理外观的LDR渲染，我们需要应用色调映射F_TM1，其偏移对象像素的明度。例如可需要拉伸暗篮子的渲染显示输出辉度，从而其变得更好可见，这通过将其分配到更低的亮度值（通过第一LDR预测的较大子范围上的较大篮子来示意性图示）来完成。窗户被粉饰到较低的LDR亮度，在LDR范围的最高端部处。并且可需要降低脸的对比度，从而仍然看到多少较暗的阴影带，但是这些平均起来例如比亮带更暗仅2倍。该第一色调映射可以例如通过自动算法对LDR表示LDR_8BIT_AUTO完成，该算法看图像的所有（局部对象）统计，并且然后确定映射函数，一方面考虑降低对象子波瓣的代码值的数量的损失（可进一步分析那些柱状图，并且几个值可需要在极大值周围，并且在那些柱状图极大值之间，可基于例如从空间梯度度量或纹理度量，如复杂度度量和对量化下的形状形变进行量化的参数等计算的整数值来确定代码数量），与用于评估对半球对比度中的修改的损失的数学过程（例如在某一尺寸上取平均并且确定改变的照射度量等）相比。这可给出合理的结果用于很多拍摄，特别是在实际色度外观是较不关键（例如不需要看到太多的暗树林，在其之前具有灯笼杆，其光形状可被容易量化成单个值，具有任何辉度，只要其是高的）的时候。但是在其他拍摄中，最终负责LDR分级和HDR/LDR编码（例如用于存储在蓝光盘上）的人分级员可能不被满足。在该情况下，他可以精调图片全局色调映射以得到不同的分级以及在LDR显示器上的外观。对此，他修改映射函数，映射函数需要是可逆的以恢复HDR预测。由两个部分函数320和321构成的这样的色调映射的示例在图3b中示出。技术人员理解可如何构建在任何第一辉度编纂Y_1（例如伽马0.45定义的亮度Y=L^0.45）和任意第二编纂Y_2之间的这样的函数，无论它们是数字还是浮点的，无论是被定义为数学函数还是查找表等。我们假定在该示例中，Y_1是HDR_ORIG的浮动编码，并且Y_2是LDR_8BIT_AUTO编码。如果脸部存在于321部分中，则他可考虑例如降低该部分的斜率（仍然保持其单调可逆）。如果我们需要恢复更多代码值的话，这可还具有对较低映射320的影响。在图3a中，我们假定分级员修改8位LDR_8BIT_AUTO编码为他优选的编码LDR_CONT，在他的本地表示性LDR显示器上具有最好的外观。但是当然为了更好的精度，他将通常应用映射到高精度浮点上。理想地，他将能够通过精确地调谐图片全局映射函数来解决该问题，该函数将是从自动算法规定的东西以及其被如何手动精调得到的最终函数。但是分级员决定其不能或将不得到这样的函数的原因可存在几个理由（例如因为当微调脸部时他有害地改变图像中的其它颜色，或其它图像，如果他打算在连续图像的拍摄中使用该映射的话）。在该情况下，他可应用更复杂的比色修改，例如对脸部的局部操作。我们已通过他象征地示出改变LDR_8BIT_AUTO中的像素中的一些以得到最终LDR_CONT来，其中胡须已被画出。当然，原始内容创建者将通常不让他对其内容做这样的激进事情，但是这是为了图示可完成的一些操作，该操作不仅仅服从简单的可逆链HDR_ORIG->LDR_CONT->HDR_PRED（利用运算crr示出）。分级员可被允许例如在黑暗中的某个对象上做出空间锐化操作以使其变得稍微更好可察觉，或者可以使他的解决方案满足好质量LDR渲染和完美质量HDR渲染的两个要求。利用简单的可逆图片全局色调映射，可通过应用对最终被映射到的所有内容的倒转色调映射FL2H从HDR_ORIG得到LDR_CONT，并且得到与HDR_ORIG精确相同的信号作为预测的HDR信号HDR_PRED。至少直到精度（以及（DCT）视频压缩）误差。但是，争论是通常HDR渲染的主要质量因素是位于（大约）正确的辉度水平所有对象，以及一些较小的伪影较不关键。
无论如何，现在根据本发明，无论误差是由于在LDR_CONT中的一些取整（或甚至修剪），还是一些不可逆修改（例如胡须），其将通过向HDR_PRED的至少一些像素，即通常产生错误至少被认为不可接受的那几个（通常在电影的仅一些拍摄中的非常关键的对象），应用相乘校正multcrr来校正它，得到最终高质量HDR图像HDR_FIN。
感兴趣的是从色域观点，看例如被应用到示例性HDR_encoded_as_LDR(或换言之HDR表示的LDR容器编码)的我们的发明如何工作。应当然后认识到，编码对应于某一参考显示器，该参考显示器不需要一定具有与图像将实际被显示于的显示器相同的特性。我们将对此阐明，因为不是在每个平行颜色技术中的每个人关于此都如此认为。当然，RGB编码仅具有一些明确的含义，如果我们知道选择那些R、G和B原色（例如旧CRT的EBU原色，或某一LCD的灰蓝色）的话。但是存在可能与颜色编码的最终含义有关的更多特性（例如白色的峰值明度、在亮度和辉度之间的编码映射函数（以及其可仍然出于很多不同原因）、与观看者的适配状态有关的方面（例如定义周边的参数）等（以及有时特定显示特性被单独采用并且被已经引入编码中））。但是不是每个人都认为所有这些因素都相同地与每个应用情形有关，例如一些可认为显示白的色品重要，但是不一定认为峰值明度重要，假定其具有较少的相关性（或通常忽略其相关性，假定颜色可以相对比色的方式被合理地渲染）。例如对于打印，可仅做出单个最佳打印，而纸的白色仅给出相对最大的辉度（100%）。在打印中的颜色的真实辉度（物理量）和明度（精神性视觉量）将然而取决于人是在外面在太阳下，在昏暗的室内中，还是甚至在暗的晚上环境中观看它。并且这将对例如那些打印的图像对象的彩度具有影响。图6a示出如3原色CRT显示器（基于其，定义了例如用于MPEG标准的经典电视颜色编码）的种类的附加颜色再现系统的典型色域。大多数人熟悉在线性RGB或XYZ颜色空间中的RGB颜色立方体，但是这是对应于这样的显示器的显示色域，或者完全并且线性驱动其的编码看起来是什么。如果在一些颜色平面，如(x,y)中画出颜色三角作为其基础，并且采用线性辉度L_o作为“Z轴”，则该帐篷（tent）形状出现。如果使用亮度Y，其是功率函数（如伽马2.2.）或类似（相对简单）的函数，得到另一帐篷，其是稍微变型的（通常较低的部分将被拉伸，并且较高的部分将被压缩，但是因为伽马或亮度编码实际上通常按通道操作，所以压缩通常在每个地方多少出现（因为其是示意图，我们没有针对亮度编码函数的每个特定选择来偏斜该帐篷，因为原理是类似的，其仍然是具有针对每个原色的直柱的帐篷，以及在其之间的非线性行为，给定在显示或编码的白色处结束的帐篷帆布，其中可将灰度或非彩色颜色轴想象为帐篷柱）。在之间，存在如黄色（J）的颜色，其具有在白色的辉度稍微之下的辉度（以及在亮度/伽马映射的代码中的[1,1,0]的颜色编码）。图6b示出从编码技术角度的观点。仅具有两个8位代码（其具有相同的帐篷形状），仅在它们中不同地编码图像对象（以及特别是它们的灰度值，如果我们讲到编码的话，我们将它们的灰度值称为辉度或实际上亮度，即我们然后使用类似于YCrCb编码的术语，其中Y是非彩色亮度，并且CrCb是主要包含彩色信息的通道）。这通过一些对象的不同尺寸和位置来图示。如果将编码看做是采集的场景的表示（例如来自摄像机），这可首先看起来奇怪，但是如果将该表示看成是源自面向显示器的，即将被用于显示驱动，具有用于特定显示（不论被直接驱动，具有用于最优输出图像渲染的最小或大量拥有的颜色处理）的图像对象颜色的最优分配，则这更有意义。例如，典型的是将代码空间（即其相关色域）的较大区域保留用于HDR编码中的亮对象（由太阳表征，但是实际上其可以是具有复杂的纹理具有变化的反射百分比的对象），因为较亮的显示器具有很多颜色，其可明亮地渲染（并且LDR显示器具有少的颜色或没有）。因此，LDR编码可针对那些亮对象保留较少的颜色。实际上，如果其仅仅是LDR编码，那些颜色可能被严重地（软）修剪，例如当前在很多电视节目中所发生的。然而，为了我们的目的，注意，应当保持足够的细节用于从LDR容器编码（图6b中的8bLDR）到预测的HDR（8bHDR）的倒转映射。通常在LDR范围中具有大约18%灰度的辉度的主要区域将利用代码色域的大部分区域来表示，如利用脸所显示那样。暗对象可被分配给LDR容器编码中的更多和/或更高的代码，以使它们在较暗的显示器更好地可见（由此给出更多的权重到关于LDR显示的视觉质量的标准）。我们理解改变代码范围的尺寸（在亮度轴上，因为我们在此将不详述颜色方向）意味着它们可碰到彼此，并且为了代码拉伸的对象（不一定是颜色/亮度拉伸，因为这还将取决于最终色域映射和显示特性）的利益，带走其它对象的范围中的一些。因此，可以安全的是分配最小范围，例如可在较下Y1和较上Yu亮度之间选择中间范围MSR，其包含期望用于图像中的主要（良好照射）对象的最小量的代码，并且对其的补偿可定义用于光效的高范围HSR（以及通常用于图像中的较暗区域的特别处理的低范围LSR）。
图6c示出假如我们希望从能够至少在颜色空间的某（多个）区域中渲染不能被渲染在其它/显示色域GAM_DIS上的一些颜色（例如具有较高的纯度/饱和度）的第一色域（GAM_1）映射的话，色域映射通常看起来的样子（我们现在为了简单起见，仅显示穿过一个色相的横截面，显示辉度和饱和度的平面）。在这样的技术中，通常将两个色域的白色固定在同一点（为了简化，假定在白点色温中不存在差别）。然后优化任务将色域外的输入颜色（例如颜色Col_in）分配到显示色域内的输出颜色（或反之亦然用于其他方式），具有距原色颜色的最小视觉颜色偏差。通常，将使用一些压缩的分配简档来移动在显示色域边界之外的颜色的范围到相邻于显示色域边界或在显示色域边界之内的区域，因为仍然想能够看到在颜色之间的一些区别（尽管可能存在一些物理或可见量化到所包含的相同值）。存在几个色域映射变型，其权衡不同种类的颜色误差。例如对于落到GAM_DIS之上的GAM_1的区域（特别具有GAM_1的边界平行形状子区域），可使用向着也延伸到较低的辉度L_o的辉度轴的投影，例如向着辉度轴上的所选择的灰度值。
在我们的LDR容器LDR_CONT编码中，我们具有若干不同的考虑，如在图6d中所示。首先，注意，尽管可当然还定义具有与任何HDR编码（在该情况下是8位HDR预测）不同的原色色度的LDR_CONT编码，这不是必要的，从而我们已假定那些原色是相同的，这意味着与编码对应的参考显示色域具有相同的色域基础部分。我们在此图示（在辉度表示中）对应于具有双峰值明度和双最大辉度用于原色信号的显示器的HDR色域。这是利用例如具有白色2D LED背光的LED显示器可物理上实现的，其中LED是可调光的，并且当LED显示器被完全激励时，给出双辉度（例如1000尼特）到与LDR相同的LCD面板，LDR达到具有例如TL背光（例如500尼特）的参考峰值明度。为了解释的简化，我们忽略例如损耗、背光的不均匀性、对功耗的降低驱动等所有问题，因为这些都对应于在原理上的改变，其与本发明的教导及其实施例和变型相离题。通常，显示器将在我们的编码到其物理驱动信号的其最终映射中都解决这些问题。因为LDR在其输出图像中渲染对象所在的辉度区域中的一些与HDR显示器用于渲染辉度所在的区域重叠，我们在对象的虚线版本中显示HDR渲染。
我们看到，在我们的应用中，我们主要关心系统沿着辉度（以及对应的（多个）亮度）轴如何表现。这是为什么我们在色域的绝对辉度对比中描述该方法。我们将优化所有我们的编码组件（例如分级员使用的工具），考虑辉度或明度/亮度外观，并且全面表征与这相关的所有因素。暗篮子在两个显示器上被渲染得几乎相同，但是在HDR变型中，其稍微更暗，因为我们假定将在渲染情形中使用HDR编码，尽管其可仍然在可比较的周围照射之下，HDR渲染将可能能够渲染比LDR渲染系统稍微更暗的对象。对应于篮子像素的所需要辉度的亮度可以是几乎任何，给定分级员可用于定义其LDR容器图像的映射的可变性（其将然后变成编码定义映射），并且实际上还将如何解析HDR_PRED图像。通常，我们假定在辉度之间的顺序将被保留在亮度编码中，从而还在到我们的LDR_CONT的映射中以及来自我们的LDR_CONT的映射中。但是这并不甚至暗示，因为LDR篮子跨越更多辉度值，其还应当跨越比在HDR编码中更多的亮度值。其可以在8位LDR_CONT中跨越比在8位HDR_PRED中更少的亮度代码范围。在该情况下，HDR_PRED篮子可具有一些丢失或内插的代码。但是通常，因为我们期望经由2.2伽马直接应用到LDR显示器，我们可在LDR_CONT编码中消费比HDR编码中的一些更多的亮度代码。
中间区域对象（例如良好照亮的脸）将通常被编码在LDR色域的中间范围周围的某个位置（代码128，或18%灰度，或在之上的停止）。在HDR显示器中，我们期望将其渲染有类似的辉度，从而它们仍然看起来像被正常照亮的对象。但是，我们可通过将其分为主对象的一些加亮并且将一些子范围保留用于亮对象，较少使用HDR显示器的较高辉度范围。这已经是与经典色域映射的另一区别。我们可以不希望根据视觉类似性并且不单独基于诸如LDR渲染的类似外观之类的问题来优化映射。相反，我们可希望通过以特定方式设计HDR外观来将我们的映射从那些解决方案调谐开。对于一些较亮对象，这是甚至更加清楚可理解的。其中，我们不能在LDR渲染或编码中向对象给出与如在HDR渲染/编码中类似的外观，如在图6c之后的技术推理中一样。甚至更强，HDR通常是关于其中物理辉度描述应当优选被补充有精神性视觉描述（尽管对于驱动和编码技术，辉度和亮度当然足够，并且精神性视觉维度如果不由智能自动算法处理的话，通常由人分级员处理）的显示技术的一部分。例如存在某一显示辉度，在该辉度之上，灯实际上看起来变成在HDR渲染中的灯，并且不是如在LDR中的发白的反射对象（由于语义识别，其在大脑中被最好解释为大脑中的亮的灯对象，但是其就不是相同的感知也不是相同的感觉）。并且除了LDR色域限制以及优选的LDR外观问题（分级员可由于某一原因期望使LDR外观显著不同）之外，我们当然具有向着HDR_PRED的可逆映射的附加因素，这给出基于信息编码考虑的另外的优化约束，例如应当分配多少代码给LDR_CONT编码中的HDR显示的特定对象或辉度/颜色范围。
白炽灯表征这样的显著更高（HDR）明度的对象，以及给出其在渲染后的对象纹理的一些明度变化。给定所有约束，我们希望在LDR_CONT的子范围（其靠近包含脸的主范围）上对其编码。其可能不在LDR监视器上给出相同的外观，但是这通常是不可能的，并且至少其现在被以一定方式编码使得其仍然甚至在LDR中给出良好或合理的外观。例如，与导致颜色的最终大脑确定的良好选择的周围像素颜色（例如在其周围放射的射线等）组合，其可仍然在LDR中看起来足够像灯。在HDR显示色域中，我们具有相当的自由度来将这样的各种亮对象放置在例如脸的主对象的辉度范围之上，给出令人印象深刻的HDR外观。并且当然，对应于那些辉度的是HDR_PRED的亮度（无论其是8位编码，还是优选的浮点[0,1]，对其的编码我们将为了简化起见假定其是线性的，即具有与例如在图像处理IC的中间表示中的渲染输出辉度的显示相比具有其代码的分配的线性定义）。
在该亮对象辉度范围之上，可存在甚至更亮的对象，在此通过太阳表征，关于此，我们假定其未被渲染有单个颜色。现在给定LDR显示器上的LDR_CONT中的较低亮度对象的所有优选渲染（向上拉伸篮子和脸区域），可能发生的是，至少一些对象（例如太阳）必须被填满在色域的尖端中，在这种情况下，倒转映射将仍然将太阳置于HDR显示色域的最明亮区域，但是由于LDR_CONT中的编码的较低质量，倒转映射可能不得出我们将希望在HDR渲染中看到的辉度/颜色。这是我们的相乘修改multcrr可进行处理以在该太阳的HDR编码中建立更好的编码的地方，更加对应于期望的HDR渲染，特别是如其在主HDR编码中被编码的那样。
在图5中示意性示出可能的相乘修改的两个有用实施例，其示意性示出被显示为由数据单元构成的图像信号500，因为它们可通常在流媒体期间连续到达，或可存储在存储器的不同空间段中。通常在例如图像报头501，或甚至将被与针对它们的比色再映射类似地处理的连续图像的拍摄或时间运转的开始的指示符之后，将存在用于修改图像的某一部分的元数据。保留的代码字502（例如POS）给出关于哪里应用相乘修改的信息，并且然后存在例如矩形的开始x,y以及其宽度（在保留代码字505中的w）的区域定义参数，因为然后可在乘数表506中解码该串相乘因子。可存在其它编码，例如如在申请US61/615409中的允许更精确的对象边界确定的亮度阈值，但是一些人优选矩形方法，并且定义在相乘因子中的校正的形状。矩形可以通过起始坐标503和504和宽度505（即包含某一宽度编码代码字的保留位置）来规定，其可例如被编码在本图像的图像报头501之后。还可存在时间代码515，其指示信号被假设应用在拍摄的哪个图像中（但是这不是强制的，因为空间代码可已经在特定图像报头之后），并且当然可存在若干允许对象的跟踪和变型的那些规范。技术人员应当理解，可存在替代的编码，例如利用允许对象被像素精确地分割的阈值亮度g，但是通常可优选简单/鲁棒的编纂，如果不多的数据无论如何需要被编码，或不存在其它特别需求的话。当然，例如对于对比度拉伸，还可以给出用于像素的空间集合的相乘因子，例如用于对象的左部分的一个，以及用于右部分的另一个（或者例如我们的脸的暗和亮带）等。
有趣地，图像信号通常还包含在信号中通过保留的字MUL_TPY或类似标识的相乘校正的类型指示符507，以及其值（其将能够具有至少两个值）。
例如，类型值508可以是“N_NORM”（或另一编纂，如“1”），在该情况下，相乘仅被应用到在下面的像素亮度。这可用于写在例如被修剪为255以及在映射到HDR之后的例如1018的灯中的结构。连续亮度1018、1018、1018将然后乘以在通常元数据中编码的任何像素局部因子（例如x1.2，x1.4等）。为了在位上节省，如果相乘因子不被直接，而是利用经由定义表520的识别代码来编码是最好的，定义表520可存储在其它元数据中，例如在流中的规则间隔处，或在盘上的保留扇区。这是因为不需要具有最高的恢复精度（由于如果与可具有一些HDR效果的严重退化或其它质量问题的预测相比能够多少改进图像的话，其已经是更好的），并且因为诸如如在图像中内在的噪声之类、图像及其对象的复杂度以及人视觉的敏感度的因素。通常，人分级员将确定是否应当以及在何种程度上完成校正，并且尽管通常他将具有到相乘因子定义表（520）的预定识别代码，他可自己精调或确定一个，例如在预定的识别代码中间添加更精确的相乘因子，假如其给出显著更好的改进，并且然后将它们编纂到系统中（替代预同意的识别代码，其可能不被编码在元数据中，但是可能已经被编码，因为没有涉及太多数据）。通常，这样的表的实施例可具有表示没有完成任何事情的一个代码，即乘以1（相当于），对此通常可保留识别代码值0。我们已给出相乘因子的二维窗（表506）的示例，其具有例如6位代码字，给出32个可能优化值。最令人感兴趣的相乘因子当然取决于我们是否使用它们来偏置颜色（M_NORM），或拉伸对象对比度（“AVG_C”）。在示例中，1指示亮度应当被乘以1.2，2指示亮度应当被乘以1.4等，并且代码中的一些可具有向下的即除法的值，例如0.9。注意，还可存在被保留用于其他运算（例如采用空间邻近像素的相乘结果中的一些作为输入的功能公式）的几个代码，值30指示应当使用第一这样的函数或算法F1。例如，一些像素可能遭受压缩伪影，并且不是利用相乘去加工处理它们，它们可被略过并且从它们的处理的邻近值来内插它们。最终，例如根据任何MPEG或JPEG标准规定或类似物，段510仅包含如典型地用于例如8位图像编码的数据。
另一种类的相乘AVG_C是不改变或几乎不改变局部平均值的，但是改变在其周围的纹理简档。这在例如在用于局部灰度值的色调映射曲线的部分中存在相对严重的量化和/或小的斜率的情况下是有用的。尽管对精确功能形状进行编纂的编码代码可得到附加的值，可通过进一步以特别方式修改在LDR_CONT中编码的那些值来实现对视觉质量（例如锐度、对比度等）的大改进。可通常与运动（running）平均值相比进行激励（boost），或如果各个激励值并不改变太多，可甚至使用像素的段（run）中的第一像素的第一亮度作为代表值（但是平均值是更正确的）。
可然后将像素的段的亮度写为A+dl1、A+dl2、A+dl3等。A是在一些区域上的局部平均值。将然后仅增大dl，即将Li-A乘以相应的连续相乘系数mi，Li是从映射HDR_encoded_as_LDR表示LDR_CONT获得的HDR预测的每个滑动像素i的亮度。并且然后将加入平均值以获得对比度增大（或减小）的亮度，即给出滑动输出亮度Lo_i=A+mi*(Li-A)。
（基于滤波器定义的）平均编码数据结构511在如何编码用于上述发明的平均值方面（当然，还可以固定的方式计算他们，例如总是在11个像素上，考虑跨越从平均打折扣的强边界的不适当值，从而不需要编码另外的信息）给出第一实施例示例。9指示对于该像素，应当使用9个像素的窗来确定沿着该线的局部平均值，即将像素亮度本身加入在之前和之后的4像素的亮度中。零指示之前计算的平均值被用于这些像素亮度的相乘修改。11指示对于该像素，应当使用在局部像素位置周围的11个像素的平均窗。当然，技术人员认识到其还可以以其他数据结构来编码，例如零的段长度编码等。
（基于分割定义的）平均编码数据结构512给出另一方式来指定可凭借阈值如何计算平均值。例如，在本线上，完成平均，直到遇到值g2，其通常指示我们已在亮度边缘上移动到下一对象。在g1之下的沿着平均窗的亮度值（可存在用于折扣在其之上的值的类似阈值）将被打折扣，因为它们是例如噪声尖峰。在第二线上的5指示该方案用于5个连续线，并且然后使用用于操纵平均过程的新的亮度阈值g11和g12。但应当注意到，确定正确的平均值并不是非常关键。只要对该结构进行激励，而不引入伪影（例如由于不正确的邻近平均值所致的不恰当的亮度调制），则该方法将起作用。分级员具有选项来修改相乘参数（这还对最终外观具有效果），或选择更精确的编码，例如以修改如何计算局部平均值。第三替代或辅助的局部平均编码数据结构可以直接编码平均值以用于特定位置以及超越那些位置之或在其周围。例如平均A1=450将用于在其中执行相乘修改的窗中的位置x1,y1和x2,y2之间。以辅助的方式，该编码可被设计为比起在511中的编码数据（例如在11的位置处的），优选在（直接位置平均定义的）平均编码数据结构513中的编码数据的算法，而不是在这样的窗上计算，其将仅使用针对513中的位置（例如A2）编码的最终平均值。在分级员的用户接口中，这些相乘修改参数值将大部分由给定分级员的优选LDR容器等级的HDR预测与原始HDR之间的区别自动计算出。当然，这将由分级员的特别行为来操纵，例如选择将被不同地处理的窗，例如较高的质量编码、或特别的分级行为或模式，例如在脸上。但是当然接口还允许分级员更直接地指定或修改各个相乘校正参数，例如以粗糙容易接受的方式。例如假如他看到讨厌的明度修改，例如空间调制，他可选择该区域并且例如轻微地调暗它，这例如通过直接将它们编码到数据结构513中使AVG_C模式中的模块再定义其平均值，从而它们变得更暗。
编码的非常重要的部分是如何编码相乘因子。假如希望校正在LDR容器中已经以非常特定方式分级的区域（读取，从而其不能被倒转预测成对原始HDR的非常接近的逼近，给定可以是LUT的特别函数的本例如简单的色调映射），可以仅通过对所需要的局部HDR信号的一些直接编码来替代它。例如，分级员可在LDR容器中重新着色脸部，以获得完全新的像素，这将得到在HDR预测中相比于原始HDR不同的脸部。可然后例如通过在部分第二图像中存储原始LDR容器像素颜色（即，利用简单轻易可逆全局色调映射从原始HDR到8位LDR的第一分级），仅仅协同编码例如图像中的那些局部部分（包含脸部）。但是根据本发明，有利的是仅存储快速逼近该原始图像的相乘值。例如，假如原始HDR本地包含值450、482、390、520并且HDR预测针对这些像素给出440、470、350、500，则可通过对它们相除而容易地得到相乘因子，得到：1.023、1.026、1.114、1.04。但是不需要直接对这些相乘因子进行编码。例如，如果所有局部因子将改变1.02并且然后改变可变的尾数，则可经由索引（例如该数字本身）来编码尾数。从而例如3将然后表示乘以1.023而不是3。从而可局部优化，并且定义优化表格。但是存在我们可针对HDR编码做出的对表格的更多令人感兴趣的优化，因为预测值不需要是精确的，即可以是453和485等。替代450、482，并且仍然给出在复杂动态电影中的良好视觉质量。无论如何，在450上做出3的误差将比较大的误差（例如10）更好，尤其如果大的误差是如此大，以致其是容易或甚至令人讨厌地可见，并且小的误差不是这样。例如可通过乘以使任何事情更靠近原始HDR或至少使对象纹理较不令人讨厌（例如通过凭借将块状纹理乘以小于1的系数减小局部对比度来得到更平滑的颜色）的应对模态（countering pattern）来校正给出一定局部变色的阻挡伪影。但是另外，分级员可甚至针对特别HDR效果来调谐映射。例如曝光是快速效果，其中不需要精确地再现火焰似的纹理，但是需要精确地再现其第一级别属性（例如对比度）。分级员可因此确定一个或多个优化表格用于相乘修改，例如利用表格的描述符530，其指示它们将被用于某些种类的对象或某些指示的窗类型531。即，如果窗之一是具有火焰类型，则将使用具有描述符=火焰或=1的表格。
从而乘数表506将然后仅包含相乘因子的索引而不是实际相乘因子，利用定义表520将该索引翻译成真实相乘因子。从而，例如可以能够利用仅以下近似因子来校正HDR预测值：2%（或1.02）、4%、10%、50%。这将通常被优化到针对给定对象区域大约所需要的，即一些精细校正，并且然后一些较粗校正。映射表应当至少包含在平均预测HDR亮度和平均原始亮度的中间的一个值，即如果原始是450，并且预测的是440，具有2%的相乘因子，我们可已经更靠近。这将给出1.02（或0.98，如果需要在相反方向的校正的话）倍的440，等于448.8，即449。如果我们仅在定义表中编码1%和3%的选择，我们可选择在乘数表中编码更好的选择，即3%，因为453比444更靠近450。通常我们将根据我们预期什么类型的误差来优化定义表。如果我们仅需要最小的校正，决不需要定义300%或1000%的可能校正。这可例如通过看预测和原始HDR的统计值，以及尤其它们的每像素的亮度区别Y_HDR_orig_i – Y_HDR_PRED_i，来自动完成。如果柱状图例如显示其中对于450的平均值，差别在1和10之间的很多情况，以及其中差别较高的较少情况，我们可决定利用对应0.5%、1%、2%、3%、4%……（为了合理质量，小于0.5%是不必要的）的代码来定义定义表520。
除了表中的相乘值（其可以小于或大于1，或是正/负百分比）之外，可存在特别的代码。例如代码0可用于指示HDR_PRED中的当前像素或像素组不应当被改变，其等同于编码1的相乘因子。还可存在指示应当使用一定功能的代码，例如一般采用周围多个/修改的像素值作为输入。例如HDR_PRED中的像素亮度/颜色可以远离所需的值（例如因为需要在定义表520中编码的范围之外的相乘的尖峰伪影），在该情况下，可以通过平均几个周围像素来更好地对其重构。但是这允许LDR_CONT信号的独特性，例如不同的分级、压缩伪影等。
图4示出在图像渲染系统中的HDR图像解码装置401实现的示例。我们假定系统由连接到显示器420、可处置图像处理以及在该情况下的解码的盒构成。该解码装置可以是例如BD盘播放器并且显示器是2D LED背光LCD电视。但是技术人员理解到，我们的实施例可以在很多等同变型中实现，例如举几个覆盖该范围的例子来说，解码装置401可以运行在另一国家中的网络服务器上（其中HDR_FIN可以例如是用于特定接收显示器的专用（并且可能加密的）代码，在该专利的教导之外的格式化等），并且该显示器可以是便携显示器，或具有用于可渲染辉度的较低或较高辉度范围的独立投影仪的投影系统，等等）。实际上，解码装置401还可以包括在显示器本身内。我们假定在一个实施例中用于重构HDR图像的编码数据被编码在蓝光盘410上，该蓝光盘410包含用于被编码为HDR_encoded_as_LDR（LDR_CONT）编码的（例如利用MPEG-AVC、VC1、VP8、动画JPEG等编码）像素图像数据的独立第一扇区411。第二扇区412包含元数据，通常包含色调映射函数FL2H的参考数字（可以是自动处理颜色，但是当然还可以存在处理颜色的函数，例如在RED通道上等），其通常可被编码用于电影的每个拍摄等，并且以各种方式，例如参数化函数、查找表、算法规范等。尽管我们仅描述到HDR_PRED的单个解码，当然可存在用于得到多个最终信号的数据，例如用于较低峰值明度的显示器而不是将被使用HDR_PRED的显示器的MDR_PRED。第三扇区413包含相乘数据A_MUL，用于HDR_PRED中的至少像素的亮度的相乘修改。如提到的，这可以以各种方式来编码，例如通常针对单个像素或像素段，将编码乘数表506，其可直接包含根据一些编码的相乘因子（例如M_enc = f(M_raw)，其中M_raw是原始相乘因子，例如1.44，并且f是固定分配函数，例如平方根，其得到因子M_enc，如同其被直接编码在表506中一样），或可包含到存储在定义表520中的其它地方（其优选接近在同一第三扇区413内）的因子的索引。当然可编码其它元数据，例如将被用于具有附着在乘数表506中的特别代码的像素的第一函数F1和第二函数F2（例如（Y_left_neighbour+Y_right_neighbour）/2）。该数据经由至少一个输入405来读取。解码装置401通常包含被布置为对LDR_CONT信号的通常图像压缩变型进行解码，其可以例如包含段长度解码、IDCT等。色调映射器403使用（多个）色调映射函数FL2H来得到所需要的HDR信号HDR_PRED的预测。然后像素颜色修改器404通过应用如编码在A_MUL中的相乘修改来改变HDR_PRED中的至少像素的亮度。这得到被经由输出端输出的最终信号，例如输出到显示器（替代地，其可以是储存设备、客户端计算机等）。显示器420可仍然凭借其显示像素颜色修改器421应用其自己的最优色调/颜色映射到HDR_FIN输入信号，最终得到用于在该情况下的LED背光和LCD（以及在两个投影仪示例中，例如其DMD的像素，并且用于单个面板解决方案，例如用于其像素的OLED单驱动信号）的驱动信号HDR_DRV的驱动值。在装置上可存在第二输出406以提供LDR输出图像/视频LDR_o，例如无线地提供到移动显示器430。示意性示出显示器420的高动态范围R_oHDR和LDR显示器430能够渲染的低动态范围R_oLDR。
图7示出HDR图像编码装置701的示例性实现。重要单元是分级管理器702。其允许分级员做出分级。其得到至少原始HDR文件HDR_ORIG，对于此我们将假定其已经是主HDR分级，即内容创建者（例如电影导演以及其艺术职员）已决定电影画面应当是什么（例如在动作电影的晚上场景中，他决定搭配苍白泥泞并且非常暗的画面用于建筑物，具有刺目、高辉度以及饱和的画面用于悬挂在街上的商业符号的有色TL管）。通常，他将期望类似的画面用于所有得到的分级，当然假使例如DVD或youtube分级应当满足该技术的限制和特性。当然替代的实现可以具有原始摄像机信号作为HDR_ORIG，例如组成在一起的具有不同曝光持续时间的两个摄像机采集的线性辉度颜色空间组成，在该情况下，他将使用分级管理器702建立主分级。但是通常，这可以在工作流中的不同时间完成。例如利用数字摄影，分级（预分级）的部分已经移动到拍摄的日子，其中导演仍然具有其创新视图以及实际场景看起来像什么的闪存。但是因为在分级中的巨大量工作，以及忙碌拍摄规划，可以延期至少在较少分级（例如BD分级）上的工作，直到在电影已经完成之后。当然，HDR图像编码装置701也可具有几个分级作为输入，例如可已经存在第一LDR分级，对此，分级员应当更紧密或更不紧密地调谐他的LDR_CONT分级，或另一可选的分级GRADING_2，其可以在不同渲染条件下使用，或用于电影的不同艺术版本等的一些其他HDR分级。在任意情况下，通常分级员将使用分级管理器702来基于HDR_ORIG得到LDR分级。从而通常分级管理器包括允许应用在第一和第二分级之间的映射的单元（例如在软件中）的单元，该应用通常包含通过点击在任意x位置处的曲线上的点来构建任意色调映射曲线，并且将它们移动到任意y位置。还可存在用于循环通过参数化色调映射曲线的家族的部件。可存在用于选择类似椭圆的区域（其不需要是用于应用我们的相乘修改的区域，因为该区域例如可以是椭圆的包围矩形）并且做出局部处理的部件。在HDR_encoded_as_LDR或LDR容器分级中，通常这些映射可以被约束，使得确保可逆性。例如，分级员可以仅构建留下允许良好质量HDR_PRED的足够的数据精度的函数，或者至少是可逆，即分段单调的函数。但是通常，分级员可被允许做出不是可逆的分级操作，但是然后他可得到关于此的警告，从而他限制其不可逆分级的量。他然后可继续，例如通过任意着色一些隔离的像素。分级管理器702被布置为不仅实施图像映射和修改，但是还跟踪对应于此（例如色调映射曲线的定义，改变的像素颜色等），并且允许进一步处理（通常恢复到原始HDR）的修改数据，并且该数据还定义LDR_CONT分级/编码。通常，用户接口单元703允许分级员给出其用户输入USRINP到分级管理器702。我们将不钻研其细节，因为技术人员将知道其是什么，并且例如可存在连接的专用分级控制台，以及软件跟踪，例如如果用户按下如何改变色调映射函数的按钮的话。而艺术分级员通常对LDR分级LDR_CONT的建立具有完全的控制（尽管其可以是半自动引导的，例如算法可已经基于信息理论的考虑，例如在拍摄中的图像的柱状图，得到将各个图像对象/子区域放置在良好可见并且适当的辉度子范围中的第一色调映射），并且从而做出有关辉度（luminance-wise）最优画面的图像，即其中通常所有对象结构是合理可见并且对象内对比度被优化以向图像给出特别的画面的图像。它们可能不希望被相乘修改部分打扰太多。从而，尽管一些实施例可提供也在该部分上的至少一些分级员控制，其它实施例可自动完成该相乘修改。这通过分级差别比较器704来完成。其可例如通常得到基于LDR_CONT中间或最终结构是什么的预测的HDR_PRED，以及ORIG_HDR作为输入，并且然后比较它们如何不同。该比较算法可以通过分级员所关注的局部区域来引导，并且通常还可考虑分级员未单独处理的区域的预测质量。分级差别比较器704被布置为选择对于其相乘修改是必要的若干区域，因为两个HDR分级（HDR+PRED对比HDR_ORIG）差别太多。这是而且在一些实施例中例如通过使用区域颜色误差的可见性的精神性视觉模型，分级员输入可补充确定相关分级差别的数学算法的地方。用户分级修改单元706被布置为调节分级差别比较器704的至少一些参数。例如在简单的实施例中，分级差别比较器704可确定例如图像的4个区域，对于该4个区域，其利用相乘因子的阵列（编码在A_MUL中）来定义相乘修改。分级员可认为这些区域中的两个未改变那么多，即起初在预测HDR_PRED中不是那么差。用户分级修改单元706可对此实施软件模块，该软件模块允许分级员在相乘修改的区域和例如矩形或其它编码形状内的原始HDR_PRED之间切换，并且考虑当在参考HDR显示器上间歇渲染二者时的可见性。他然后可从将要修改的区域的列表中删除两个区域，意味着仅其它两个被编码在相乘修改数据A_MUL中。并且他可选择另一例如矩形区域，其中他认为应当完成改进的修改。通常分级差别比较器704将确定相乘修改数据A_MUL以及特别是相乘因子以及预存储在相乘知识数据库705中的数据的基础。这可以例如存储一个或多个定义表520或类似物用于定义相乘因子，以及例如用于分级差别比较器704将如何将差别转换为相乘因子的模型。例如，在简单模型704中可以考虑每个像素的亮度差别，将它们转换为相乘修改因子（例如Y_HDR_ORIG-Y_HDR_PRED=m*Y_HDR_PRED；Y_HDR_ORIG=Y_HDR_PRED+ m*Y_HDR_PRED），并且然后将这些相乘因子映射到在特别选择的定义表520中可获得的最接近的一个。特别定义表520可以例如由分级员选择，或由分级差别比较器704根据每个表是多么适合来自动选择，例如通过计算在至少一个图像或其区域上的累积剩余误差度量（其可以由因子加权，例如考虑对象的重要性，如它们是脸部，或被更居中地定位在图像中等）。更复杂的算法可计算例如在整个对象上的颜色编码或外观中的半全局差别。可从其得到首先例如全局相乘因子，以及然后对每个像素的进一步精调等。如上文所述，用户可当然还影响那些参数。例如如果选择的（多个）定义表并不得到对相乘修改的HDR_FIN（其通常是在704中或与704相关的不需要被输出的中间数据）的HDR_ORIG的类似性的足够精度，用户可确定（多个）新的定义表520。这可通过例如按下“增大精度”按钮来半自动完成，在该情况下，定义表将存储更多可能的相乘因子，代价是较高的位预算。或者用户可特别定义其自己的值，例如通过点击其希望被精确渲染的对象纹理的区域等。还如所述的，可进一步存在可选的平均规范数据AVGDAT，其可指定局部平均是如何定义的，并且在一些实施例中，分级员还可以被提供在该数据上作用的选项。最终编码单元710然后将所有东西组合在一起（即以其将被编码的任何方式（例如MPEG_AVC压缩的）LDR_CONT图像，图像映射数据（例如色调映射函数FL2H）和以其被编码的任何方式的相乘修改数据A_MUL），并且将其以该信号规定的任何方式编码在输出图像信号S_im中。技术人员理解该精确元数据格式化不是本发明的关键组件，但是可通常包含将其放在图像信号S_im的特别保留的位置中，例如被较老解码器忽略的部分，给予其特别的数据结构形式，为将其与保留的名字和/或类型代码关联等。该图像可以然后被编码在例如图4的BD盘上，或者被经由天线711发送等。尽管我们使用几个示例来大体阐明本发明，但是技术人员理解存在很多替代的方式来将其实现。
图8示出了原始HDR场景的采集的8位编码的另一可能情形。在该情况下，建立8位HDR图像（8位-HDR），即将直接可用于例如3000尼特的HDR显示器上的图像。例如其可通过[0,1]到[0,255]的简单的线性映射并且量化来生成。现在分级员利用简单的映射（例如全局映射）从其映射原色8位LDR分级（GRAD_1LDR），并且尽管根据将不同渲染动态范围分级与单8位图像和色调映射相关的基本原理，其是非常有用的，并且可当被渲染在LDR显示器上时给出一定合理的图片，但是分级员可能不完全高兴。对于一些关键区域，他可能然后应用相乘修改，以得到最终8位LDR分级GRAD_FINLDR。在该情况下，将编码8位_HDR，向下映射简单色调映射策略，例如全局色调映射函数FH2L，以及相乘因子数据，其在该情况下对GRAD_FINLDR与可通过向8位_HDR编码应用向下映射而简单得到的东西之间的差别进行编码。
在本文本中公开的算法组件可以（完全或部分）实际上被实施为硬件（例如专用IC的部分）或运行在特别数字信号处理器或通用处理器等上的软件。它们可以在至少一些用户输入可以存在/已经存在（例如在工厂中，或消费者输入、或其它人输入）的含义上是半自动的。
技术人员从我们的陈述应当理解的是，哪些组件可以是可选的改进，并且可与其它组件组合实现，并且方法的（可选）步骤如何对应于装置的各个部件，并且反之亦然。在本发明中以某一关系（例如在某个配置中的单个图中）公开一些组件的事实并不意味着其它配置是不可能作为在与用于本文的专利申请所公开的相同创新思维下的实施例。同时，出于实用的原因仅仅描述有限范围的示例的事实并不意味着其它变形不能落入权利要求的范围内。事实上，本发明的组件可以被体现在沿着任何使用链的不同的变形中，例如建立侧的所有变形（如编码器）可类似于或对应于在分解系统的消费侧处的对应装置（例如解码器）并且反之亦然。实施例的几个组件可以被编码为信号中的特定信号数据用于传输，或在编码器和解码器之间的任何传输技术中的进一步使用（例如坐标）等。词语“装置”在该申请中以其最广阔的含义来使用，即允许特定目标的实现的部件组，并且可因此是例如IC（的一小部分），或专用器具（例如具有显示器的器具），或联网的系统的部分等。“布置”或“系统”还旨在以最广阔的含义来使用，从而其可尤其包含单个物理、可买到的装置，装置的部分、协作的装置（其部分）的集合等。
计算机程序产品符号应当被理解为包含使能通用或专用处理器在一系列加载步骤（其可包括中间转换步骤，例如翻译到中间语言，以及最终处理器语言）以输入命令到处理器内之后执行发明的特征功能中的任意功能的命令的集合的任何物理实现。特别地，计算机程序产品可以被实现为在载体（例如盘或带）上的数据，在存储器中存在的数据、经由网络连接（有线或无线的）传递的数据、或纸上的程序代码。除了程序代码之外，还可以将程序所需要的特征数据体现为计算机程序产品。可以（部分地）以任何方式供应这样的数据。
本发明或根据本实施例的任何基本原理可用的任何数据（例如视频数据）也可被体现为在数据载体上的信号，数据载体可以是可移除存储器（如光盘、闪存、可移除硬盘、经由无线手段可写的便携设备等）。
任何提出的方法的操作所需的步骤中的一些可以已经存在于处理或本发明的任何装置实施例的功能内，而不是在计算机程序产品或本文（利用本发明实施例的细节）描述的任何单元、装置或方法内描述，例如数据输入和输出步骤、熟知的通常被并入的处理步骤（例如标准显示驱动等）。我们还期望对得到的产品和类似生成物的保护，例如在方法的任何步骤处或在装置的任何子部分中包含的具体新颖信号，以及这样的信号的任何新用途，或任何相关方法。
应当注意到，上文提到的实施例说明而不是限制本发明。虽然技术人员可容易实现所提出的示例到权利要求的其它区域的映射，但是我们为了简要，没有深入提到所有这些选项。除了如在权利要求中组合的本发明的元素的组合之外，元素的其它组合是可能的。可以在单个专用元素中实现元素的任意组合。
在权利要求中的括号之间的任何附图标记并非旨在限制权利要求，图中的任何特别符号也非旨在限制权利要求。词语“包括”并不排除未列在权利要求中的元素或方面的存在。元素之前的词语“一个”或“一种”并不排除多个这样的元素的存在。