用于音频编码/解码/转码的频率域中水印插入.pdf

本公开涉及用于音频编码/解码/转码的频率域中水印插入。一种音频处理设备，包括基于输入音频数据生成频率系数流的初始处理模块，把数字水印嵌到频率系数流中以生成经修改的频率系数流的加水印模块，以及处理经修改的频率系数流以生成输出音频数据的最终处理模块。在一些实现中，输入音频数据包括未编码的音频数据，初始处理模块包括执行时间到频率域变换以生成未编码的音频数据的频率域变换模块，并且输出音频数据是经编码的音频数据。在其它情况下，输入音频数据包括经编码的音频数据，初始处理模块包括部分地解码经编码的音频数据以生成频率系数流的初始解码模块，并且输出音频数据是经解码的音频数据。

1.  一种方法，包括：
在音频处理设备处，基于输入音频数据生成频率系数流；
将数字水印嵌到所述频率系数流中，以生成经修改的频率系数流； 以及
处理经修改的频率系数流，以生成输出音频数据。

2.  如权利要求1所述的方法，其中：
所述输入音频数据包括未编码的音频数据；
生成频率系数流包括对所述未编码的音频数据执行时间到频率域 变换；以及
所述输出音频数据是经编码的音频数据。

3.  如权利要求2所述的方法，其中时间到频率域变换包括以下 至少一个：改进的离散余弦变换(MDCT)以及快速傅立叶变换 (FFT)。

4.  如权利要求1、2或3所述的方法，其中：
所述输入音频数据包括经编码的音频数据；
生成频率系数流包括部分地解码所述经编码的音频数据，以生成 频率系数流；及
所述输出音频数据是经解码的音频数据。

5.  如前述权利要求中任一项所述的方法，其中：
数字水印包括位值的集合；以及
嵌入数字水印包括：
对于位值集合中的每个位值，基于该位值修改频率系数流 的对应的频率系数集合，以生成对应的经修改的频率系数流集 合。

6.  如权利要求5所述的方法，其中基于位值修改对应的频率系 数集合包括：
对于该集合的每个频率系数：
响应于该位值包括一(1)而执行频率系数和第一值的线性 相加，以生成对应的经修改的频率系数；以及
响应于该位值包括零(0)而执行频率系数和第二值的线性 相加，以生成对应的经修改的频率系数。

7.  如前述权利要求中任一项所述的方法，还包括：
检测所述输出音频数据中数字水印的存在。

8.  如权利要求7所述的方法，其中检测数字水印的存在包括使 用平均检测器和最似然检测器当中的至少一个来检测数字水印的存在。

9.  一种音频处理设备，包括：
初始处理模块，用来基于输入音频数据生成频率系数流；
加水印模块，用来将数字水印嵌到所述频率系数流中，以生成经 修改的频率系数流；以及
最终处理模块，用来处理经修改的频率系数流，以生成输出音频 数据。

10.  如权利要求9所述的音频处理设备，其中：
所述输入音频数据包括未编码的音频数据；
所述初始处理模块包括频率域变换模块，所述频率域变换模块执 行时间到频率域变换，以生成所述未编码的音频数据；以及
所述输出音频数据是经编码的音频数据。

11.  如权利要求10所述的音频处理设备，其中时间到频率域变 换包括以下至少一个：改进的离散余弦变换(MDCT)以及快速傅立 叶变换(FFT)。

12.  如权利要求9、10或11所述的音频处理设备，其中：
所述输入音频数据包括经编码的音频数据；
所述初始处理模块包括初始解码模块，所述初始解码模块部分地 解码所述经编码的音频数据，以生成频率系数流；以及
所述输出音频数据是经解码的音频数据。

13.  如权利要求9至12中任一项所述的音频处理设备，其中：
数字水印包括位值的集合；以及
所述加水印模块将通过以下方式来嵌入数字水印：对于位值集合 中的每个位值，基于该位值来修改频率系数流的对应的频率系数集合， 以生成对应的经修改的频率系数流集合。

14.  如权利要求13所述的音频处理设备，其中所述加水印模块 将通过以下方式基于位值来修改对应的频率系数集合：
对于频率系数集合的每个频率系数：
响应于该位值包括一(1)而执行频率系数和第一值的线性 相加，以生成对应的经修改的频率系数；及
响应于该位值包括零(0)而执行频率系数和第二值的线性 相加，以生成对应的经修改的频率系数。

15.  一种存储指令集合的非暂时性计算机可读存储介质，该指令 集合操纵至少一个处理器以执行根据权利要求1至8中任一项所述的 方法。

用于音频编码/解码/转码的频率域中水印插入
技术领域
本公开内容一般而言涉及音频处理，并且更具体而言涉及音频处 理期间的水印插入。
背景技术
水印作为一种类型的数字标记，常常被嵌到音频数据中，以为了 版权保护目的来识别音频数据的所有者或来源，或者以传送其它非音 频信息。通常，水印在编码之前或编码之后被添加到音频数据中。但 是，这种方法使水印相当容易被检测和修改，并且因此容易被未授权 的实体篡改或去除。
发明内容
本公开内容的实施例涉及用于水印插入的方法和设备。在一些实 施例中，阐述了用于水印插入的方法。该方法包括：在音频处理设备 处，基于输入音频数据生成频率系数流；将数字水印嵌到所述频率系 数流中，以生成经修改的频率系数流；以及处理经修改的频率系数流， 以生成输出音频数据。
在其它实施例中，阐述了一种音频处理设备。该音频处理设备包 括：初始处理模块，用来基于输入音频数据生成频率系数流；加水印 模块，用来将数字水印嵌到所述频率系数流中，以生成经修改的频率 系数流；以及最终处理模块，用来处理经修改的频率系数流，以生成 输出音频数据。
在又一些其它实施例中，阐述了一种非暂时性计算机可读存储介 质。该非暂时性计算机可读存储介质存储指令集合，该指令集合操纵 至少一个处理器执行本公开内容中所描述的方法。
附图说明
通过参考附图，本公开内容可以得到更好的理解，并且其众多特 征和优点将对本领域技术人员变得明晰。
图1是根据本公开内容的至少一个实施例的说明在频率域中实现 加水印的音频处理设备的框图。
图2是根据本公开内容的至少一个实施例的说明在音频编码处理 期间用于加水印的音频处理设备的操作的流程图。
图3是根据本公开内容的至少一个实施例的说明在音频解码处理 期间用于加水印的音频处理设备的操作的流程图。
图4是根据本公开内容的至少一个实施例的说明使用线性相加操 作的示例加水印处理的流程图，其中该线性相加操作使用来自时间到 频率变换处理的频率系数。
具体实施方式
图1-4说明了用于在音频数据作为时间到频率域变换处理的结果 而被表示为频率域中的频率系数时给音频数据加水印的示例技术。在 至少一个实施例中，初始处理模块从输入音频数据生成频率系数集合。 通过基于水印数据修改每个集合的至少一些频率系数以生成经修改的 频率系数集合，水印数据被嵌到音频数据中。最终处理模块接着用经 修改的频率系数集合来完成音频数据的处理，以生成具有这样嵌入的 水印数据的输出数据。在编码的上下文中，输入音频数据是未编码的 音频数据并且初始处理模块包括频率域变换模块，该频率域变换模块 对未编码的音频数据执行时间到频率域变换处理，以生成频率系数集 合。在这种上下文中的最终处理模块包括使用经修改的频率系数集合 完成音频数据编码的最终编码过程，并且因此生成经编码的音频数据 作为输出音频数据。时间到频率域变换处理可以包括基于离散余弦变 换(DCT)的变换处理，诸如改进的DCT(MDCT)处理，或者基 于傅立叶的处理，诸如快速傅立叶变换(FFT)处理。在解码的上下 文中，输入音频数据包括经编码的音频数据并且初始处理模块可以包 括从经编码的多媒体数据提取频率系数集合的初始解码模块，并且最 终处理模块包括使用经修改的频率系数集合完成音频解码处理的最终 解码模块。在转码操作中，用于加水印的滤波器系数的修改可以在输 入的经编码音频数据的解码期间或者在要输出的作为结果的音频数据 的编码期间发生。
在一些实施例中，通过基于水印数据的对应位来修改频率系数集 合的至少一个子集，水印数据嵌在频率系数集合中。这种修改可以包 括，例如，如果对应的位值是0则是一个值的线性相加，以及如果对 应的位值是1则是一个不同的值的线性相加。集合的每个频率系数都 可以这样被修改，或者只有该集合的频率系数的一个子集可以被修改。 通过以这种方式以逐个集合为基础地修改频率系数，水印可以按照以 下方式嵌到音频数据中：允许使用例如本领域中已知的平均检测器或 最似然(most-likelihood)检测器来检测水印的存在，同时还比常规 的时间域加水印技术对未授权的篡改更有弹性(resilient)。
图1以框图形式说明了根据本公开内容的至少一个实施例的音频 处理设备100。音频处理设备100可以代表其中音频的编码、解码或 转码可以被有利使用的任何多种多样的音频处理设备。为了说明，音 频处理设备100可以实现为用来与对应视频内容关联地编码、解码或 转码音频数据的多媒体处理系统的一部分。另选地，音频处理设备可 以实现为用来生成独立于任何视频内容的经处理的音频内容的独立系 统，其中音频内容诸如代表音乐歌曲、有声读物等的音频内容。
在所绘出的例子中，音频处理设备100包括输入缓冲区102、初 始处理模块104、加水印模块106、最终处理模块108以及输出缓冲 区110。初始处理模块104、加水印模块106和最终处理模块108每 个都可以完全以硬编码逻辑(即，硬件)实现，实现为存储在非暂时 性计算机可读存储介质(例如，存储器114)中的软件112和访问并 执行该软件的一个或多个处理器116的组合，或者实现为硬编码逻辑 和软件执行的功能的组合。为了说明，在一个实施例中，音频处理设 备100实现为片上系统(SOC)，由此模块104、106和108的部分 实现为硬件逻辑，其它部分经存储在SOC处并且被SOC的处理器 116执行的固件(软件112的一个实施例)来实现。
音频处理设备100的硬件可以使用单个处理器116或多个处理器 116实现。这种处理器116可以包括中央处理单元(CPU)、图形处 理单元(GPU)、微控制器、数字信号处理器、现场可编程门阵列、 可编程逻辑设备、状态机、逻辑电路系统、模拟电路系统、数字电路 系统、或者基于存储在存储器114或其它非暂时性计算机可读存储介 质中的操作指令来操纵信号(模拟的和/或数字的)的任何设备。存 储器114可以是单个存储器设备或者多个存储器设备。这种存储器设 备可以包括硬盘驱动器或者其它盘驱动器、只读存储器、随机存取存 储器、易失性存储器、非易失性存储器、静态存储器、动态存储器、 闪存存储器、高速缓存存储器、和/或存储数字信息的任何设备。应 当指出，当处理模块经状态机、模拟电路系统、数字电路系统和/或 逻辑电路系统实现其一个或多个功能时，存储对应的操作指令的存储 器可以嵌在包括该状态机、模拟电路系统、数字电路系统和/或逻辑 电路系统的电路系统中或者在该电路系统外面。
作为一般性的操作概述，音频处理设备100从音频源(例如，现 场录音、来自CD或DVD的脉冲编码调制的音频数据等)接收输入 音频数据120，并且在输入音频数据120被接收到时将其缓冲在输入 缓冲区102处。接着，初始处理模块104处理缓冲的输入音频数据 120，以生成代表音频数据120的至少一部分的时间到频率变换的频 率系数集合。频率系数集合的这种输出在本文被称为频率系数的流 122。接着，通过修改流122的一些或全部集合的一些或全部频率系 数以生成经修改的频率系数集合(在本文中被称为“经修改的频率系 数流126”)，加水印模块106嵌入水印数据124。接着，经修改的 频率系数流126被最终处理模块108用来生成输出音频数据128，该 输出音频数据128在被传输到中间或最终目的地之前可以被缓冲在输 出缓冲区110中。
在一些实施例中，这种处理在音频处理设备100作为编码系统的 上下文中被执行，使得输入音频数据120是未编码的音频数据(例如， 表示原始模拟音频波形的脉冲编码调制(PCM)数据)并且输出音 频数据128是经编码的音频数据，诸如根据一个版本的高级音频编码 (AAC)标准、一个版本的运动图片专家组(MPEG)2音频级别3 (MP3)标准等当中的一个或多个而编码的音频数据。在这种实现中， 初始处理模块104包括频率域变换模块134，该频率域变换模块134 对输入音频数据120执行时间到频率域变换，以生成频率系数流122。 因而，频率域变换模块134可以应用例如基于离散余弦变换(DCT) 的变换(诸如改进的DCT(MDCT)处理)、基于傅立叶的处理 (诸如快速傅立叶变换(FFT)处理)等等。另外，对于基于编码的 实现，最终处理模块108包括最终编码模块138，该最终编码模块 138使用采用时间到频率域变换的任何多种多样的音频编码技术(诸 如以上提到的AAC和MP3标准)，从经修改的频率系数流126生 成作为输出音频数据128的经编码的音频流。
在其它实施例中，音频处理设备100的处理针对解码上下文，使 得输入音频数据120是经编码的音频数据，诸如AAC编码或MP3 编码的音频数据，并且输出音频数据128是经解码的音频数据(例如， PCM音频数据)。在解码实现中，输入音频数据120已经包括频率 系数，但是是以某种编码形式的，并且因此初始处理模块104包括初 始解码模块144，该初始解码模块144执行足以从经编码的输入音频 数据120提取频率系数流122的初始解码。获得这些频率系数所必需 的解码依赖于输入音频数据120被编码的方式。另外，最终处理模块 108包括最终解码模块148，该最终解码模块148根据用来编码输入 音频数据的编码标准使用经修改的频率系数流126来执行最终解码处 理，以生成经解码的输出音频数据128。
在还有的其它实施例中，音频处理设备100的处理针对转码上下 文，使得输入音频数据120是经编码的音频数据并且输出音频数据 128是经编码的音频数据，由此音频处理设备100修改输入音频数据 120的分辨率、位速率或格式，以生成输出音频数据。在这样的情况 下，由于这种转码涉及至少部分解码并且随后至少部分重新编码，因 此数字加水印处理可以在编码处理或解码处理中的任一者或两者中采 用，如以下更具体描述的。
图2说明了根据至少一个实施例的图1的音频处理设备100在编 码上下文中的操作的示例方法200。要嵌在音频数据中的水印数据 124由位的集合组成，诸如一个或多个字节的信息。这些位可以代表 例如与音频数据的来源关联的唯一值或者其它唯一标识符、地理区域 的指示符、加密/解密密钥等。如以下更具体描述的，水印数据124 的每一位嵌在对应的音频数据块(即，“音频块”)的频率系数中， 其中音频块包括例如固定持续时间的音频数据(例如，20毫秒的音 频数据)。相应地，在方法200的第一次迭代中，在框202处，加水 印模块106选择水印数据124的第一位值。在框204处，音频处理设 备100接收并缓冲输入音频数据120的音频块，由此该音频块包括未 编码的音频文件或其它流的对应部分(例如，PCM数据块)。在框 206处，频率域变换模块134执行频率域变换(即，从时间域到频率 域的变换)，以便从该音频块生成要包括在提供给加水印模块106的 频率系数流122中的频率系数集合。频率域变换可以包括例如 MDCT处理、FFT处理等。由初始解码模块144采用的频率域变换 可以遵照由一个或多个音频编码标准(诸如AAC、MP3等)规定的 时间到频率域变换处理。
接下来，在框208处，该集合的频率系数被选择并且加水印模块 106使用选定的频率系数与第一值和第二值之一来执行线性相加，其 中第一值和第二值是依赖于在框202处选定的水印数据124的位值是 “0”还是“1”来选择的。为了说明，如果水印数据124的位值是 “0”，则线性相加操作可以把“-1”加到频率系数，而如果水印数 据124的位值是“1”，则线性相加操作可以把“+1”加到频率系数。 在基于水印位值的线性相加操作中所使用的值对的任何布置都可以使 用，而不是“-1,+1”，诸如像“-10,+10”或者“-3,+6”等。作为 结果的经修改的频率系数作为经修改的频率系数流126的一部分输出。 在一些实施例中，该集合的每个滤波器(filter)系数都以这种方式 被修改。在其它实施例中，只有滤波器系数的一个子集被修改。例如， 加水印模块106可以被配置为只修改该集合的滤波器系数的四分之一 或一半。没有被选择修改的那些滤波器系数不加修改地输出，作为经 修改的滤波器系数流126的一部分。相应地，在框210处，加水印模 块106确定它是否已经修改了音频块要被修改的全部滤波器系数。如 果还没有，则方法流返回到框208，以便选择该集合中要修改的下一 个频率系数。如果音频块的滤波器系数集合的加水印已经完成，则方 法200返回到框202，以便使用水印数据124的下一位值对下一个音 频块重复加水印处理。
同时，在框212处，最终编码模块138使用经修改的流126中经 修改的频率系数集合，而不是从音频块生成的原始频率系数集合，完 成音频块的编码。这种编码可以包括根据所应用的音频编码标准的任 何多种多样的众所周知的编码处理，诸如使用心理声学模型的经修改 的频率系数集合的量化、作为结果的量化频率系数的冗余消除编码、 纠错编码，等等。用于音频块的作为结果的经编码音频数据在输出缓 冲区110处缓冲，接着被包括为传输到目的地设备的输出音频数据 128的一部分以用于存储或后续解码。
图3说明根据至少一个实施例的图1的音频处理设备100在解码 上下文中的操作的示例方法300。就像以上的编码方法200，在方法 300的第一次迭代中，在框302处，加水印模块106选择水印数据 124的第一位值。在框304处，音频处理设备100接收并缓冲输入音 频数据120的音频数据集，由此音频数据集包括经编码的音频文件或 其它流的对应部分(例如，AAC或MP3编码的数据块)。该数据集 包括用于对应的未编码音频块的编码的频率系数集合。相应地，在框 306处，初始解码模块144执行部分解码处理，以获得未编码形式的 频率系数集合，用于包括在提供给加水印模块106的频率系数流122 中。
接下来，在框308处，该集合的频率系数被选择并且加水印模块 106使用选定的频率系数与第一值和第二值(例如，“-1”或“+1”) 之一执行线性相加，其中第一值和第二值是依赖于在框302处选定的 水印数据124的位值是“0”还是“1”来选择的。作为结果的经修改 的频率系数作为经修改的频率系数流126的一部分被输出。如以上相 似地指出的，这种修改处理可以应用到集合中的每个频率系数或者只 应用到选定的子集。没有被选择修改的那些滤波器系数不加修改地输 出，作为经修改的滤波器系数流126的一部分。相应地，在框310处， 加水印模块106确定它是否已经修改了该集合中要被修改的全部滤波 器系数。如果还没有，则方法流返回到框308，以便选择该集合中要 修改的下一个频率系数。如果滤波器系数集合的加水印已经完成，则 方法300返回到框302，以便使用水印数据124的下一位值对下一个 音频数据集重复加水印处理。
同时，在框312处，最终解码模块148使用经修改的流126中的 经修改的频率系数集合，而不是从音频块生成的原始频率系数集合， 完成音频数据集的解码。这种解码可以包括根据所应用的音频解码标 准的任何多种多样的众所周知的解码处理，诸如频率到时间域变换处 理、纠错，等等。作为结果的用于音频数据集的未编码的音频数据在 输出缓冲区110处被缓冲，接着作为传输到目的地设备的输出音频数 据128的未编码音频块被输出以用于存储或重放。
图4说明了被加水印模块106用来基于水印数据124生成经修改 的频率系数流126的水印嵌入处理的例子。如以上指出的，水印数据 124包括位值的串或集合。在所描绘出的例子中，水印数据124包括 8位的值：10011101b。另外，在这个例子中，对于在水印数据124 的位位置处的位值“0”，线性相加操作把“-1”值加到选定的频率 系数，以生成经修改的频率系数集合，并且对于在位位置处的位值 “1”，线性相加操作加上值“+1”。
因而，在所说明的例子中，对于第一音频块401(也表示为“块 A”)，加水印模块106实现时间到频率域变换，以生成四个频率系 数411、412、413和414的集合(应当指出，一般基本上会生成多于 四个频率系数，但是这个例子为了方便说明而限制于四个)。在这个 例子中，最低三个频带的频率系数(即，频率系数411、412、413) 被选择进行修改，因而线性相加操作421、422和423分别使用频率 系数411、412和413来执行，以生成经修改的频率系数431、432和 433。在这个例子中，水印数据124的第一位值要嵌在从音频块401 生成的频率系数中。因为该第一位值是“1”，所以线性相加操作 421、422和423把值“+1”分别加到频率系数411、412和413的值。 接着，这些经修改的频率系数431、432和433以及未经修改的频率 系数414作为经修改的流126(图1)的经修改的频率系数集合434 传递。
对于第二音频块402(也表示为“块B”)，加水印模块106 实现时间到频率域变换，以生成四个频率系数441、442、443和444 的集合。就像第一音频块401的处理，最低三个频带的频率系数(即， 频率系数441、442、443)被选择进行修改，因而线性相加操作451、 452和453分别使用频率系数441、442和443来执行，以生成经修 改的频率系数461、462和463。在这个例子中，水印数据124的第 二个位值要嵌在从音频块402生成的频率系数中。因为该第二位值是 “0”，所以线性相加操作451、452和453把值“-1”分别加到频率 系数441、442和443的值。接着，这些经修改的频率系数461、462 和463以及未经修改的频率系数444作为经修改的流126(图1)的 经修改的频率系数集合464传递。
在一些实施例中，以上所描述的技术的某些方面可以由执行软件 的处理系统的一个或多个处理器实现。软件包括存储在非暂时性计算 机可读存储介质上或者以别的方式在非暂时性计算机可读存储介质上 有形地实现的一个或多个可执行指令集。软件可以包括指令和某些数 据，当指令和数据被一个或多个处理器执行时，操纵这一个或多个处 理器执行以上所描述的技术的一个或多个方面。非暂时性计算机可读 存储介质可以包括例如磁或光盘存储设备、诸如闪存存储器的固态存 储设备、高速缓存、随机存取存储器(RAM)或者其它一种或多种 非易失性存储器设备，等等。存储在非暂时性计算机可读存储介质上 的可执行指令可以是源代码、汇编语言代码、目标代码、或者由一个 或多个处理器解释或以别的方式可执行的其它指令格式。
在本文档中，诸如“第一”和“第二”等的关系术语可以仅仅是 用来区分一个实体或动作与另一个实体或动作，而不一定需要或暗示 这种实体或动作之间的任何实际关系或次序或者这种实体与要求保护 的元素之间的任何实际关系或次序。如在本文所使用的，“另一个” 一词定义为至少第二个或更多。如在本文所使用的，术语“包括”、 “具有”或者其任何变体定义为包含。
从对本文所公开的公开内容的说明书和实践的考虑，本公开内容 的其它实施例、用途和优点对本领域技术人员将是明晰的。说明书和 附图应当被认为仅仅是例子，并且相应地本公开内容的范围旨在仅由 权利要求及其等同物来限定。
应当指出，不是以上在一般描述中描述过的所有活动或元素都必 需，可以不需要具体活动或设备的一部分，并且，除描述过的那些之 外，还可以执行一个或多个另外的行为或者包括一个或多个另外的元 素。还有，活动被列出的次序不一定是它们被执行的次序。
而且，已经参考具体的实施例描述了概念。但是，本领域普通技 术人员应当认识到，在不背离如权利要求中所阐述的本公开内容范围 的情况下，可以进行各种修改和变型。因此，说明书和附图被视为是 说明性而不是限制性的，并且所有此类修改都旨在包括在本公开内容 的范围之内。
以上关于具体的实施例描述了益处、其它优点以及对问题的解决 方案。但是，益处、优点、对问题的解决方案以及可以使任何益处、 优点或解决方案发生或变得更显著的任何特征都不应当被认为是任何 或全部权利要求的关键、必需或根本的特征。