多媒体互动文档处理方法.pdf

本发明公开了一种文档处理方法，其包括：文档处理模块从一个文档中读取数据；所述文档处理模块解析所述读取的数据得到文档显示数据和视频和/或音频相关数据，并将解析后的数据存储在内存中；所述文档处理模块对解析得到的文档显示数据和视频和/或音频相关数据进行封装；所述文档处理模块根据封装后的文档显示数据进行视图绘制；所述文档处理模块根据封装后的视频和/或音频相关数据进行视图绘制形成视频和/或音频视图标记；和，将所述视频和/或音频视图标记和绘制后的文档显示数据的视图经过排布后显示。这样，文档可以支持视频和/或音频的插入和播放，增强了文档的互动性，丰富了文档的功能。

权利要求书
1.  一种文档处理方法，其特征在于，其包括：
文档处理模块从一个文档中读取数据；
所述文档处理模块解析所述读取的数据得到文档显示数据和视频和/或音频相关数据，并将解析后的数据存储在内存中；
所述文档处理模块对解析得到的文档显示数据和视频和/或音频相关数据进行封装；
所述文档处理模块根据封装后的文档显示数据进行视图绘制；
所述文档处理模块根据封装后的视频和/或音频相关数据进行视图绘制形成视频和/或音频视图标记；
将所述视频和/或音频视图标记和绘制后的文档显示数据的视图经过排布后显示。

2.  根据权利要求1所述的文档处理方法，其特征在于，所述视频和/或音频相关数据为视频和/或音频数据，所述文档处理方法还包括：
触发所述视频和/或音频视图标记；
所述文档处理模块解码所述视频和/或音频视图标记对应的视频和/或音频数据并播放。

3.  根据权利要求1所述的文档处理方法，其特征在于，所述视频和/或音频相关数据为视频和/或音频表征数据，视频和/或音频表征数据对应有视频和/或音频数据，所述文档包括第一文档部分和第二文档部分，所述文档显示数据以及视频和/或音频表征数据存储于所述第一文档部分，视频和/或音频数据存储于所述第二文档部分，所述视频和/或音频表征数据关联至所述第二文档部分，所述文档处理模块通过所述表征数据定位到所述第二文档部分。

4.  根据权利要求3所述的文档处理方法，其特征在于，第一文档部分和第二文档部分为一个统一的文件，或者，
第一文档部分和第二文档部分为相互关联的两个文件，第一文档部分的文件为主文件，第二文档部分的文件为从文件，所述文档处理模块通过主文件中的视频和/或音频相关数据能够定位到并打开所述从文件。

5.  根据权利要求3所述的文档处理方法，其特征在于，其还包括：
触发所述视频和/或音频视图标记；
所述文档处理模块通过所述视频和/或音频视图标记对应的视频和/或音频表征数据定位到所述视频和/或音频数据，
解码所述视频和/或音频数据并播放。

6.  根据权利要求2或5任一所述的文档处理方法，其特征在于，所述文档处理模块内集成有视频和/或音频解码单元，在触发所述视频和/或音频视图标记后，启动该视频和/或音频解码单元去解码所述视频和/或音频数据，在未触发所述视频和/或音频视图标记时，则不启动该视频和/或音频解码单元。

7.  根据权利要求1-5任一所述的文档处理方法，其特征在于，通过所述文档处理模块在一个文档中启动插入视频和/或音频数据的功能，在启动插入视频和/或音频数据的功能后，所述文档处理方法还包括：
启动摄像头采集视频数据，和/或启动麦克风采集音频数据；
对采集的视频和/或音频数据进行编码；
所述文档处理模块将编码后的视频和/或音频数据存入所述文档中。

8.  根据权利要求7所述的文档处理方法，其特征在于，所述文档处理模块提供视频和/或音频播放区域以及文档显示数据展示区域，所述视频和/或音频数据的视图标记在所述视频和/或音频播放区域显示，绘制后的文档显示数据的视图在文档显示数据展示区域显示，
在触发所述视频和/或音频视图标记时，在所述视频和/或音频播放区域播放所述视频和/或音频数据，
在启动插入视频和/或音频数据的功能后，在所述视频和/或音频播放区域播放正在采集的视频和/或音频数据。

9.  根据权利要求7所述的文档处理方法，其特征在于，所述文档处理模块内集成有视频和/或音频编码单元，在启动插入视频和/或音频数据的功能后，启动该视频和/或音频编码单元去对采集的视频和/或音频数据进行编码，在未启动插入视频和/或音频数据的功能时，则不启动该视频和/或音频编码单元。

10.  根据权利要求1-5任一所述的文档处理方法，其特征在于，通过所述文档处理模块在一个文档中启动插入视频和/或音频数据的功能，在启动插入视频和/或音频数据的功能后，所述文档处理方法还包括：
找到已经存在的编码后的视频和/或音频数据；
所述文档处理模块将编码后的视频和/或音频数据存入所述文档中。

11.  根据权利要求1-5任一所述的文档处理方法，其特征在于，所述文档为文字处理文档、表格处理文档和/或简报处理文档。

12.  根据权利要求1-5任一所述的文档处理方法，其特征在于，其还包括：通过所述文档处理模块对所述文档显示数据进行增加、删除、改写和/或插入的编辑操作。

13.  根据权利要求1-5任一所述的文档处理方法，其特征在于，所述文档显示数据中的数据的数据类型为文本类型、自由表格类型、自选图形类型、图片类型、链接类型、艺术字类型、图表类型、多媒体类型、域类型、书签类型、条码类型、批注类型、目录索引类型和函数图像类型中的一个或多个，
视频和/或音频数据相关数据的数据类型为视频和/或音频类型。

说明书多媒体互动文档处理方法
【技术领域】
本发明涉及办公软件领域，尤其涉及多媒体互动文档处理方法。
【背景技术】
目前办公软件应用非常广泛，非常多的工作都需要借助办公软件管理或实 现。目前常有的办公软件包括有文字处理程序(比如微软的word)、简报处理程 序(比如微软的Powerpoint)和表格处理程序(比如微软的EXCEL)。
目前类似的办公软件的都具有类似的编辑功能，比如编辑文字、插入图片、 插入文本、插入表格等，这些办公软件都是办公软件常用的功能。目前并没有 新的、有两点的功能增加入这些软件中。
在现有的应用中，比如远程非实时教学的应用中，其通常需要将简报文档 (PPT)和事先录制的视频集合起来播放，这种远程教学课件制作起来非常复杂， 且不好用。
因此，希望提出一种可以改进的多媒体互动文档处理方案，以克服现有技 术中存在的问题。
【发明内容】
本发明要解决的技术问题之一在于提供一种多媒体互动文档处理方法，其 允许插入和播放视频和/或音频，提高了互动性，丰富了功能。
为了解决上述问题，根据本发明的一个方面，本发明提供了一种文档处理 方法，其包括：文档处理模块从一个文档中读取数据；所述文档处理模块解析 所述读取的数据得到文档显示数据和视频和/或音频相关数据，并将解析后的数 据存储在内存中；所述文档处理模块对解析得到的文档显示数据和视频和/或音 频相关数据进行封装；所述文档处理模块根据封装后的文档显示数据进行视图 绘制；所述文档处理模块根据封装后的视频和/或音频相关数据进行视图绘制形 成视频和/或音频视图标记；将所述视频和/或音频视图标记和绘制后的文档显示 数据的视图经过排布后显示。
进一步的，所述视频和/或音频相关数据为视频和/或音频数据，所述文档处 理方法还包括：触发所述视频和/或音频视图标记；所述文档处理模块解码所述 视频和/或音频视图标记对应的视频和/或音频数据并播放。
进一步的，所述视频和/或音频相关数据为视频和/或音频表征数据，视频和 /或音频表征数据对应有视频和/或音频数据，所述文档包括第一文档部分和第二 文档部分，所述文档显示数据以及视频和/或音频表征数据存储于所述第一文档 部分，视频和/或音频数据存储于所述第二文档部分，所述视频和/或音频表征数 据关联至所述第二文档部分，所述文档处理模块通过所述表征数据定位到所述 第二文档部分。
进一步的，第一文档部分和第二文档部分为一个统一的文件，或者，第一 文档部分和第二文档部分为相互关联的两个文件，第一文档部分的文件为主文 件，第二文档部分的文件为从文件，所述文档处理模块通过主文件中的视频和/ 或音频相关数据能够定位到并打开所述从文件。
进一步的，所述文档处理方法还包括：触发所述视频和/或音频视图标记； 所述文档处理模块通过所述视频和/或音频视图标记对应的视频和/或音频表征 数据定位到所述视频和/或音频数据，解码所述视频和/或音频数据并播放。
进一步的，所述文档处理模块内集成有视频和/或音频解码单元，在触发所 述视频和/或音频视图标记后，启动该视频和/或音频解码单元去解码所述视频和 /或音频数据，在未触发所述视频和/或音频视图标记时，则不启动该视频和/或音 频解码单元。
进一步的，通过所述文档处理模块在一个文档中启动插入视频和/或音频数 据的功能，在启动插入视频和/或音频数据的功能后，所述文档处理方法还包括： 启动摄像头采集视频数据，和/或启动麦克风采集音频数据；对采集的视频和/或 音频数据进行编码；所述文档处理模块将编码后的视频和/或音频数据存入所述 文档中。
进一步的，所述文档处理模块提供视频和/或音频播放区域以及文档显示数 据展示区域，所述视频和/或音频数据的视图标记在所述视频和/或音频播放区域 显示，绘制后的文档显示数据的视图在文档显示数据展示区域显示，在触发所 述视频和/或音频视图标记时，在所述视频和/或音频播放区域播放所述视频和/ 或音频数据，在启动插入视频和/或音频数据的功能后，在所述视频和/或音频播 放区域播放正在采集的视频和/或音频数据。
进一步的，所述文档处理模块内集成有视频和/或音频编码单元，在启动插 入视频和/或音频数据的功能后，启动该视频和/或音频编码单元去对采集的视频 和/或音频数据进行编码，在未启动插入视频和/或音频数据的功能时，则不启动 该视频和/或音频编码单元。
进一步的，通过所述文档处理模块在一个文档中启动插入视频和/或音频数 据的功能，在启动插入视频和/或音频数据的功能后，所述文档处理方法还包括： 找到已经存在的编码后的视频和/或音频数据；所述文档处理模块将编码后的视 频和/或音频数据存入所述文档中。
进一步的，所述文档为文字处理文档、表格处理文档和/或简报处理文档。
进一步的，所述文档处理方法还包括：通过所述文档处理模块对所述文档 显示数据进行增加、删除、改写和/或插入的编辑操作。
与现有技术相比，在本发明中的文档中不仅包括有普通的文档显示数据， 还包括有视频和/或音频相关数据，增强了文档的互动性，丰富了文档的功能。
关于本发明的其他目的，特征以及优点，下面将结合附图在具体实施方式 中详细描述。
【附图说明】
结合参考附图及接下来的详细描述，本发明将更容易理解，其中同样的附 图标记对应同样的结构部件，其中：
图1为本发明中的文档处理方法在一个实施例中的流程示意图；
图2为本发明中的文档处理方法在另一个实施例中在一个实施例中的流程 示意图；
图3为本发明中一个支持视频和/或音频数据交互的简报文档显示示例；
图4为本发明中一个支持视频和/或音频数据交互的文字文档显示示例；
图5为本发明中一个支持视频和/或音频数据交互的表格文档显示示例。
【具体实施方式】
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和 具体实施方式对本发明作进一步详细的说明。
本发明的详细描述主要通过程序、步骤、逻辑块、过程或其他象征性的描 述来呈现，其直接或间接地模拟本发明中的技术方案的运作。所属领域内的技 术人员使用此处的这些描述和陈述向所属领域内的其他技术人员有效的介绍他 们的工作本质。
此处所称的“一个实施例”或“实施例”是指与所述实施例相关的特定特 征、结构或特性至少可包含于本发明至少一个实现方式中。在本说明书中不同 地方出现的“在一个实施例中”并非必须都指同一个实施例，也不必须是与其 他实施例互相排斥的单独或选择实施例。此外，表示一个或多个实施例的方法、 流程图或功能框图中的模块顺序并非固定的指代任何特定顺序，也不构成对本 发明的限制。
本文中所提及的文档可以是办公软件(office software)生成的文件，比如微软 公司的文字处理程序word生成的DOC文件等，再比如微软公司的表格处理程 序EXCEL生成的XLS文件等，再比如微软公司的简报处理程序PowerPoint生 成的PPT文件等。
本发明中提出一种文档处理方法，该文档处理方法形成或处理的文档中不 仅包括有普通的文档显示数据，还包括有视频和/或音频数据，增强了文档的互 动性，丰富了文档的功能。
图1为本发明中的文档处理方法在一个实施例100中的流程示意图。所述 文档处理方法100包括以下步骤或操作。
步骤101，在打开一个文档后，所述文档处理程序(或称文档处理模块)可以 从该文档中读取数据。所述文档可以存储在非易失性存储器(比如硬盘、闪存) 中。举例来说，在双击一个word文档后，运行文字处理程序word并从该文档 中读取数据。
步骤102，对读取的数据进行解析，并将解析后的数据存储在内存中。文档 解析的数据存储格式是在进行文档处理程序开发时就定义好的，不同的开发公 司定义的结构不一定相同。此例中的文档解析过程可以采用现有的任意一种方 案，比如可以采用文字处理程序word2003的文档解析方案，再比如采用简报处 理程序PowerPoint2003的文档解析方案等。在内存中开辟一段空间用于存储解 析后的数据。
本发明中的一个关键点、重点或优势在于：解析得到的数据中不仅包括现 有的办公软件都支持的文档显示数据，还包括新增加的视频和/或音频相关数据， 而新增加的这部分数据则增加了文档的互动性。
步骤103，所述文档处理模块对解析得到的文档显示数据和视频和/或音频 相关数据进行封装。
所述文档显示数据包括有多种数据类型。在一个实施例中，所述文档显示 数据中的数据的数据类型为文本类型、自由表格类型、自选图形类型、图片类 型、链接类型、艺术字类型、图表类型、多媒体类型、域类型、书签类型、条 码类型、批注类型、目录索引类型和函数图像类型中的一个或多个。而所述视 频和/或音频相关数据可以作为众多数据类型中的一种，其可以被视为视频和/或 音频类型。
在对所述文档显示数据和视频和/或音频相关数据进行封装时可以按照其数 据类型以及事先定义的该数据类型的封装方式进行封装。比如，文字处理程序(比 如word2003)在开发时就定义好了各种数据类型的封装方式，当然即便是增加一 种新的数据类型，那么也可以同样的事先定义好数据类型的封装形式，至于具 体的封装方式可以由所属领域内的普通技术人员进行自定义，只要能够实现即 可。
步骤104，所述文档处理模块根据封装后的文档显示数据进行视图绘制，所 述文档处理模块根据封装后的视频和/或音频相关数据进行视图绘制形成视频和 /或音频视图标记。这些的视图绘制也可以采用目前文字处理程序、简报处理程 序或表格处理程序的通用的视图绘制方案来进行。
步骤105，将所述视频和/或音频视图标记和绘制后的文档显示数据的视图 经过排布后显示。在一个实施例中，所述文档处理模块提供视频和/或音频播放 区域以及文档显示数据展示区域。所述视频和/或音频数据的视图标记在所述视 频和/或音频播放区域显示。绘制后的文档显示数据的视图在文档显示数据展示 区域显示。当然，所述文档处理模块提供用户更改视频和/或音频播放区域的接 口，用户可以根据个人的喜好来调整该播放区域。
这样，就实现了包括有视频和/或音频数据的文档的打开和展示。之后，用 户可以通过操作界面实现对打开的文档中的文档显示数据的编辑，包括增加、 删除、复制、粘贴、改写和/或插入等操作。以word为例，用户可以进行所有常 规的编辑，比如增加一段文字，插入一段批注，插入表格等。
此外，用户还可以通过操作界面实现打开的文档中的视频和/或音频数据的 播放。步骤106，用户通过操作界面触发所述视频和/或音频视图标记，比如点 击视图标记。
步骤107，所述文档处理模块会解码所述视频和/或音频视图标记对应的视 频和/或音频数据并播放显示。所述视频和/或音频数据的播放可以在所述视频和 /或音频播放区域进行。
在一个实施例中，所述视频和/或音频相关数据为视频和/或音频数据，在触 发所述视频和/或音频视图标记后，这样在步骤107中，所述文档处理模块就可 以直接解码所述视频和/或音频视图标记对应的视频和/或音频数据并播放。
所述视频和/或音频通常都很大，比如几百兆字节，甚至几个G字节，这样 将导致所述文档就会很多，影响文档的使用、存储和传播。因此在另一个实施 例中，所述视频和/或音频相关数据为视频和/或音频表征数据，视频和/或音频表 征数据对应有视频和/或音频数据，所述文档包括第一文档部分和第二文档部分， 所述文档显示数据以及视频和/或音频表征数据存储于所述第一文档部分，视频 和/或音频数据存储于所述第二文档部分，所述视频和/或音频表征数据关联至所 述第二文档部分，所述文档处理模块通过所述表征数据定位到所述第二文档部 分。第一文档部分可以相对独立，其可以被单独的复制、开启和编辑，第二文 档部分是以第一文档部分为基础的，其需要借助第一文档部分被复制、开启和 编辑。
具体的，第一文档部分和第二文档部分可以为一个统一的文件。第一文档 部分和第二文档部分也可以为相互关联的两个文件，第一文档部分的文件为主 文件，第二文档部分的文件为从文件，所述文档处理模块通过主文件中的视频 和/或音频相关数据能够定位到并打开所述从文件。
在此实施例中，在触发所述视频和/或音频视图标记后，在步骤107中，所 述文档处理模块通过所述视频和/或音频视图标记对应的视频和/或音频表征数 据定位到所述视频和/或音频数据，随后解码所述视频和/或音频数据并播放。
在一个实施例中，所述文档处理模块内集成有视频和/或音频解码单元，在 触发所述视频和/或音频视图标记后，启动该视频和/或音频解码单元，由该视频 和/或音频解码单元解码所述视频和/或音频数据并播放；在未触发所述视频和/ 或音频视图标记时，则不启动该视频和/或音频解码单元，这样可以不占用不必 要的计算机资源。
这样，本发明就可以实现文档中的视频和/或音频数据的播放，进而在办公 文档基础上实现了视频或音频互动，丰富了其功能。
在另一个实施例中，用户还可以通过文档处理模块的操作界面启动插入视 频和/或音频数据的功能。图2为本发明中的文档处理方法在一个实施例200中 的流程示意图。所述文档处理方法200包括以下步骤或操作。
步骤201，利用文档处理模块打开一个文档。
步骤202，启动插入视频和/或音频数据的功能。比如，可以在文档处理模 块的用户界面中加入了插入视频和/或音频数据的按钮，通过点击该按钮即启动 插入视频和/或音频数据的功能。
步骤203，启动摄像头采集视频数据，和/或启动麦克风采集音频数据。
步骤204，对采集的视频和/或音频数据进行编码。在一个实施例中，所述 文档处理模块内集成有视频和/或音频编码单元，其启动了插入视频和/或音频数 据的功能后调用该视频和/或音频编码单元进行采集的视频和/或音频数据的编 码，在未启动视频和/或音频数据的功能时，则不启动该视频和/或音频编码单元。
步骤205，所述文档处理模块将编码后的视频和/或音频数据存入所述文档 的数据中。
如上文所述的，所述文档支持视频和/或音频类型。
步骤206，在收到保存指令时，所述文档处理模块将编码后的视频和/或音 频数据以及该文档中的其它数据同时保存。
在一个实施例中，保存后的所述文档可以包括视频和/或音频数据和文档显 示数据。
在另一个实施例中，保存后的所述文档包括第一文档部分和第二文档部分， 所述文档显示数据以及视频和/或音频表征数据存储于所述第一文档部分，视频 和/或音频数据存储于所述第二文档部分，所述视频和/或音频表征数据关联至所 述第二文档部分，所述文档处理模块通过所述表征数据定位到所述第二文档部 分。第一文档部分可以相对独立，其可以被单独的复制、开启和编辑，第二文 档部分是以第一文档部分为基础的，其需要借助第一文档部分被复制、开启和 编辑。
这样就可以将用户录制的视频和/或音频数据插入到文档中，使得该文档具 有了视频和/或音频的交互功能。在一个实施例中，可以在所述文档的不同位置 插入不同的视频和/或音频数据，这样可以增加方案的应用性。
对于不支持视频和/或音频的文档处理模块，其同样可以打开上述支持视频 和/或音频的文档，其对于自己不识别的数据类型(比如视频和/或音频类型)可以 直接丢弃或者将其显示为固定的图标。
在一个实施例中，在启动插入视频和/或音频数据的功能后，在所述文档的 所述视频和/或音频播放区域播放正在采集的视频和/或音频数据。这样，用户可 以实施的监控视音频采集的情况。
在另一个实施例中，在启动插入视频和/或音频数据的功能后，借助所述文 档处理程序找到已经存在的编码后的视频和/或音频数据，将编码后的视频和/或 音频数据存入所述文档中。这样，用户就不需要现场录制视频和/或音频数据了， 直接可以将现有的视频和/或音频数据插入所述文档中。
上文中提到的“视频和/或音频数据”其包括视频数据、音频数据，或，视 频和音频数据三种情况。也就是说，所述文档可以仅仅支持视频数据的交互， 也可以仅仅支持音频数据的交互，还可以同时支持视频和音频数据的交互。
在一个具体的使用中，用户可以在利用简报处理程序制作PPT(PowerPoint) 教学课件时，一并插入视频和音频，这样只需要发布一个PPT文档就可以实现 包括视频和音频的完整的教学功能。这样，无论对于教学课件的制作者，还是 对于使用教学课件学习知识的学生来说，PPT教学都会变成的非常简单，给用 户提供了方便。如图3所示，其示出了一个支持视频和/或音频数据交互的简报 文档显示示例，其中310为所述视频和/或音频播放区域，320为文档显示数据 展示区域，所述文档为PPT文档，所述文档处理程序为简报处理程序。
在一个具体的使用中，用户可以在利用文字处理程序进行文档审核时，一 并插入视频和/或音频，这样就可以将其批注和修改意见通过视频和/或音频来告 知其他用户。这样，使得意见传达更为充分，也提高了互动性，使得文档审核 变得生动有趣。如图4所示，其示出了一个支持视频和/或音频数据交互的文字 文档显示示例，其中410为所述视频和/或音频播放区域，420为文档显示数据 展示区域，所述文档为word文档，所述文档处理程序为文字处理程序。
在一个具体的使用中，用户可以将一些问候语的视频和音频插入在EXCEL 文档中，接收用于可以看到发送者的视频问候，提高了娱乐性和互动性。如图5 所示，其示出了一个支持视频和/或音频数据交互的表格文档显示示例，其中510 为所述视频和/或音频播放区域，520为文档显示数据展示区域，所述文档为 EXCEL文档，所述文档处理程序为表格处理程序。
上文对本发明进行了足够详细的具有一定特殊性的描述。所属领域内的普 通技术人员应该理解，实施例中的描述仅仅是示例性的，在不偏离本发明的真 实精神和范围的前提下做出所有改变都应该属于本发明的保护范围。本发明所 要求保护的范围是由所述的权利要求书进行限定的，而不是由实施例中的上述 描述来限定的。