《通过头戴式设备管理多媒体日志的方法、装置和系统.pdf》由会员分享，可在线阅读，更多相关《通过头戴式设备管理多媒体日志的方法、装置和系统.pdf（14页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103559256 A (43)申请公布日 2014.02.05 CN 103559256 A (21)申请号 201310535180.9 (22)申请日 2013.11.01 G06F 17/30(2006.01) G06F 3/01(2006.01) (71)申请人 百度在线网络技术 （北京） 有限公司 地址 100085 北京市海淀区上地十街 10 号 百度大厦三层 (72)发明人 吴先超 (74)专利代理机构 北京清亦华知识产权代理事 务所 ( 普通合伙 ) 11201 代理人 张大威 (54) 发明名称 通过头戴式设备管理多媒体日志的方法、 装 置和系统 。
2、(57) 摘要 本发明提出一种通过头戴式设备管理多媒体 日志的方法、 装置和系统， 其中该方法包括以下步 骤 ： 获取用户的眼球动作 ； 当眼球动作与预设眼 球动作一致时， 从用户所在周边场景采集多媒体 信息， 并记录相应的采集时间 ； 获取多媒体信息 的描述性信息 ； 以及根据采集时间、 多媒体信息 和描述性信息生成多媒体日志。根据本发明实施 例方法， 通过头戴式显示设备采集多媒体信息并 按照采集时间排序生成多媒体日志， 实时记录用 户每时每刻的精彩瞬间， 无需用户手动采集多媒 体信息， 且自动生成多媒体信息的描述性信息， 操 作方便， 趣味性强， 提升用户体验。 (51)Int.Cl. 权。
3、利要求书 2 页 说明书 7 页 附图 4 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书7页 附图4页 (10)申请公布号 CN 103559256 A CN 103559256 A 1/2 页 2 1. 一种通过头戴式设备管理多媒体日志的方法， 其特征在于， 包括以下步骤 ： 获取用户的眼球动作 ； 当所述眼球动作与预设眼球动作一致时， 从用户所在周边场景采集多媒体信息， 并记 录相应的采集时间 ； 获取所述多媒体信息的描述性信息 ； 以及 根据所述采集时间、 所述多媒体信息和所述描述性信息生成多媒体日志。 2. 如权利要求 1 所述的方法， 其特征。
4、在于， 还包括 ： 将所述多媒体日志上传至云端服务器， 以使所述用户通过终端设备登录所述云端服务 器查询所述多媒体日志。 3. 如权利要求 2 所述的方法， 其特征在于， 还包括 ： 通过所述终端设备对所述多媒体日志进行编辑。 4. 如权利要求 1-3 任一项所述的方法， 其特征在于， 通过眼球跟踪设备获取所述眼球 动作， 其中， 所述眼球跟踪设备包括红外光源和眼球跟踪摄像头。 5. 如权利要求 1-3 任一项所述的方法， 其特征在于， 所述多媒体信息包括音频信息、 图 像信息和视频信息， 所述预设眼球动作为多个， 分别用于控制采集所述音频信息、 图像信息 和视频信息。 6. 如权利要求 5 。
5、所述的方法， 其特征在于， 所述头戴式设备具有图像获取单元和音频 输入单元， 其中， 所述音频输入单元用于获取所述音频信息 ； 以及 所述图像获取单元用于获取所述图像信息和所述视频信息。 7. 如权利要求 6 所述的方法， 其特征在于所述获取描述所述多媒体信息的描述性信息 的步骤进一步包括 ： 对所述音频信息进行语音识别， 以获取所述音频信息的描述性信息 ； 对所述图像信息进行图像识别， 以获取所述图像信息的描述性信息 ； 以及 对所述视频信息进行视频识别， 以获取所述视频信息的描述性信息。 8. 一种多媒体日志管理装置， 其特征在于， 包括 ： 眼球跟踪模块， 用于获取用户的眼球动作 ； 采。
6、集模块， 用于在所述眼球动作与预设眼球动作一致时， 从用户所在周边场景采集多 媒体信息 ； 记录模块， 用于记录相应的采集时间 ； 获取模块， 用于获取所述多媒体信息的描述性信息 ； 以及 生成模块， 用于根据所述采集时间、 所述多媒体信息和所述描述性信息生成多媒体日 志。 9. 如权利要求 8 所述的装置， 其特征在于， 还包括 ： 上传模块， 用于将所述多媒体日志上传至云端服务器， 以使所述用户通过终端设备登 录所述云端服务器查询所述多媒体日志。 10. 如权利要求 8 或 9 所述的装置， 其特征在于， 所述眼球跟踪模块包括红外光源和眼 球跟踪摄像头。 11.如权利要求8或9所述的装置，。
7、 其特征在于， 所述多媒体信息包括音频信息、 图像信 权 利 要 求 书 CN 103559256 A 2 2/2 页 3 息和视频信息， 所述预设眼球动作为多个， 分别用于控制采集所述音频信息、 图像信息和视 频信息。 12. 如权利要求 11 所述的装置， 其特征在于， 所述采集模块具有图像获取单元和音频 输入单元， 其中， 音频输入单元， 用于获取所述音频信息 ； 以及 图像获取单元， 用于获取所述图像信息和所述视频信息。 13. 如权利要求 12 所述的装置， 其特征在于， 所述获取模块具体包括 ： 语音识别模块， 用于对所述音频信息进行语音识别， 以获取所述音频信息的描述性信 息 ；。
8、 图像识别模块， 用于对所述图像信息进行图像识别， 以获取所述图像信息的描述性信 息 ； 以及 视频识别模块， 用于对所述视频信息进行视频识别， 以获取所述视频信息的描述性信 息。 14. 一种多媒体日志管理系统， 其特征在于， 包括 ： 如权利要求 8-13 任一项所述的多媒体日志管理装置 ； 以及 云端服务器， 用于接收所述装置发送的多媒体日志， 以使用户通过终端设备登录所述 云端服务器查询所述多媒体日志， 以及接收所述用户通过终端设备对所述多媒体日志进行 编辑操作。 权 利 要 求 书 CN 103559256 A 3 1/7 页 4 通过头戴式设备管理多媒体日志的方法、 装置和系统 技。
9、术领域 0001 本发明涉及智能设备技术领域， 尤其涉及一种通过头戴式设备管理多媒体日志的 方法、 装置和系统。 背景技术 0002 随着技术的发展， 用户日常生活中使用的多媒体信息越来越多， 如何快捷地采集 多媒体信息并建立日志、 对用户的多媒体日志进行科学有效的管理变得越来越重要。 目前， 大多数多媒体日志生成方法， 需要用户通过图像或音频采集设备 （如相机、 录音设备等） 采 集多媒体信息， 并使用相应软件进行编辑以建立多媒体日志。 0003 在实现本发明过程中， 发明人发现现有技术至少存在以下问题 ： 通过目前的图像 或音频采集设备采集多媒体信息时， 需要执行设备开启以及设备控制等繁复。
10、的操作步骤， 随着用户生活中需要采集的信息量越来越大， 使用现有的设备手动采集多媒体信息已十分 不便， 从而导致多媒体信息的流失， 且目前建立多媒体日志的方法， 使用户的工作量越来越 大， 浪费时间和精力， 用户体验差。 发明内容 0004 本发明旨在至少解决上述技术问题之一。 0005 为此， 本发明的第一个目的在于提出一种通过头戴式设备管理多媒体日志的方 法。该方法无需用户手动采集多媒体信息， 且自动生成多媒体信息的描述性信息， 操作方 便， 趣味性强， 提升用户体验。 0006 本发明的第二个目的在于提出一种多媒体日志管理装置。 0007 本发明的第三个目的在于提出一种多媒体日志管理系统。
11、。 0008 为了实现上述目的， 本发明第一方面实施例的通过头戴式设备管理多媒体日志的 方法包括以下步骤 ： 获取用户的眼球动作 ； 当所述眼球动作与预设眼球动作一致时， 从用 户所在周边场景采集多媒体信息， 并记录相应的采集时间 ； 获取所述多媒体信息的描述性 信息 ； 以及根据所述采集时间、 所述多媒体信息和所述描述性信息生成多媒体日志。 0009 根据本发明实施例的通过头戴式设备管理多媒体日志的方法， 通过头戴式显示设 备采集多媒体信息并按照采集时间排序生成多媒体日志， 实时记录用户每时每刻的精彩瞬 间， 无需用户手动采集多媒体信息， 且自动生成多媒体信息的描述性信息， 操作方便， 趣味。
12、 性强， 提升用户体验。 0010 为了实现上述目的， 本发明第二方面实施例的多媒体日志管理装置， 包括 ： 眼球 跟踪模块， 用于获取用户的眼球动作 ； 采集模块， 用于在所述眼球动作与预设眼球动作一 致时， 从用户所在周边场景采集多媒体信息 ； 记录模块， 用于记录相应的采集时间 ； 获取模 块， 用于获取所述多媒体信息的描述性信息 ； 以及生成模块， 用于根据所述采集时间、 所述 多媒体信息和所述描述性信息生成多媒体日志。 0011 根据本发明实施例的多媒体日志管理装置， 通过采集多媒体信息并按照采集时间 说 明 书 CN 103559256 A 4 2/7 页 5 排序生成多媒体日志，。
13、 实时记录用户每时每刻的精彩瞬间， 无需用户手动采集多媒体信息， 且自动生成多媒体信息的描述性信息， 操作方便， 趣味性强， 提升用户体验。 0012 为了实现上述目的， 本发明第三方面实施例的多媒体日志管理系统， 包括 ： 本发明 第二方面所述的任一项多媒体日志管理装置 ； 以及云端服务器， 用于接收所述装置发送的 多媒体日志， 以使用户通过终端设备登录所述云端服务器查询所述多媒体日志， 以及接收 所述用户通过终端设备对所述多媒体日志进行编辑操作。 0013 根据本发明实施例的多媒体日志管理系统， 通过采集多媒体信息并自动生成对应 的描述性信息， 按照采集时间排序生成多媒体日志， 实时便捷地。
14、记录用户每时每刻的精彩 瞬间， 无需用户手动采集多媒体信息， 且用户可以通过登录云端服务器， 对多媒体日志进行 查看、 检索和编辑， 操作简便， 趣味性强， 提升了用户体验。 0014 本发明附加的方面和优点将在下面的描述中部分给出， 部分将从下面的描述中变 得明显， 或通过本发明的实践了解到。 附图说明 0015 本发明上述的和 / 或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解， 其中， 0016 图 1 是根据本发明一个实施例的通过头戴式设备管理多媒体日志的方法的流程 图 ； 0017 图 2 是根据本发明又一个实施例的通过头戴式设备管理多媒体日志的方法的流 程图。
15、 ； 0018 图 3 是根据本发明一个具体实施例的多媒体日志查询界面示意图 ； 0019 图 4 是根据本发明一个实施例的多媒体日志管理装置的结构框图 ； 0020 图 5 是根据本发明又一个实施例的多媒体日志管理装置的结构框图 ； 0021 图 6 是根据本发明一个实施例的多媒体日志管理系统的结构示意图。 具体实施方式 0022 下面详细描述本发明的实施例， 实施例的示例在附图中示出， 其中自始至终相同 或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。 下面通过参考附图描 述的实施例是示例性的， 仅用于解释本发明， 而不能理解为对本发明的限制。相反， 本发明 的实施例包括落入所。
16、附加权利要求书的精神和内涵范围内的所有变化、 修改和等同物。 0023 在本发明的描述中， 需要理解的是， 术语 “第一” 、“第二” 等仅用于描述目的， 而不 能理解为指示或暗示相对重要性。 在本发明的描述中， 需要说明的是， 除非另有明确的规定 和限定， 术语 “相连” 、“连接” 应做广义理解， 例如， 可以是固定连接， 也可以是可拆卸连接， 或一体地连接 ； 可以是机械连接， 也可以是电连接 ； 可以是直接相连， 也可以通过中间媒介 间接相连。对于本领域的普通技术人员而言， 可以具体情况理解上述术语在本发明中的具 体含义。此外， 在本发明的描述中， 除非另有说明，“多个” 的含义是两个。
17、或两个以上。 0024 流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为， 表示包括 一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、 片段或部 分， 并且本发明的优选实施方式的范围包括另外的实现， 其中可以不按所示出或讨论的顺 说 明 书 CN 103559256 A 5 3/7 页 6 序， 包括根据所涉及的功能按基本同时的方式或按相反的顺序， 来执行功能， 这应被本发明 的实施例所属技术领域的技术人员所理解。 0025 下面参考附图描述根据本发明实施例的通过头戴式设备管理多媒体日志的方法、 装置和系统。 0026 一种通过头戴式设备管理多媒体日志的方法，。
18、 包括以下步骤 ： 0027 图 1 是根据本发明一个实施例的通过头戴式设备管理多媒体日志的方法的流程 图。 0028 如图 1 所示， 通过头戴式设备管理多媒体日志的方法包括 ： 0029 S101， 获取用户的眼球动作。 0030 具体地， 头戴式设备通过眼球跟踪设备获取眼球动作。 在本发明的一个实施例中， 眼球跟踪设备包括红外光源和眼球跟踪摄像头， 可用来捕捉头戴式设备使用者的眼球图像 信息， 以获取用户的眼球动作， 如移动、 凝视、 旋转、 瞳孔放大等。 其中， 眼球跟踪摄像头为红 外摄像头， 可以是一个可感知红外波长的可见光源摄像头。红外光源可以是一个或者多个 红外发光二极管或者红外。
19、激光二极管， 用于照亮用户的眼球， 以方便眼球跟踪系统捕捉用 户的眼球的瞳孔位置。 0031 S102， 当眼球动作与预设眼球动作一致时， 从用户所在周边场景采集多媒体信息， 并记录相应的采集时间。 0032 其中， 多媒体信息包括音频信息、 图像信息和视频信息等 ； 预设眼球动作为多个， 分别用于控制采集音频信息、 图像信息和视频信息， 可由用户设定。例如， 眼球的定向移动 来控制拍照， 眨眼控制摄像的开和关， 且用户初次使用时， 头戴式设备会提示用户设置用来 拍照的眼球定向移动的方向和其他眼球动作指令。 0033 在本发明的一个实施例中， 头戴式设备具有图像获取单元和音频输入单元， 其中，。
20、 音频输入单元用于获取音频信息 ； 图像获取单元用于获取图像信息 ； 音频输入单元和图像 获取单元同时获取信息时即可获取视频信息。 0034 具体地， 当眼球跟踪设备获取到的眼球动作与预设眼球动作一致时， 头戴式设备 根据预设眼球动作调用对应的信息采集单元， 从用户所在周边场景采集多媒体信息， 并记 录相应的采集时间。 0035 S103， 获取多媒体信息的描述性信息。 0036 具体地， 为了方便用户使用文字信息自由检索， 头戴式设备对音频信息进行语音 识别， 以获取音频信息的描述性信息 ； 对图像信息进行图像识别， 以获取图像信息的描述性 信息 ； 以及对视频信息进行视频识别， 以获取视频。
21、信息的描述性信息， 实现自动从图片生成 文字， 从声音识别出文字， 以及从视频的连续帧中抽取事件描述文字， 供用户综合参考。在 本发明的一个实施例中， 获取图片或根据视频的描述性信息的时候， 把相关信息严格地按 照 5W1H （when,where,what,why,who 以及 how， 即时间、 地点、 事件、 原因、 人物和状况） 列出。 这样， 用户在查看的时候， 文字信息清晰易懂， 方便浏览编辑。 0037 S104， 根据采集时间、 多媒体信息和描述性信息生成多媒体日志。 0038 具体地， 头戴式设备将描述性信息附着在对应的多媒体信息上， 按照采集时间的 先后顺序组织这些多媒体信。
22、息， 并根据描述性信息使用自动摘要算法来自动生成一天多媒 体日志的每日摘要， 得到最终的多媒体日志。 说 明 书 CN 103559256 A 6 4/7 页 7 0039 根据本发明实施例的通过头戴式设备管理多媒体日志的方法， 通过头戴式显示设 备采集多媒体信息并按照采集时间排序生成多媒体日志， 实时记录用户每时每刻的精彩瞬 间， 无需用户手动采集多媒体信息， 且自动生成多媒体信息的描述性信息， 操作方便， 趣味 性强， 提升用户体验。 0040 图 2 是根据本发明又一个实施例的通过头戴式设备管理多媒体日志的方法的流 程图。 0041 为了进一步提升用户体验， 通过将多媒体日志上传到云端服。
23、务器， 方便用户随时 对过去的多媒体日志进行查看、 检索和编辑， 具体地， 如图 2 所示， 通过头戴式设备管理多 媒体日志的方法包括 ： 0042 S201， 获取用户的眼球动作。 0043 具体地， 头戴式设备通过眼球跟踪设备获取眼球动作。 在本发明的一个实施例中， 眼球跟踪设备包括红外光源和眼球跟踪摄像头， 可以用来捕捉头戴式设备使用者的眼球图 像信息， 以获取用户的眼球动作， 如移动、 凝视、 旋转、 瞳孔放大等。 其中， 眼球跟踪摄像头为 红外摄像头， 可以是一个可感知红外波长的可见光源摄像头。红外光源可以是一个或者多 个红外发光二极管或者红外激光二极管， 用于照亮用户的眼球， 以方。
24、便眼球跟踪系统捕捉 用户的眼球的瞳孔位置。 0044 S202， 当眼球动作与预设眼球动作一致时， 从用户所在周边场景采集多媒体信息， 并记录相应的采集时间。 0045 其中， 多媒体信息包括音频信息、 图像信息和视频信息等 ； 预设眼球动作为多个， 分别用于控制采集音频信息、 图像信息和视频信息， 可由用户设定。例如， 眼球的定向移动 来控制拍照， 眨眼控制摄像的开和关， 且用户初次使用时， 头戴式设备会提示用户设置用来 拍照的眼球定向移动的方向和其他眼球动作指令。 0046 在本发明的一个实施例中， 头戴式设备具有图像获取单元和音频输入单元， 其中， 音频输入单元用于获取音频信息 ； 图像。
25、获取单元用于获取图像信息 ； 音频输入单元和图像 获取单元同时获取信息时即可获取视频信息。 0047 具体地， 当眼球跟踪设备获取到的眼球动作与预设眼球动作一致时， 头戴式设备 根据预设眼球动作调用对应的信息采集单元， 从用户所在周边场景采集多媒体信息， 并记 录相应的采集时间。 0048 S203， 获取多媒体信息的描述性信息。 0049 具体地， 为了方便用户使用文字信息自由检索， 头戴式设备对音频信息进行语音 识别， 以获取音频信息的描述性信息 ； 对图像信息进行图像识别， 以获取图像信息的描述性 信息 ； 以及对视频信息进行视频识别， 以获取视频信息的描述性信息， 实现自动从图片生成 。
26、文字， 从声音识别出文字， 以及从视频的连续帧中抽取事件描述文字， 供用户综合参考。 0050 在本发明的一个实施例中， 获取图片或根据视频的描述性信息的时候， 都严格地 把相关信息按照 5W1H （when,where,what,why,who 以及 how， 即时间、 地点、 事件、 原因、 人物 和状况） 。这样， 用户在查看的时候， 文字信息清晰易懂， 方便浏览编辑。 0051 S204， 根据采集时间、 多媒体信息和描述性信息生成多媒体日志。 0052 具体地， 头戴式设备将描述性信息附着在对应的多媒体信息上， 按照采集时间的 先后顺序组织这些多媒体信息， 并根据描述性信息使用自动摘。
27、要算法来自动生成一天多媒 说 明 书 CN 103559256 A 7 5/7 页 8 体日志的每日摘要， 得到最终的多媒体日志。 0053 S205， 将多媒体日志上传至云端服务器， 以使用户通过终端设备登录云端服务器 查询多媒体日志。 0054 具体地， 头戴式设备将生成的多媒体日志上传至云端服务器， 最终以文件的方式 保存在云端服务器中， 本地的头戴式设备中， 只保留有限空间的缓存。 用户可通过自身的或 者其他的头戴式设备、 笔记本电脑、 平板电脑、 手机等终端设备登录云端服务器查看多媒体 日志。 0055 在本发明的一个实施例中， 头戴式设备根据多媒体文件的描述性信息生成一天内 的摘要。
28、文本， 用户可以选择按时间轴查看多媒体日志， 也可输入相应信息对不同形式的多 媒体文件进行检索。 0056 例如， 在本发明的一个实施例中， 如图 3 所示， 用户访问多媒体日志时会看到一个 “月历” 的界面， 当用户点击其中的一天， 如 “6 号” 的时候， 就显示一个时间轴组织起来的多 媒体日志 ； 这里的图片 （缩略图） 、 文字、 视频 （截图缩略图） 等信息会根据其采集时间组织起 来 ； 当用户点击 “一日小结” 的时候， 右边的 “文字信息” 以及 “一日摘要文本” 会自动生成 出来， 供用户查看 ； 例如， 当用户点击图片缩略图时， 会在新的界面中显示出来图片， 并在右 边显示出。
29、来自动生成的文字信息。当用户点击上图月历中的左下角的 “检索” 按钮的时候， 出现新的界面， 提示用户输入文字、 图片或者音频等信息， 系统根据用户输入的内容进行检 索后， 将按照关联度排序完毕的多媒体日志条目信息返回给用户。 0057 S206， 通过终端设备对多媒体日志进行编辑。 0058 在本发明的一个实施例中， 用户可以选择分享， 也可以选择保密以及限制访问自 己日记的其他用户的权限。具体地， 用户可通过自身的或者其他的头戴式设备、 笔记本电 脑、 平板电脑、 手机等终端设备， 登录云端服务器账号， 验证身份权限后， 对多媒体日志进行 编辑。 0059 根据本发明实施例的通过头戴式设备。
30、管理多媒体日志的方法， 用户可以通过登录 云端服务器， 对多媒体日志进行查看和编辑， 也可以根据日志内容进行检索， 操作简便， 浏 览模式简洁直观， 且易于检索， 趣味性强， 提升了用户体验。 0060 为了实现上述实施例， 本发明还提出一种多媒体日志管理装置。 0061 一种多媒体日志管理装置， 包括 ： 眼球跟踪模块， 用于获取用户的眼球动作 ； 采集 模块， 用于在眼球动作与预设眼球动作一致时， 从用户所在周边场景采集多媒体信息 ； 记录 模块， 用于记录相应的采集时间 ； 获取模块， 用于获取多媒体信息的描述性信息 ； 以及生成 模块， 用于根据采集时间、 多媒体信息和描述性信息生成多。
31、媒体日志。 0062 图 4 是根据本发明一个实施例的多媒体日志管理装置的结构框图。 0063 如图 4 所示， 多媒体日志管理装置包括 ： 眼球跟踪模块 110、 采集模块 120、 记录模 块 130、 获取模块 140 和生成模块 150。 0064 具体地， 眼球跟踪模块 110 用于获取用户的眼球动作。在本发明的一个实施例中， 眼球跟踪模块包括红外光源和眼球跟踪摄像头， 可用来捕捉头戴式设备使用者的眼球图像 信息， 以获取用户的眼球动作， 如移动、 凝视、 旋转、 瞳孔放大等。 其中， 眼球跟踪摄像头为红 外摄像头， 可以是一个可感知红外波长的可见光源摄像头。红外光源可以是一个或者多。
32、个 红外发光二极管或者红外激光二极管， 用于照亮用户的眼球， 以方便眼球跟踪模块 110 捕 说 明 书 CN 103559256 A 8 6/7 页 9 捉用户的眼球的瞳孔位置。 0065 采集模块 120 用于在眼球动作与预设眼球动作一致时， 从用户所在周边场景采集 多媒体信息。其中， 多媒体信息包括音频信息、 图像信息和视频信息等 ； 预设眼球动作为多 个， 分别用于控制采集音频信息、 图像信息和视频信息， 可由用户设定。 例如， 眼球的定向移 动来控制拍照， 眨眼控制摄像的开和关， 且用户初次使用时， 头戴式设备会提示用户设置用 来拍照的眼球定向移动的方向和其他眼球动作指令。更具体地，。
33、 当眼球跟踪设备获取到的 眼球动作与预设眼球动作一致时， 采集模块根据预设眼球动作开启相应的采集功能， 从用 户所在周边场景采集对应形式的多媒体信息。 0066 记录模块 130 用于记录相应的采集时间。采集模块 120 根据用户指令采集到多媒 体信息的同时， 记录模块 130 记录相应的采集时间。 0067 获取模块 140 用于获取多媒体信息的描述性信息。更具体地， 为了方便用户使用 文字信息自由检索， 获取模块 140 获取多媒体信息中的描述性信息， 供用户综合参考。在本 发明的一个实施例中， 获取模块 140 获取图片或根据视频的描述性信息时， 把相关信息严 格地按照 5W1H（whe。
34、n,where,what,why,who 以及 how， 即时间、 地点、 事件、 原因、 人物和状 况） 列出。这样， 用户在查看的时候， 文字信息清晰易懂， 方便浏览编辑。 0068 生成模块 150 用于根据采集时间、 多媒体信息和描述性信息生成多媒体日志。更 具体地， 生成模块 150 将每个多媒体信息对应的描述性信息附着在对应的多媒体文件上， 按照采集时间的先后顺序组织这些多媒体信息， 并根据描述性信息使用自动摘要算法来自 动生成一天多媒体日志的每日摘要， 得到最终的多媒体日志。在本发明的一个实施例中， 如图 2 所示， 用户访问多媒体日志时会看到一个 “月历” 的界面， 当用户点击。
35、其中的一天， 如 “6 号” 的时候， 就显示一个时间轴组织起来的多媒体日志 ； 这里的图片 （缩略图） 、 文字、 视频 （截图缩略图） 等信息会根据其采集时间组织起来 ； 当用户点击 “一日小结” 的时候， 右边的 “文字信息” 以及 “一日摘要文本” 会自动生成出来， 供用户查看 ； 例如， 当用户点击图片缩略 图时， 会在新的界面中显示出来图片， 并在右边显示出来自动生成的文字信息。 0069 根据本发明实施例的多媒体日志管理装置， 通过采集多媒体信息并按照采集时间 排序生成多媒体日志， 实时记录用户每时每刻的精彩瞬间， 无需用户手动采集多媒体信息， 且自动生成多媒体信息的描述性信息，。
36、 操作方便， 趣味性强， 提升用户体验。 0070 图 5 是根据本发明又一个实施例的多媒体日志管理装置的结构框图。 0071 如图 5 所示， 在图 3 的基础上还包括 ： 上传模块 160、 音频输入单元 121、 图像获取 单元 122、 语音识别模块 141、 图像识别模块 142 和视频识别模块 143。 0072 具体地， 采集模块 120 具有音频输入单元 121 和图像获取单元 122。音频输入单 元 121 用于获取音频信息 ； 图像获取单元 122 用于获取图像信息和视频信息。音频输入单 元 121 和图像获取单元 122 同时获取信息时即可获取视频信息。 0073 获取模。
37、块 140 具体包括语音识别模块 141、 图像识别模块 142 和视频识别模块 143。语音识别模块 141 用于对音频信息进行语音识别， 以获取音频信息的描述性信息 ； 图 像识别模块 142 用于对图像信息进行图像识别， 以获取图像信息的描述性信息 ； 以及视频 识别模块 143 用于对视频信息进行视频识别， 以获取视频信息的描述性信息， 实现自动从 图片生成文字， 从声音识别出文字， 以及从视频的连续帧中抽取事件描述文字， 供用户参 考。在本发明的一个实施例中， 生成模块 150 可根据多媒体文件的描述性信息生成一天内 说 明 书 CN 103559256 A 9 7/7 页 10 的。
38、摘要文本， 用户可以选择按时间顺序查看多媒体日志， 也可输入相应信息对不同形式的 多媒体文件进行检索， 例如， 如图 3 所示， 当用户点击上图月历中的左下角的 “检索” 按钮的 时候， 出现新的界面， 提示用户输入文字、 图片或者音频等信息， 系统根据用户输入的内容 进行检索后， 将按照关联度排序完毕的多媒体日志条目信息返回给用户。 0074 上传模块 160 用于将多媒体日志上传至云端服务器， 以使用户通过终端设备登录 云端服务器查询多媒体日志。更具体地， 上传模块 160 将生成的多媒体日志上传至云端服 务器， 最终以文件的方式保存在云端服务器中， 本地的头戴式设备中， 只保留有限空间的。
39、缓 存。用户可通过自身的或者其他的头戴式设备、 笔记本电脑、 平板电脑、 手机等终端设备登 录云端服务器查看多媒体日志。 0075 根据本发明实施例的多媒体日志管理装置， 可通过分类采集多媒体文件的描述性 信息建立多媒体日志， 并将多媒体日志上传到云端服务器， 用户可以随时通过终端设备登 陆云端服务器， 查看多媒体日志并对不同形式的多媒体信息进行检索， 操作简便， 浏览模式 简洁直观， 易于查询修改， 趣味性强， 提升了用户体验。 0076 为了实现上述实施例， 本发明又提出一种多媒体日志管理系统。 0077 一种多媒体日志管理系统， 包括 ： 本发明第二方面任一项的多媒体日志管理装置 ； 以。
40、及云端服务器， 用于接收多媒体日志管理装置发送的多媒体日志， 以使用户通过终端设 备登录云端服务器查询多媒体日志， 以及接收用户通过终端设备对多媒体日志进行编辑操 作。 0078 图 6 是根据本发明一个实施例的多媒体日志管理系统的结构示意图。 0079 如图 6 所示， 多媒体日志管理系统包括 ： 多媒体日志管理装置 100 和云端服务器 200。 0080 根据本发明实施例的多媒体日志管理系统， 通过采集多媒体信息并自动生成对应 的描述性信息， 按照采集时间排序生成多媒体日志， 实时便捷地记录用户每时每刻的精彩 瞬间， 无需用户手动采集多媒体信息， 且用户可以通过登录云端服务器， 对多媒体。
41、日志进行 查看、 检索和编辑， 操作简便， 趣味性强， 提升了用户体验。 0081 在本说明书的描述中， 参考术语 “一个实施例” 、“一些实施例” 、“示例” 、“具体示 例” 、 或 “一些示例” 等的描述意指结合该实施例或示例描述的具体特征、 结构、 材料或者特 点包含于本发明的至少一个实施例或示例中。在本说明书中， 对上述术语的示意性表述不 一定指的是相同的实施例或示例。而且， 描述的具体特征、 结构、 材料或者特点可以在任何 的一个或多个实施例或示例中以合适的方式结合。 0082 尽管已经示出和描述了本发明的实施例， 本领域的普通技术人员可以理解 ： 在不 脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、 修改、 替换和变型， 本 发明的范围由权利要求及其等同物限定。 说 明 书 CN 103559256 A 10 1/4 页 11 图 1 说 明 书 附 图 CN 103559256 A 11 2/4 页 12 图 2 说 明 书 附 图 CN 103559256 A 12 3/4 页 13 图 3 图 4 说 明 书 附 图 CN 103559256 A 13 4/4 页 14 图 5 图 6 说 明 书 附 图 CN 103559256 A 14 。