一种基于增强现实技术的手持式阅览设备及其方法.pdf

《一种基于增强现实技术的手持式阅览设备及其方法.pdf》由会员分享，可在线阅读，更多相关《一种基于增强现实技术的手持式阅览设备及其方法.pdf（20页珍藏版）》请在专利查询网上搜索。

1、10申请公布号CN104102412A43申请公布日20141015CN104102412A21申请号201410354263222申请日20140724G06F3/0481201301G06F3/0484201301G06F3/048820130171申请人央数文化上海股份有限公司地址200062上海市普陀区金沙江路1006号2幢590室72发明人熊剑明74专利代理机构上海百一领御专利代理事务所普通合伙31243代理人马育麟54发明名称一种基于增强现实技术的手持式阅览设备及其方法57摘要本发明提供了一种基于增强现实技术的手持式阅览设备及其方法。该设备包括视频采集单元，用于透过第一摄像头捕捉现。

2、实场景；智能计算终端，用于对现实场景中的二维码进行识别，得到码值信息和空间位置信息，然后根据空间位置信息放置预设的虚拟场景，并生成现实场景和虚拟场景混合后的阅览画面；语音输出单元，用于透过扬声器输出与虚拟场景相对应的语音信息；以及液晶屏幕，呈圆形状，用于显示该阅览画面。相比于现有技术，本发明可生成与现实场景高度匹配的、具有逼真的视觉、听觉、触觉、力度感和动感等的虚拟环境，实现用户和虚拟三维环境直接进行交互。如此一来，小朋友可得到更多的感官刺激，提升了学习效率，寓教于乐。51INTCL权利要求书4页说明书8页附图7页19中华人民共和国国家知识产权局12发明专利申请权利要求书4页说明书8页附图7页。

3、10申请公布号CN104102412ACN104102412A1/4页21一种基于增强现实AUGMENTEDREALITY，AR技术的手持式阅览设备，其特征在于，该手持式阅览设备还包括视频采集单元，用于透过第一摄像头捕捉现实场景；智能计算终端，用于对所述现实场景中的二维码进行识别，得到相应的码值信息和空间位置信息，然后根据所述空间位置信息放置预设的虚拟场景，并生成所述现实场景和所述虚拟场景混合后的阅览画面；语音输出单元，用于透过扬声器输出与所述虚拟场景相对应的语音信息；以及液晶屏幕，呈圆形形状，用于显示所述智能计算终端生成的所述阅览画面。2根据权利要求1所述的手持式阅览设备，其特征在于，当移动。

4、所述手持式阅览设备时，所述现实场景中的二维码发生移动，所述智能计算终端根据移动的二维码来控制所述虚拟场景中的画面移动，所述液晶屏幕输出所述手持式阅览设备移动后的动态阅览画面。3根据权利要求2所述的手持式阅览设备，其特征在于，所述智能计算终端还包括缓冲单元，用于对当前帧之前的若干二维码所对应的码值信息和空间位置信息进行备份，并对所述虚拟场景中的三维物体运动驱动进行相应帧数的延迟，以预留二维码识别所需的处理时间。4根据权利要求3所述的手持式阅览设备，其特征在于，所述虚拟场景中的三维物体的瞬时位置由所备份的若干二维码的空间位置信息进行插值得到。5根据权利要求1所述的手持式阅览设备，其特征在于，所述智。

5、能计算终端包括网络接口，用于获取来自互联网的多个增强现实应用，并根据用户需求选择一个增强现实应用予以执行；以及二维码识别单元，当用户将所述现实场景中的二维码移动至所述第一摄像头的拍摄范围内时，所述二维码识别单元自动跟踪和识别所述二维码，得到所述码值信息和所述空间位置信息。6根据权利要求5所述的手持式阅览设备，其特征在于，所述智能计算终端还包括虚拟场景生成单元，用于根据来自所述二维码识别单元的空间位置信息，查询到相匹配的虚拟场景，以及虚拟实时渲染单元，用于对查询得到的虚拟场景进行实时绘制，并将绘制后的所述虚拟场景与所述现实场景混合显示于所述液晶屏幕。7根据权利要求6所述的手持式阅览设备，其特征在。

6、于，所述智能计算终端还包括交互单元，用于识别人脸或人手的交互操作，并根据所述交互操作来获得所述现实场景中隐含的三维信息，从而使所述三维信息与所述虚拟场景中的三维物体进行直接交互。8根据权利要求1所述的手持式阅览设备，其特征在于，所述现实场景包括图书、识字卡、科技馆或博物馆中的物体和环境影像。9根据权利要求8所述的手持式阅览设备，其特征在于，所述手持式阅览设备还包括一存储单元，用于存储与所述增强现实应用相对应的虚拟场景数据。10根据权利要求1所述的手持式阅览设备，其特征在于，所述智能计算终端还包括主线程处理单元，用于运行所述智能计算终端所进行的程序逻辑操作和渲染操作；以及多个分线程处理单元，用于。

7、执行图像采集操作，并将图像采集结果传回所述主线程处权利要求书CN104102412A2/4页3理单元。11根据权利要求10所述的手持式阅览设备，其特征在于，所述主线程处理单元向所述分线程处理单元发送图像采集请求，所述分线程处理单元根据所述图像采集请求进行图像采集操作。12根据权利要求1所述的手持式阅览设备，其特征在于，所述手持式阅览设备为类似于放大镜的外部轮廓，包括一圆形本体和一握持部，所述圆形本体装设具有触控功能的所述液晶屏幕，且所述圆形本体与所述握持部的连接处包括一控制按键。13根据权利要求12所述的手持式阅览设备，其特征在于，所述液晶屏幕的触控功能通过电阻式、电容式、红外线扫描式或红外线。

8、图像感测式触控传感器来实现触控操作。14根据权利要求12所述的手持式阅览设备，其特征在于，所述圆形本体的顶端正中位置包括一第二摄像头和一麦克风，所述第二摄像头用于采集所述液晶屏幕一侧的现实场景，所述麦克风用于接收用户的语音交互信息。15根据权利要求12所述的手持式阅览设备，其特征在于，所述第一摄像头位于所述圆形本体的、与所述液晶屏幕相对的另一侧，用于采集和捕捉该侧的现实场景，所述第一摄像头为电荷耦合组件CCD影像传感器或互补式金属氧化物半导体CMOS影像传感器。16根据权利要求12所述的手持式阅览设备，其特征在于，所述圆形本体的侧面还包括一功能按键，用于所述手持式阅览设备的不同功能之间进行切换。

9、。17根据权利要求1所述的手持式阅览设备，其特征在于，所述手持式阅览设备还包括亮度传感器和辅助背光源，所述亮度传感器用于检测所述手持式阅览设备的环境光强度，所述辅助背光源在所述环境光强度不足时提供辅助背光。18一种基于增强现实AUGMENTEDREALITY，AR技术的手持式阅览方法，其特征在于，该手持式阅览方法包括以下步骤视频采集单元透过第一摄像头捕捉现实场景；智能计算终端对所述现实场景中的二维码进行识别，得到相应的码值信息和空间位置信息；根据所述空间位置信息放置预设的虚拟场景，并生成所述现实场景和所述虚拟场景混合后的阅览画面；语音输出单元透过扬声器输出与所述虚拟场景相对应的语音信息；以及呈。

10、圆形状的液晶屏幕显示所述智能计算终端生成的所述阅览画面。19根据权利要求18所述的手持式阅览方法，其特征在于，该手持式阅览方法还包括步骤当移动所述手持式阅览设备时，所述现实场景中的二维码发生移动，所述智能计算终端根据移动的二维码来控制所述虚拟场景中的画面移动，所述液晶屏幕输出所述手持式阅览设备移动后的动态阅览画面。20根据权利要求19所述的手持式阅览方法，其特征在于，该手持式阅览方法还包括步骤对当前帧之前的若干二维码所对应的码值信息和空间位置信息进行备份，并对所述虚拟场景中的三维物体运动驱动进行相应帧数的延迟，以预留二维码识别所需的处理时间。21根据权利要求20所述的手持式阅览方法，其特征在于。

11、，所述虚拟场景中的三维物权利要求书CN104102412A3/4页4体的瞬时位置由所备份的若干二维码的空间位置信息进行插值得到。22根据权利要求18所述的手持式阅览方法，其特征在于，所述智能计算终端包括网络接口，用于获取来自互联网的多个增强现实应用，并根据用户需求选择一个增强现实应用予以执行；以及二维码识别单元，当用户将所述现实场景中的二维码移动至所述第一摄像头的拍摄范围内时，所述二维码识别单元自动跟踪和识别所述二维码，得到所述码值信息和所述空间位置信息。23根据权利要求22所述的手持式阅览方法，其特征在于，所述智能计算终端还包括虚拟场景生成单元，用于根据来自所述二维码识别单元的空间位置信息，。

12、查询到相匹配的虚拟场景，以及虚拟实时渲染单元，用于对查询得到的虚拟场景进行实时绘制，并将绘制后的所述虚拟场景与所述现实场景混合显示于所述液晶屏幕。24根据权利要求23所述的手持式阅览方法，其特征在于，所述智能计算终端还包括交互单元，用于识别人脸或人手的交互操作，并根据所述交互操作来获得所述现实场景中隐含的三维信息，从而使所述三维信息与所述虚拟场景中的三维物体进行直接交互。25根据权利要求18所述的手持式阅览方法，其特征在于，该手持式阅览方法还包括主线程和多个分线程，其中主线程用于运行所述智能计算终端处理过程中所进行的程序逻辑操作和渲染操作，分线程用于执行图像采集操作，并将图像采集结果传回所述主。

13、线程处理单元。26根据权利要求18所述的手持式阅览方法，其特征在于，所述现实场景包括图书、识字卡、科技馆或博物馆中的物体和环境影像。27一种基于增强现实AUGMENTEDREALITY，AR技术的手持式阅览设备，其特征在于，该手持式阅览设备包括一圆形本体，具有相对设置的一正面和一背面，所述圆形本体的正面设有一液晶屏幕、一第二摄像头和一麦克风，所述圆形本体的背面设置一第一摄像头和一扬声器；以及一握持部，与所述圆形本体相连接，用于抓握所述手持式阅览设备，其中，所述手持式阅览设备对所述第一摄像头采集的现实场景进行三维虚拟场景的渲染，并透过所述液晶屏幕显示所述现实场景和所述虚拟场景混合后的阅览画面。2。

14、8根据权利要求27所述的手持式阅览设备，其特征在于，所述液晶屏幕具有触控功能，且通过电阻式、电容式、红外线扫描式或红外线图像感测式触控传感器来实现触控操作。29根据权利要求27所述的手持式阅览设备，其特征在于，所述第二摄像头和所述麦克风位于所述圆形本体的顶端的正中位置，所述第二摄像头用于采集所述圆形本体正面侧的现实场景，所述麦克风用于接收用户的语音交互信息。30根据权利要求27所述的手持式阅览设备，其特征在于，所述第一摄像头用于采集和捕捉所述圆形本体背面侧的现实场景，所述第一摄像头为电荷耦合组件CCD影像传感器或互补式金属氧化物半导体CMOS影像传感器。31根据权利要求27所述的手持式阅览设备。

15、，其特征在于，所述圆形本体的侧面还包括一功能按键，用于所述手持式阅览设备的不同功能之间进行切换。权利要求书CN104102412A4/4页532根据权利要求27所述的手持式阅览设备，其特征在于，所述圆形本体与所述握持部的连接处还包括一控制按键。33根据权利要求27所述的手持式阅览设备，其特征在于，所述手持式阅览设备还包括亮度传感器和辅助背光源，所述亮度传感器用于检测所述手持式阅览设备的环境光强度，所述辅助背光源在所述环境光强度不足时提供辅助背光。权利要求书CN104102412A1/8页6一种基于增强现实技术的手持式阅览设备及其方法技术领域0001本发明涉及增强现实AUGMENTEDREALI。

16、TY，AR技术领域，尤其涉及一种基于增强现实技术的手持式阅览设备。背景技术0002增强现实技术是在虚拟现实的基础上发展起来的新技术，是虚拟现实研究的一个重要分支。概括地说，增强现实技术是借助计算机图形技术和可视化技术产生现实环境中并不存在的虚拟对象，并将虚拟对象准确地“嵌入”到真实环境中，然后通过显示设备将虚拟对象与真实环境融为一体，将虚拟的信息应用到真实世界，从而呈现给用户一个效果逼真的新环境，以实现对现实的增强。例如，AR技术可将原本在现实世界的一定时间空间范围内很难体验到的实体信息诸如视觉信息、声音、味道或触觉等，通过科学技术模拟仿真后再叠加到现实世界被人类感官所感知，从而达到超越现实的。

17、感官体验。0003此外，在现有技术中，针对儿童的玩教具主要分为传统类、创新类、实体类、虚拟类、娱乐类和教育类，对应的主流产品包括早教机、点读机、点读笔、电子书/书包、识字卡片、电脑教育软件等。通过横向对比可知，传统教育类玩教具趣味性低，很难调动小朋友的主动性；高科技教育类玩教具操作较为复杂，对于使用者的认知和操控门槛较高，没有很好的可带动家庭互动的玩教形式。此外，这些玩教产品大多无创新性，相当多的产品只是在拷贝同类产品。另一方面，近年来随着平板电脑和智能手机的普及，让许多早教类软件开始关注便携式移动平台。但是，平板电脑并不是专门针对儿童开发的，目前市场上对儿童玩平板电脑也存在诸多反对声音，焦点。

18、问题大致包括1因平板电脑的屏幕尺寸相对较小，长期盯住屏幕容易造成视力下降或近视；2平板电脑使用时，长期脖子弯着看平板电脑也可能会影响颈椎发育；3儿童过早地接触软件游戏，不仅会缺乏对真实环境游戏的乐趣，有时还会影响或减低其对于学习的乐趣；4触控式的平板电脑或智能手机虽然改变了传统使用键盘或鼠标的交互方式，但是儿童与玩教具的交互仍然停留在二维平面上，感官体验度较低。0004有鉴于此，如何设计一种手持式阅览设备，将当前的增强现实技术与传统的儿童玩教具予以有机结合，寓教于乐，使小朋友在阅览的过程中将语言学习，图像认知和三维数字模型自然地联系到一起。增强感官刺激，提升学习效率，是相关领域技术人员亟待解决。

19、的一项课题。发明内容0005针对现有技术中的平板电脑和智能手机在应用于儿童玩教具时所存在的上述诸多缺陷，本发明提供了一种新颖的、基于增强现实技术的手持式阅览设备及其方法。0006依据本发明的一个方面，提供了一种基于增强现实技术的手持式阅览设备，包括0007视频采集单元，用于透过第一摄像头捕捉现实场景；说明书CN104102412A2/8页70008智能计算终端，用于对所述现实场景中的二维码进行识别，得到相应的码值信息和空间位置信息，然后根据所述空间位置信息放置预设的虚拟场景，并生成所述现实场景和所述虚拟场景混合后的阅览画面；0009语音输出单元，用于透过扬声器输出与所述虚拟场景相对应的语音信息。

20、；以及0010液晶屏幕，呈圆形形状，用于显示所述智能计算终端生成的所述阅览画面。0011在其中的一实施例，当移动所述手持式阅览设备时，所述现实场景中的二维码发生移动，所述智能计算终端根据移动的二维码来控制所述虚拟场景中的画面移动，所述液晶屏幕输出所述手持式阅览设备移动后的动态阅览画面。0012在其中的一实施例，所述智能计算终端还包括缓冲单元，用于对当前帧之前的若干二维码所对应的码值信息和空间位置信息进行备份，并对所述虚拟场景中的三维物体运动驱动进行相应帧数的延迟，以预留二维码识别所需的处理时间。0013在其中的一实施例，所述虚拟场景中的三维物体的瞬时位置由所备份的若干二维码的空间位置信息进行插。

21、值得到。0014在其中的一实施例，所述智能计算终端包括网络接口，用于获取来自互联网的多个增强现实应用，并根据用户需求选择一个增强现实应用予以执行；以及二维码识别单元，当用户将所述现实场景中的二维码移动至所述第一摄像头的拍摄范围内时，所述二维码识别单元自动跟踪和识别所述二维码，得到所述码值信息和所述空间位置信息。0015在其中的一实施例，所述智能计算终端还包括虚拟场景生成单元，用于根据来自所述二维码识别单元的空间位置信息，查询到相匹配的虚拟场景，以及虚拟实时渲染单元，用于对查询得到的虚拟场景进行实时绘制，并将绘制后的所述虚拟场景与所述现实场景混合显示于所述液晶屏幕。0016在其中的一实施例，所述。

22、智能计算终端还包括交互单元，用于识别人脸或人手的交互操作，并根据所述交互操作来获得所述现实场景中隐含的三维信息，从而使所述三维信息与所述虚拟场景中的三维物体进行直接交互。0017在其中的一实施例，所述现实场景包括图书、识字卡、科技馆或博物馆中的物体和环境影像。0018在其中的一实施例，所述手持式阅览设备还包括一存储单元，用于存储与所述增强现实应用相对应的虚拟场景数据。0019在其中的一实施例，所述智能计算终端还包括主线程处理单元，用于运行所述智能计算终端所进行的程序逻辑操作和渲染操作；以及多个分线程处理单元，用于执行图像采集操作，并将图像采集结果传回所述主线程处理单元。0020在其中的一实施例。

23、，所述主线程处理单元向所述分线程处理单元发送图像采集请求，所述分线程处理单元根据所述图像采集请求进行图像采集操作。0021在其中的一实施例，所述手持式阅览设备为类似于放大镜的外部轮廓，包括一圆形本体和一握持部，所述圆形本体装设具有触控功能的所述液晶屏幕，且所述圆形本体与所述握持部的连接处包括一控制按键。0022在其中的一实施例，所述液晶屏幕的触控功能通过电阻式、电容式、红外线扫描式或红外线图像感测式触控传感器来实现触控操作。0023在其中的一实施例，所述圆形本体的顶端正中位置包括一第二摄像头和一麦克说明书CN104102412A3/8页8风，所述第二摄像头用于采集所述液晶屏幕一侧的现实场景，所。

24、述麦克风用于接收用户的语音交互信息。0024在其中的一实施例，所述第一摄像头位于所述圆形本体的、与所述液晶屏幕相对的另一侧，用于采集和捕捉该侧的现实场景，所述第一摄像头为电荷耦合组件影像传感器或互补式金属氧化物半导体影像传感器。0025在其中的一实施例，所述圆形本体的侧面还包括一功能按键，用于所述手持式阅览设备的不同功能之间进行切换。0026在其中的一实施例，所述手持式阅览设备还包括亮度传感器和辅助背光源，所述亮度传感器用于检测所述手持式阅览设备的环境光强度，所述辅助背光源在所述环境光强度不足时提供辅助背光。0027依据本发明的另一个方面，提供了一种基于增强现实技术的手持式阅览方法，包括以下步。

25、骤0028视频采集单元透过第一摄像头捕捉现实场景；0029智能计算终端对所述现实场景中的二维码进行识别，得到相应的码值信息和空间位置信息；0030根据所述空间位置信息放置预设的虚拟场景，并生成所述现实场景和所述虚拟场景混合后的阅览画面；0031语音输出单元透过扬声器输出与所述虚拟场景相对应的语音信息；以及0032呈圆形状的液晶屏幕显示所述智能计算终端生成的所述阅览画面。0033在其中的一实施例，该手持式阅览方法还包括步骤当移动所述手持式阅览设备时，所述现实场景中的二维码发生移动，所述智能计算终端根据移动的二维码来控制所述虚拟场景中的画面移动，所述液晶屏幕输出所述手持式阅览设备移动后的动态阅览画。

26、面。0034在其中的一实施例，该手持式阅览方法还包括步骤对当前帧之前的若干二维码所对应的码值信息和空间位置信息进行备份，并对所述虚拟场景中的三维物体运动驱动进行相应帧数的延迟，以预留二维码识别所需的处理时间。0035在其中的一实施例，所述虚拟场景中的三维物体的瞬时位置由所备份的若干二维码的空间位置信息进行插值得到。0036在其中的一实施例，所述智能计算终端包括网络接口，用于获取来自互联网的多个增强现实应用，并根据用户需求选择一个增强现实应用予以执行；以及二维码识别单元，当用户将所述现实场景中的二维码移动至所述第一摄像头的拍摄范围内时，所述二维码识别单元自动跟踪和识别所述二维码，得到所述码值信息。

27、和所述空间位置信息。0037在其中的一实施例，所述智能计算终端还包括虚拟场景生成单元，用于根据来自所述二维码识别单元的空间位置信息，查询到相匹配的虚拟场景，以及虚拟实时渲染单元，用于对查询得到的虚拟场景进行实时绘制，并将绘制后的所述虚拟场景与所述现实场景混合显示于所述液晶屏幕。0038在其中的一实施例，所述智能计算终端还包括交互单元，用于识别人脸或人手的交互操作，并根据所述交互操作来获得所述现实场景中隐含的三维信息，从而使所述三维信息与所述虚拟场景中的三维物体进行直接交互。0039在其中的一实施例，该手持式阅览方法还包括主线程和多个分线程，其中主线程说明书CN104102412A4/8页9用于。

28、运行所述智能计算终端处理过程中所进行的程序逻辑操作和渲染操作，分线程用于执行图像采集操作，并将图像采集结果传回所述主线程处理单元。0040在其中的一实施例，所述增强现实应用包括图书、识字卡、科技馆或博物馆中的物体和环境影像。0041依据本发明的再一个方面，提供了一种基于增强现实技术的手持式阅览设备，包括0042一圆形本体，具有相对设置的一正面和一背面，所述圆形本体的正面设有一液晶屏幕、一第二摄像头和一麦克风，所述圆形本体的背面设置一第一摄像头和一扬声器；以及0043一握持部，与所述圆形本体相连接，用于抓握所述手持式阅览设备，0044其中，所述手持式阅览设备对所述第一摄像头采集的现实场景进行三维。

29、虚拟场景的渲染，并透过所述液晶屏幕显示所述现实场景和所述虚拟场景混合后的阅览画面。0045在其中的一实施例，所述液晶屏幕具有触控功能，且通过电阻式、电容式、红外线扫描式或红外线图像感测式触控传感器来实现触控操作。0046在其中的一实施例，第二摄像头和所述麦克风位于所述圆形本体的顶端的正中位置，所述第二摄像头用于采集所述圆形本体正面侧的现实场景，所述麦克风用于接收用户的语音交互信息。0047在其中的一实施例，所述第一摄像头用于采集和捕捉所述圆形本体背面侧的现实场景，所述第一摄像头为电荷耦合组件影像传感器或互补式金属氧化物半导体影像传感器。0048在其中的一实施例，所述圆形本体的侧面还包括一功能按。

30、键，用于所述手持式阅览设备的不同功能之间进行切换。0049在其中的一实施例，所述圆形本体与所述握持部的连接处还包括一控制按键。0050在其中的一实施例，所述手持式阅览设备还包括亮度传感器和辅助背光源，所述亮度传感器用于检测所述手持式阅览设备的环境光强度，所述辅助背光源在所述环境光强度不足时提供辅助背光。0051采用本发明的手持式阅览设备及其方法，视频采集单元透过第一摄像头捕捉现实场景，智能计算终端对现实场景中的二维码进行识别以得到码值信息和空间位置信息，然后根据空间位置信息放置预设的虚拟场景，并生成现实场景和虚拟场景混合后的阅览画面，呈圆形状的液晶屏幕用来显示来自智能计算终端生成的阅览画面。相。

31、比于现有技术，本发明利用智能计算终端生成一种与现实场景高度匹配的、具有逼真的视觉、听觉、触觉、力度感和动感等的虚拟环境，可实现用户和虚拟三维环境直接进行交互。如此一来，小朋友在学习过程中很容易将语言学习、图像认知和三维数字模型自然地联系到一起，增强了更多维度的感官刺激，提升了学习效率，寓教于乐。附图说明0052读者在参照附图阅读了本发明的具体实施方式以后，将会更清楚地了解本发明的各个方面。其中，0053图1A图1C示出依据本发明的一实施方式，基于增强现实技术的手持式阅览设备的外部轮廓示意图；说明书CN104102412A5/8页100054图2示出依据本发明的另一实施方式，基于增强现实技术的手。

32、持式阅览设备的结构组成示意图；0055图3示出图2的手持式阅览设备的智能计算终端的一具体实施例；0056图4示出采用图3的手持式阅览设备来实现增强现实的阅览画面的流程框图；0057图5示出图2的手持式阅览设备的智能计算终端的另一具体实施例；0058图6示出依据本发明的再一实施方式，基于增强现实技术的手持式阅览方法的流程框图；0059图7示出采用图6的手持式阅览方法的第一实施例的增强现实效果示意图；0060图8示出采用图6的手持式阅览方法的第二实施例的增强现实效果示意图；0061图9示出采用图6的手持式阅览方法的第三实施例的增强现实效果示意图；以及0062图10示出采用图6的手持式阅览方法的第四。

33、实施例的增强现实效果示意图。具体实施方式0063为了使本申请所揭示的技术内容更加详尽与完备，可参照附图以及本发明的下述各种具体实施例，附图中相同的标记代表相同或相似的组件。然而，本领域的普通技术人员应当理解，下文中所提供的实施例并非用来限制本发明所涵盖的范围。此外，附图仅仅用于示意性地加以说明，并未依照其原尺寸进行绘制。0064下面参照附图，对本发明各个方面的具体实施方式作进一步的详细描述。0065图1A图1C示出依据本发明的一实施方式，基于增强现实技术的手持式阅览设备的外部轮廓示意图。其中，图1A为设备的主视图，图1B为设备的后视图，图1C为设备的侧视图。0066参照图1A图1C，本发明基于。

34、增强现实技术的手持式阅览设备为类似于放大镜的外部轮廓，包括圆形本体和握持部4。该握持部4专门设计为符合儿童生理学且便于手持抓握的造型。0067详细地，圆形本体的正面设有液晶屏幕1、第二摄像头和麦克风2。在此，圆形液晶屏幕可给用户带来“以小见大”和“以少见多”的直观感受。这是因为，矩形屏幕适合向宽而广的场景发展，而圆形屏幕适合往近而深的场景发掘。相对于传统的矩形屏幕，圆形屏幕的边角无法捉摸，角度可有可无，从而使其在传感器的作用下能够始终呈现正视角界面。例如，第二摄像头和麦克风2位于本体顶端的正中位置，第二摄像头也可称为“前摄像头”采集本体正面侧的现实场景，麦克风接收用户的语音交互信息。圆形本体的。

35、背面设置高清晰度的第一摄像头也可称为“主摄像头”5和扬声器6。握持部4与圆形本体相连接，用于用户尤其是儿童抓握该阅览设备。其中该手持式阅览设备对第一摄像头5采集的现实场景进行三维虚拟场景的渲染，并透过液晶屏幕1显示现实场景和虚拟场景混合后的阅览画面。0068在一具体实施例，液晶屏幕1具有触控功能，且通过电阻式、电容式、红外线扫描式或红外线图像感测式触控传感器来实现相应的触控操作。0069在一具体实施例，第一摄像头5采集和捕捉圆形本体背面侧的现实场景，例如，第一摄像头5为电荷耦合组件CCD影像传感器或互补式金属氧化物半导体CMOS影像传感器。说明书CN104102412A106/8页110070。

36、此外，在圆形本体的侧面还包括一功能按键7，用于在手持式阅览设备的不同功能之间进行切换。较佳地，还可在圆形本体与握持部4的连接处还包括一控制按键3。0071此外，为便于设备在任何光线条件下都可进行阅读浏览，本发明还可包括亮度传感器和辅助背光源图中未示出。利用亮度传感器来检测设备的环境光强度，并且使用辅助背光源在环境光强度不足时提供辅助背光。0072图2示出依据本发明的另一实施方式，基于增强现实技术的手持式阅览设备的结构组成示意图。参照图2，在该实施方式中，本发明的手持式阅览设备包括一视频采集单元10、一智能计算终端12、一语音输出单元14和一液晶屏幕16。0073具体而言，视频采集单元10用于透。

37、过第一摄像头诸如图1的主摄像头5捕捉现实场景。智能计算终端12与视频采集单元10相耦接，用于对所捕捉的现实场景中的二维码进行识别，得到与二维码相对应的码值信息和空间位置信息，然后根据空间位置信息放置预设的匹配虚拟场景，并生成现实场景和虚拟场景混合后的阅览画面。语音输出单元14与智能计算终端12相耦接，用于透过扬声器诸如图1的扬声器6输出与虚拟场景相对应的语音信息。液晶屏幕1呈圆形，其与智能计算终端12相耦接，用于显示来自智能计算终端12生成的阅览画面。0074在一具体实施例，当阅览用户尤其是儿童移动手持式阅览设备时，现实场景中的二维码发生移动，智能计算终端12根据移动的二维码来控制虚拟场景中的。

38、画面移动，液晶屏幕1输出手持式阅览设备移动后的动态阅览画面。0075此外，当避免二维码的移动速度过快或偏离第一摄像头的拍摄角度过大时从而导致二维码识别瞬时失败，进而造成与其关联的三维虚拟物体的显示发生卡顿现象，本发明的智能计算终端12还包括缓冲单元121。缓冲单元121用于对当前帧之前的若干个二维码所对应的码值信息和空间位置信息进行备份和缓存，并对虚拟场景中的三维虚拟物体运动驱动进行相应帧数的延迟，以预留二维码识别所需的处理时间。例如，虚拟场景中的三维虚拟物体的瞬时位置由所备份的若干二维码的空间位置信息进行插值得到，以大幅提高虚拟物体移动的平滑性。0076图3示出图2的手持式阅览设备的智能计算。

39、终端的一具体实施例。参照图3，在该实施例中，智能计算终端12还包括网络接口图中未示出、二维码识别单元123、虚拟场景生成单元125和虚拟实时渲染单元127。0077其中，网络接口用于获取来自互联网的多个增强现实应用，并根据用户需求选择一个增强现实应用予以执行。当用户将现实场景中的二维码移动至第一摄像头的拍摄范围内时，二维码识别单元123用于自动跟踪和识别二维码，并得到相对应的码值信息和空间位置信息。虚拟场景生成单元125与二维码识别单元123相耦接，用于根据来自二维码识别单元123的空间位置信息，查询到相匹配的虚拟场景。虚拟实时渲染单元127用于对查询得到的虚拟场景进行实时绘制，并将绘制后的虚。

40、拟场景与现实场景混合显示于液晶屏幕。0078在一具体实施例，智能计算终端12还包括交互单元129，用于识别人脸或人手的交互操作，并根据交互操作来获得现实场景中隐含的三维信息，从而使三维信息与虚拟场景中的三维物体进行直接交互，提高设备的互动娱乐性。例如，上述现实场景包括图书、识字卡、科技馆或博物馆中的物体和环境影像。0079此外，该手持式阅览设备还可包括一存储单元图中未示出，用于存储与增强现说明书CN104102412A117/8页12实应用相对应的虚拟场景数据，从而实现设备在离线状态下的增强现实体验。0080图4示出采用图3的手持式阅览设备来实现增强现实的阅览画面的流程框图。0081结合图4和。

41、图3，首先执行步骤S101和S103，用户通过互联网获取多个增强现实应用，并启动其中的一个应用。在步骤S105和S107中，第一摄像头开始视频采集和捕捉，将采集和捕捉到的现实场景显示在屏幕上，用户在第一摄像头拍摄范围内自由移动该现实场景的二维码。接着，对二维码进行自动跟踪和识别，如步骤S109所示。最后执行步骤S111，系统将二维码对应的三维虚拟物体渲染并显示在液晶屏幕上。此外，用户还可通过交互提供现实场景隐含的三维信息，使其与虚拟三维物体直接交互。0082图5示出图2的手持式阅览设备的智能计算终端的另一具体实施例。参照图5，在该实施例中，智能计算终端12还包括主线程MAINTHREAD处理单。

42、元131和分线程处理单元133。主线程处理单元131用于运行智能计算终端12所进行的程序逻辑操作和渲染操作。多个分线程处理单元133用于执行图像采集操作，并将图像采集结果传回主线程处理单元131。例如，主线程处理单元131向分线程处理单元133首先发送图像采集请求，分线程处理单元133根据该图像采集请求进行图像采集操作，并将图像采集结构送回主线程处理单元131进行后续处理。0083图6示出依据本发明的再一实施方式，基于增强现实技术的手持式阅览方法的流程框图。0084结合图6和图2，在该阅览方法中，首先执行步骤S21，由视频采集单元10透过第一摄像头捕捉现实场景。然后执行步骤S23和S25，智能。

43、计算终端12对所捕捉的现实场景中的二维码进行识别，得到相应的码值信息和空间位置信息。然后根据空间位置信息放置预设的虚拟场景，并生成现实场景和虚拟场景混合后的阅览画面。接着在步骤S27中，语音输出单元14透过扬声器输出与虚拟场景相对应的语音信息。最后执行步骤S29，呈圆形状的液晶屏幕16显示智能计算终端12生成的阅览画面。0085在一具体实施例，该手持式阅览方法还包括步骤当移动手持式阅览设备时，现实场景中的二维码发生移动，智能计算终端根据移动的二维码来控制虚拟场景中的画面移动，液晶屏幕输出手持式阅览设备移动后的动态阅览画面。0086在一具体实施例，该手持式阅览方法还包括步骤对当前帧之前的若干二维。

44、码所对应的码值信息和空间位置信息进行备份，并对虚拟场景中的三维物体运动驱动进行相应帧数的延迟，以预留二维码识别所需的处理时间。例如，虚拟场景中的三维物体的瞬时位置由所备份的若干二维码的空间位置信息进行插值得到。0087图7示出采用图6的手持式阅览方法的第一实施例的增强现实效果示意图。0088在图7中，用户将手持式阅览设备对着博物馆的名画时，设备的主摄像头捕捉该名画，并将预先设好的虚拟三维动画与现实物体进行混合，最终在圆形屏幕11上能够看到的画面效果是名画从原本现实场景中的静态画面开始转化为混合后的动态画面。0089图8示出采用图6的手持式阅览方法的第二实施例的增强现实效果示意图。0090在图8。

45、中，用户将手持式阅览设备对准地球仪上的某一地区时如埃及，设备的主摄像头22开始捕捉，并将预先设好的三维虚拟动画投射在地球仪上，最终在圆形屏幕21上呈现的效果是，该地区上空浮现该国家的特色动画如金字塔和狮身人面像。例如，孩子拿起这个“科学放大魔镜”即，手持式阅览设备对准地球仪的某个国家板块，圆形屏幕说明书CN104102412A128/8页13上呈现的画面效果是，地球仪上站着穿该国传统服装的三维人物及其它信息的图像，诸如著名建筑、历史人文等，这些不同类型的图像可通过按键切换。0091图9示出采用图6的手持式阅览方法的第三实施例的增强现实效果示意图。0092在图9中，用户将手持式阅览设备对准书本或。

46、卡片，设备的摄像头31开始工作，并将三维虚拟图像32投射在书本上，最终在圆形屏幕上可以看到书本上出现由现实场景和虚拟场景混合而成的三维立体画面。0093图10示出采用图6的手持式阅览方法的第四实施例的增强现实效果示意图。0094在图10中，用户将手持式阅览设备对准现实场景的一辆玩具坦克，设备的摄像头开始工作，经过设备中的智能计算终端处理后，最终可在圆形屏幕里看到的画面效果是，坦克边上有外星飞船正在攻击它，孩子可用该设备与坦克进行互动并操作坦克，通过增强现实技术实现虚拟和现实的结合，只见坦克炮管移动开火，把攻击它的外星飞船一一击落。0095采用本发明的手持式阅览设备及其方法，视频采集单元透过第一。

47、摄像头捕捉现实场景，智能计算终端对现实场景中的二维码进行识别以得到码值信息和空间位置信息，然后根据空间位置信息放置预设的虚拟场景，并生成现实场景和虚拟场景混合后的阅览画面，呈圆形状的液晶屏幕用来显示来自智能计算终端生成的阅览画面。相比于现有技术，本发明利用智能计算终端生成一种与现实场景高度匹配的、具有逼真的视觉、听觉、触觉、力度感和动感等的虚拟环境，可实现用户和虚拟三维环境直接进行交互。如此一来，小朋友在学习过程中很容易将语言学习、图像认知和三维数字模型自然地联系到一起，增强了更多维度的感官刺激，提升了学习效率，寓教于乐。0096上文中，参照附图描述了本发明的具体实施方式。但是，本领域中的普通技术人员能够理解，在不偏离本发明的精神和范围的情况下，还可以对本发明的具体实施方式作各种变更和替换。这些变更和替换都落在本发明权利要求书所限定的范围内。说明书CN104102412A131/7页14图1图2说明书附图CN104102412A142/7页15图3说明书附图CN104102412A153/7页16图4说明书附图CN104102412A164/7页17图5说明书附图CN104102412A175/7页18图6说明书附图CN104102412A186/7页19图7图8说明书附图CN104102412A197/7页20图9图10说明书附图CN104102412A20。