《用于增强现实的书对象.pdf》由会员分享，可在线阅读，更多相关《用于增强现实的书对象.pdf（39页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104245067A43申请公布日20141224CN104245067A21申请号201380008337022申请日2013020661/595,68520120206USA63F13/4020140171申请人索尼电脑娱乐欧洲有限公司地址英国伦敦72发明人河内雅美74专利代理机构北京市柳沈律师事务所11105代理人史新宏54发明名称用于增强现实的书对象57摘要本发明提供一种用于与交互程序介接的方法。所述方法包括捕捉书对象的第一页和第二页的图像，沿着沿书的书脊定义的折叠轴接合第一页和第二页；分析捕捉的图像以识别第一页上的第一标签和第二页上的第二标签；通过分别跟踪第一标签和。
2、第二标签来跟踪第一页和第二页的运动；通过在捕捉的图像中用虚拟书代替书对象来生成增强图像，虚拟书具有对应于书对象的第一页的第一虚拟页，虚拟书具有对应于书对象的第二页的第二虚拟页；分别在第一虚拟页和第二虚拟页上呈现第一场景和第二场景；以及在显示器上演示增强图像。30优先权数据85PCT国际申请进入国家阶段日2014080686PCT国际申请的申请数据PCT/IB2013/0001482013020687PCT国际申请的公布数据WO2013/117977EN2013081551INTCL权利要求书4页说明书14页附图20页19中华人民共和国国家知识产权局12发明专利申请权利要求书4页说明书14页附图。
3、20页10申请公布号CN104245067ACN104245067A1/4页21一种用于与交互程序介接的方法，其包括捕捉书对象的第一页和第二页的图像，大体上沿着沿所述书的书脊定义的折叠轴接合所述第一页和所述第二页；分析所述捕捉的图像以识别所述第一页上的第一标签和所述第二页上的第二标签；通过分别跟踪所述第一标签和所述第二标签来跟踪所述第一页和所述第二页的运动；通过在所述捕捉的图像中用虚拟书代替所述书对象来生成增强图像，所述虚拟书具有对应于所述书对象的所述第一页的第一虚拟页，所述虚拟书具有对应于所述书对象的所述第二页的第二虚拟页，其中所述书对象的所述第一页和所述第二页的运动分别控制所述虚拟书的所述。
4、第一虚拟页和所述第二虚拟页的运动；分别在所述第一虚拟页和所述第二虚拟页上呈现第一场景和第二场景，所述第一场景或所述第二场景定义动画；以及在显示器上演示所述增强图像。2如权利要求1所述的方法，其中所述第一页和所述第二页的所述运动包括绕所述折叠轴翻转所述第二页，在所述翻转所述第二页期间保持所述呈现的第二场景相对于所述第二页的定向。3如权利要求1所述的方法，其中所述动画定义接近所述第一虚拟页或所述第二虚拟页的至少一个三维对象的运动，在所述第一虚拟页或所述第二虚拟页上定义用来定义所述动画的所述第一场景或所述第二场景。4如权利要求3所述的方法，其中所述动画在所述第二页集中于所述第一页上时提供所述三维对象。
5、的压缩的外观，或在所述第二页偏离所述第一页时提供所述三维对象的解压的外观。5如权利要求1所述的方法，其中绕所述折叠轴翻转所述第二页暴露在所述第二页的相对面上的第三页和大体上沿着所述折叠轴接合到所述第三页的第四页；其中分析所述捕捉的图像包括识别所述第三页上的第三标签和所述第四页上的第四标签；其中跟踪运动包括通过分别跟踪所述第三标签和所述第四标签来跟踪所述第三页和所述第四页的运动；其中所述虚拟书具有对应于所述书对象的所述第三页的第三虚拟页，所述虚拟书具有对应于所述书对象的所述第四页的第四虚拟页，其中所述书对象的所述第三页和所述第四页的运动分别控制所述虚拟书的所述第三虚拟页和所述第四虚拟页的运动；其。
6、中呈现包括分别在所述第三虚拟页和所述第四虚拟页上呈现第三场景和第四场景；以及其中在所述绕所述折叠轴翻转所述第二页期间，保持所述呈现的第三场景相对于所述第三虚拟页的定向。6一种用于与交互程序介接的系统，其包括用于捕捉书对象的第一页和第二页的图像的构件，大体上沿着沿所述书的书脊定义的折叠轴接合所述第一页和所述第二页；权利要求书CN104245067A2/4页3用于分析所述捕捉的图像以识别所述第一页上的第一标签和所述第二页上的第二标签的构件；用于通过分别跟踪所述第一标签和所述第二标签来跟踪所述第一页和所述第二页的运动的构件；用于通过在所述捕捉的图像中用虚拟书代替所述书对象来生成增强图像的构件，所述虚。
7、拟书具有对应于所述书对象的所述第一页的第一虚拟页，所述虚拟书具有对应于所述书对象的所述第二页的第二虚拟页，其中所述书对象的所述第一页和所述第二页的运动分别控制所述虚拟书的所述第一虚拟页和所述第二虚拟页的运动；用于分别在所述第一虚拟页和所述第二虚拟页上呈现第一场景和第二场景的构件，所述第一场景或所述第二场景定义动画；以及用于在显示器上演示所述增强图像的构件。7如权利要求6所述的系统，其中所述第一页和所述第二页的所述运动包括绕所述折叠轴翻转所述第二页，在所述翻转所述第二页期间保持所述呈现的第二场景相对于所述第二页的定向。8如权利要求6所述的系统，其中所述动画定义接近所述第一虚拟页或所述第二虚拟页的。
8、至少一个三维对象的运动，在所述第一虚拟页或所述第二虚拟页上定义用来定义所述动画的所述第一场景或所述第二场景。9如权利要求8所述的系统，其中所述动画在所述第二页集中于所述第一页上时提供所述三维对象的压缩的外观，或在所述第二页偏离所述第一页时提供所述三维对象的解压的外观。10如权利要求6所述的系统，其中绕所述折叠轴翻转所述第二页暴露在所述第二页的相对面上的第三页和大体上沿着所述折叠轴接合到所述第三页的第四页；其中分析所述捕捉的图像包括识别所述第三页上的第三标签和所述第四页上的第四标签；其中跟踪运动包括通过分别跟踪所述第三标签和所述第四标签来跟踪所述第三页和所述第四页的运动；其中所述虚拟书具有对应于。
9、所述书对象的所述第三页的第三虚拟页，所述虚拟书具有对应于所述书对象的所述第四页的第四虚拟页，其中所述书对象的所述第三页和所述第四页的运动分别控制所述虚拟书的所述第三虚拟页和所述第四虚拟页的运动；其中呈现包括分别在所述第三虚拟页和所述第四虚拟页上呈现第三场景和第四场景；以及其中在所述绕所述折叠轴翻转所述第二页期间，保持所述呈现的第三场景相对于所述第三虚拟页的定向。11一种用于与交互程序介接的装置，其包括图像捕捉设备，其用于捕捉书对象的第一页和第二页的图像，大体上沿着沿所述书的书脊定义的折叠轴接合所述第一页和所述第二页；分析器模块，其用于分析所述捕捉的图像以识别所述第一页上的第一标签和所述第二页上。
10、的第二标签；权利要求书CN104245067A3/4页4跟踪模块，其用于通过分别跟踪所述第一标签和所述第二标签来跟踪所述第一页和所述第二页的运动；增强图像生成器，其用于通过在所述捕捉的图像中用虚拟书代替所述书对象来生成增强图像，所述虚拟书具有对应于所述书对象的所述第一页的第一虚拟页，所述虚拟书具有对应于所述书对象的所述第二页的第二虚拟页，其中所述书对象的所述第一页和所述第二页的运动分别控制所述虚拟书的所述第一虚拟页和所述第二虚拟页的运动；呈现模块，其用于分别在所述第一虚拟页和所述第二虚拟页上呈现第一场景和第二场景，所述第一场景或所述第二场景定义动画；以及演示器，其用于在显示器上演示所述增强图像。
11、。12如权利要求11所述的装置，其中所述第一页和所述第二页的所述运动包括绕所述折叠轴翻转所述第二页，在所述翻转所述第二页期间保持所述呈现的第二场景相对于所述第二页的定向。13如权利要求11所述的方法，其中所述动画定义接近所述第一虚拟页或所述第二虚拟页的至少一个三维对象的运动，在所述第一虚拟页或所述第二虚拟页上定义用来定义所述动画的所述第一场景或所述第二场景。14如权利要求13所述的方法，其中所述动画在所述第二页集中于所述第一页上时提供所述三维对象的压缩的外观，或在所述第二页偏离所述第一页时提供所述三维对象的解压的外观。15如权利要求11所述的方法，其中绕所述折叠轴翻转所述第二页暴露在所述第二页。
12、的相对面上的第三页和大体上沿着所述折叠轴接合到所述第三页的第四页；其中分析所述捕捉的图像包括识别所述第三页上的第三标签和所述第四页上的第四标签；其中跟踪运动包括通过分别跟踪所述第三标签和所述第四标签来跟踪所述第三页和所述第四页的运动；其中所述虚拟书具有对应于所述书对象的所述第三页的第三虚拟页，所述虚拟书具有对应于所述书对象的所述第四页的第四虚拟页，其中所述书对象的所述第三页和所述第四页的运动分别控制所述虚拟书的所述第三虚拟页和所述第四虚拟页的运动；其中呈现包括分别在所述第三虚拟页和所述第四虚拟页上呈现第三场景和第四场景；以及其中在所述绕所述折叠轴翻转所述第二页期间，保持所述呈现的第三场景相对于。
13、所述第三虚拟页的定向。16一种用于与交互程序介接的系统，其包括书对象，其具有大体上沿着沿所述书对象的书脊定义的折叠轴接合的第一页和第二页；客户端设备，其用于捕捉所述书对象的所述第一页和所述第二页的图像；服务器，其包括,分析器模块，其用于分析所述捕捉的图像以识别所述第一页上的第一标签和所述第二页上的第二标签；权利要求书CN104245067A4/4页5跟踪模块，其用于通过分别跟踪所述第一标签和所述第二标签来跟踪所述第一页和所述第二页的运动；增强图像生成器，其用于通过在所述捕捉的图像中用虚拟书代替所述书对象来生成增强图像，所述虚拟书具有对应于所述书对象的所述第一页的第一虚拟页，所述虚拟书具有对应于。
14、所述书对象的所述第二页的第二虚拟页，其中所述书对象的所述第一页和所述第二页的运动分别控制所述虚拟书的所述第一虚拟页和所述第二虚拟页的运动；呈现模块，其用于分别在所述第一虚拟页和所述第二虚拟页上呈现第一场景和第二场景，所述第一场景或所述第二场景定义动画；以及其中所述客户端设备包括用于在显示器上演示所述增强图像的演示器。17如权利要求16所述的系统，其中所述第一页和所述第二页的所述运动包括绕所述折叠轴翻转所述第二页，在所述翻转所述第二页期间保持所述呈现的第二场景相对于所述第二页的定向。18如权利要求17所述的系统，其中所述动画定义接近所述第一虚拟页或所述第二虚拟页的至少一个三维对象的运动，在所述第。
15、一虚拟页或所述第二虚拟页上定义用来定义所述动画的所述第一场景或所述第二场景。19如权利要求18所述的系统，其中所述动画在所述第二页集中于所述第一页上时提供所述三维对象的压缩的外观，或在所述第二页偏离所述第一页时提供所述三维对象的解压的外观。20如权利要求16所述的系统，其中绕所述折叠轴翻转所述第二页暴露在所述第二页的相对面上的第三页和大体上沿着所述折叠轴接合到所述第三页的第四页；其中分析所述捕捉的图像包括识别所述第三页上的第三标签和所述第四页上的第四标签；其中跟踪运动包括通过分别跟踪所述第三标签和所述第四标签来跟踪所述第三页和所述第四页的运动；其中所述虚拟书具有对应于所述书对象的所述第三页的第。
16、三虚拟页，所述虚拟书具有对应于所述书对象的所述第四页的第四虚拟页，其中所述书对象的所述第三页和所述第四页的运动分别控制所述虚拟书的所述第三虚拟页和所述第四虚拟页的运动；其中呈现包括分别在所述第三虚拟页和所述第四虚拟页上呈现第三场景和第四场景；以及其中在所述绕所述折叠轴翻转所述第二页期间，保持所述呈现的第三场景相对于所述第三虚拟页的定向。权利要求书CN104245067A1/14页6用于增强现实的书对象技术领域0001本发明涉及用于利用用于增强现实的书对象与交互程序介接的方法和系统。背景技术0002游戏技术的进展提供以丰富的图形和音频为特征的视频游戏。然而，寻求与视频游戏介接的新方法以改善玩家体。
17、验。0003本发明的实施方案正在这种情况下发生。发明内容0004本发明的实施方案提供用于利用用于增强现实的书对象与交互程序介接的方法和系统。应了解，本发明可以用多种方式来实施，例如，计算机可读介质上的过程、装置、系统、设备或方法。下文描述本发明的几个发明实施方案。0005在一个实施方案中，提供一种用于与交互程序介接的方法，其包括以下方法操作捕捉书对象的第一页和第二页的图像，大体上沿着沿书的书脊定义的折叠轴接合第一页和第二页；分析捕捉的图像以识别第一页上的第一标签和第二页上的第二标签；通过分别跟踪第一标签和第二标签来跟踪第一页和第二页的运动；通过在捕捉的图像中用虚拟书代替书对象来生成增强图像，虚。
18、拟书具有对应于书对象的第一页的第一虚拟页，虚拟书具有对应于书对象的第二页的第二虚拟页，其中书对象的第一页和第二页的运动分别控制虚拟书的第一虚拟页和第二虚拟页的运动；分别在第一虚拟页和第二虚拟页上呈现第一场景和第二场景，第一场景或第二场景定义动画；以及在显示器上演示增强图像。0006在一个实施方案中，第一页和第二页的运动包括绕折叠轴翻转第二页，在翻转第二页期间保持呈现的第二场景相对于第二页的定向。0007在一个实施方案中，动画定义接近第一虚拟页或第二虚拟页的至少一个三维对象的运动，在第一虚拟页或第二虚拟页上定义用来定义动画的第一场景或第二场景。0008在一个实施方案中，动画在第二页集中于第一页上。
19、时提供三维对象的压缩的外观，或在第二页偏离第一页时提供三维对象的解压的外观。0009在一个实施方案中，绕折叠轴翻转第二页暴露在第二页的相对面上的第三页和大体上沿着折叠轴接合到第三页的第四页；分析捕捉的图像包括识别第三页上的第三标签和第四页上的第四标签；跟踪运动包括通过分别跟踪第三标签和第四标签来跟踪第三页和第四页的运动；虚拟书具有对应于书对象的第三页的第三虚拟页，虚拟书具有对应于书对象的第四页的第四虚拟页，其中书对象的第三页和第四页的运动分别控制虚拟书的第三虚拟页和第四虚拟页的运动；呈现包括分别在第三虚拟页和第四虚拟页上呈现第三场景和第四场景；以及在绕折叠轴翻转第二页期间，保持呈现的第三场景相。
20、对于第三虚拟页的定向。0010在另一实施方案中，提供一种用于与交互程序介接的系统，所述系统包括用于捕捉书对象的第一页和第二页的图像的构件，大体上沿着沿书的书脊定义的折叠轴接合第一页和第二页；用于分析捕捉的图像以识别第一页上的第一标签和第二页上的第二标签的构说明书CN104245067A2/14页7件；用于通过分别跟踪第一标签和第二标签来跟踪第一页和第二页的运动的构件；用于通过在捕捉的图像中用虚拟书代替书对象来生成增强图像的构件，虚拟书具有对应于书对象的第一页的第一虚拟页，虚拟书具有对应于书对象的第二页的第二虚拟页，其中书对象的第一页和第二页的运动分别控制虚拟书的第一虚拟页和第二虚拟页的运动；用。
21、于分别在第一虚拟页和第二虚拟页上呈现第一场景和第二场景的构件，第一场景或第二场景定义动画；以及用于在显示器上演示增强图像的构件。0011在另一实施方案中，提供一种用于与交互程序介接的装置，所述装置包括图像捕捉设备，其用于捕捉书对象的第一页和第二页的图像，大体上沿着沿书的书脊定义的折叠轴接合第一页和第二页；分析器模块，其用于分析捕捉的图像以识别第一页上的第一标签和第二页上的第二标签；跟踪模块，其用于通过分别跟踪第一标签和第二标签来跟踪第一页和第二页的运动；增强图像生成器，其用于通过在捕捉的图像中用虚拟书代替书对象来生成增强图像，虚拟书具有对应于书对象的第一页的第一虚拟页，虚拟书具有对应于书对象的。
22、第二页的第二虚拟页，其中书对象的第一页和第二页的运动分别控制虚拟书的第一虚拟页和第二虚拟页的运动；呈现模块，其用于分别在第一虚拟页和第二虚拟页上呈现第一场景和第二场景，第一场景或第二场景定义动画；以及演示器，其用于在显示器上演示增强图像。0012在另一实施方案中，提供一种用于与交互程序介接的系统，所述系统包括书对象，其具有大体上沿着沿书对象的书脊定义的折叠轴接合的第一页和第二页；客户端设备，其用于捕捉书对象的第一页和第二页的图像；服务器，所述服务器包括分析器模块，其用于分析捕捉的图像以识别第一页上的第一标签和第二页上的第二标签；跟踪模块，其用于通过分别跟踪第一标签和第二标签来跟踪第一页和第二页。
23、的运动；增强图像生成器，其用于通过在捕捉的图像中用虚拟书代替书对象来生成增强图像，虚拟书具有对应于书对象的第一页的第一虚拟页，虚拟书具有对应于书对象的第二页的第二虚拟页，其中书对象的第一页和第二页的运动分别控制虚拟书的第一虚拟页和第二虚拟页的运动；呈现模块，其用于分别在第一虚拟页和第二虚拟页上呈现第一场景和第二场景，第一场景或第二场景定义动画；以及其中客户端设备包括演示器，其用于在显示器上演示增强图像。0013本发明的其他方面将从结合附图进行的以下详细描述中变得明显，详细描述通过实例说明本发明的原理。附图说明0014参照结合附图进行的以下描述可以最好地理解本发明，其中0015图1和图2图示根据。
24、本发明的实施方案用于增强现实AR的书对象10。0016图3示出根据本发明的实施方案在书对象由图像捕捉设备捕捉并处理时显示在显示器上的书对象。0017图4示出根据本发明的实施方案来自呈现在显示器上的一系列增强捕捉的图像的帧。0018图5示出根据本发明的实施方案在3D三维场景填充显示器的屏幕时已变成小插图的摄像机视图。0019图6图示根据本发明的实施方案在图像捕捉设备检测到书对象时由用户控制的说明书CN104245067A3/14页8书对象。0020图6A示出根据本发明的实施方案用户坐在地板上并且操纵书对象同时操作运动控制器以指向在显示器上呈现的书的各种可选部分。0021图6B示出根据本发明的实施。
25、方案用户18操纵运动控制器19以控制显示器上的魔杖34。0022图7示出根据本发明的实施方案在书对象打开到各种页面时的书对象。0023图8图示根据本发明的实施方案用于导航和选择菜单选项的书对象。0024图9图示根据本发明的实施方案用户使用书对象来控制屏幕上的人物的运动以抓住下落对象。0025图10图示根据本发明的实施方案用于构建定制故事的书故事AR对象集合。0026图11A图示根据本发明的实施方案在打开书对象以显示两个AR标签的展开时的书对象，这两个AR标签由视频游戏系统可视和识别。0027图11B、图11C、图11D和图11E图示根据本发明的实施方案的翻页机制的不同阶段。0028图12图示根。
26、据本发明的实施方案具有图形区域和文本区域的虚拟书，可以通过操纵魔杖以便指向区域之一来选择这些区域中的每个。0029图13示出根据本发明的实施方案显示在书上的剧院。0030图14图示根据本发明的实施方案呈现在AR标签上的虚拟门户。0031图15图示根据本发明的实施方案的另一实例，其中虚拟门户呈现在AR标签上。0032图16示出根据本发明的实施方案被移动以引起显示在显示器上的虚拟场景的对应运动的书对象。0033图17图示根据本发明的一个实施方案可以用于提供与视频游戏的交互性的硬件和用户接口。0034图18图示根据本发明的一个实施方案可以用于处理指令的额外硬件。0035图19为根据本发明的一个实施方。
27、案场景A至场景E的示例性图示，其中各自的用户A至用户E与游戏客户端交互，游戏客户端连接到通过互联网处理的服务器。0036图20图示信息服务提供商架构的实施方案。具体实施方式0037图1和图2图示根据本发明的实施方案用于增强现实AR的书对象10。一般说来，书对象具有封面、封底以及在封面与封底之间的页面，其中每一个含有唯一的AR标签。书对象由图像捕捉设备来捕捉，并且AR标签通过图像识别过程来识别。基于这个图像识别，确定书对象的位置和定向。此外，基于AR标签的识别，确定显示给图像捕捉设备的特定页面或封面。在图1中，以闭合配置显示书，其中封面是可见的。0038为了在整个本公开内容中便于理解，“页面”应。
28、指的是在一张纸的一面所定义的区域。因此，每张纸可以定义两个页面一个页面在纸张的正面，并且一个页面在与正面相对的纸张背面。翻转给定页面将暴露定义给定页面所在纸张的相对面所定义的下一页/上一页，并且也可能暴露与下一页/上一页相邻的页面。一般地说，书对象由沿着书的书脊111接合在一起的一系列纸张组成。第一纸张的正面定义书的封面页112；第一纸张的背面定说明书CN104245067A4/14页9义书的第一页113；第二纸张的正面定义第二页114；第二纸张的背面定义第三页；依此类推，书的最后一纸张的正面定义书的最后一页，并且最后一纸张的背面定义书的封底页。大体上沿着书的书脊定义折叠轴。当翻页时，大体上绕。
29、折叠轴翻页。例如，可以大体上绕折叠轴将第二页114翻到第一页上，同时暴露第三页和第四页。0039书对象可以由任何适合的材料构建，包括纸、纸板、塑料、金属或纸张可以被形成以包括本文所述的标签所用的任何其他材料。在一个实施方案中，书的纸张是大体上刚性的，以在书的翻页和其他操纵期间保持每一页的平坦表面。0040图2示出书打开到第一页113和第二页114。书的页面可以包括对应于页面的排序的数字，其也是页面的AR标签的部分。这允许用户更直观地知道目前显示书对象的哪个页面。然而，应注意，数字是任选的。0041书对象可以是许多不同类型的交互包括增强现实交互以及命令和控制类型交互的平台。在一些实施方案中，书对。
30、象的表面在屏幕上被计算机生成的图形所取代。在其他实施方案中，书对象的运动和定向可以用于为视频游戏或其他交互程序提供输入。例如，书对象可以用于使用显示在书的页面上的交互元素来讲述交互故事。0042图3示出根据本发明的实施方案在书对象10由图像捕捉设备14捕捉并处理时显示在显示器12上的书对象10。图像捕捉设备14捕捉书对象10的图像，所述图像被分析以识别和跟踪书的页面上的AR标签。在捕捉的图像中，场景可以显示在页面上。在所示实施方案中，书对象的AR标签已完全被出现在书上面的弹出式木偶剧院17取代。动画故事在弹出式木偶剧院内展开。用户未示出通过操纵运动控制器来控制魔杖16。将了解，在移动书对象时，。
31、弹出式木偶剧院与书对象同步移动，这是因为参照书对象10的暴露页的位置和定向来定义弹出式木偶剧院。在某种意义上，弹出式木偶剧院固定到书对象10的页面，以使得在书由用户操纵时，保持其相对于书对象10的页面的定向。例如，通过使书对象10旋转，用户可以用类似的方式使木偶剧院旋转；或通过使书对象10倾斜，用户可以用类似的方式使木偶剧院倾斜。通过使书对象10旋转或倾斜，用户暴露木偶剧院的部分用于查看。0043将了解，弹出式木偶剧院也可以显示响应于折叠书对象10的动画折叠机制，其类似于现实世界的弹出式书的折叠机制。即，弹出式剧院可能看似在打开书或翻转适当的页面时从大体上平坦的配置展开成其三维配置，并且在关闭。
32、书或将其底层页之一翻到下一页/上一页时重新折叠成其平坦的配置。可以通过分析相邻页面的捕捉的图像来确定相邻页面相对于彼此的角度绕折叠轴，并且可以利用这个角度来确定展开弹出式木偶剧院的动画状态。0044图4示出根据本发明的实施方案来自呈现在显示器12上的一系列增强捕捉的图像的帧。将了解，图像捕捉设备被配置成从由一系列捕捉的图像定义的游戏环境捕捉视频，以及伴随的音频数据。可以基于包括在书对象10的页面中的跟踪标签来增强捕捉的图像。在所示帧中，在用户18面前的地板上打开书对象10。已增强书对象10，以便使用显示在书的页面上的交互元素将书对象10转变成魔法书。交互元素可以包括任何各种对象，包括但不限于文。
33、字、图片、动画、三维对象等。在所示实施方案中，动画龙20源于书的页面并且逃出书。0045图5示出根据本发明的实施方案在3D三维场景23填充显示器12的屏幕时已说明书CN104245067A5/14页10变成小插图22的摄像机视图。这效果是使得屏幕视图看来从用户的位置缩小以显示3D场景，从而给予用户发现其在虚拟世界的感觉。在所示实施方案中，用户18使用魔杖对在房间爬来爬去的纸虫施放火魔法。0046图6图示根据本发明的实施方案在图像捕捉设备14检测到书对象10时由用户18控制的书对象10。利用书对象10的识别的AR标签的交互式应用显示在显示器12上。图像捕捉设备连接到计算设备15。计算设备15包括。
34、至少一个处理器和存储器，其被配置成执行交互式应用。计算设备15可以被配置成包括图像分析模块，其用于分析图像捕捉设备14的捕捉的图像以识别和跟踪书对象10的页面上的标签。另外，计算设备可以包括呈现模块，其通过在捕捉的图像中呈现书的页面上的场景来增强捕捉的图像。将了解，计算设备15可以是控制台游戏系统、通用或专用计算机、机顶盒、个人计算机、膝上型计算机或任何其他种类的计算设备，其可以被配置成接收捕捉的图像数据并且增强捕捉的图像数据如本文所述以用于呈现在显示器上。控制台游戏系统的一个实例为3控制台游戏系统。另外，计算设备可以与运动控制器19通信。运动控制器的一个实例为MOVETM运动控制器。0047。
35、图6A示出根据本发明的实施方案用户18坐在地板上并且操纵书对象10，同时操作运动控制器19以指向在显示器12上呈现的书的各种可选部分。在一个实施方案中，用户可以将运动控制器19指向书对象10的部分，同时查看显示器12上的增强的书以确定存在于书的页面上的虚拟元素。用户可以指向可选部分以指示在这个部分被这样配置时的选择。0048图6B示出根据本发明的实施方案用户18操纵运动控制器19以控制显示器上的魔杖34。也在显示器上显示用户的手18A。在所示实施方案中，书对象被具有显示在上面的文本80的呈现的书所取代。除了呈现的书之外，文本80也可以显示在屏幕上以便使用户能够更容易地阅读文本。另外，在魔杖指向。
36、文本80时，文本80可以是可选的。可以通过扬声器播放文本的音频，同步将书对象打开到对应于显示在显示器上的那些文本的页面。0049图7示出根据本发明的实施方案在书对象打开到各种页面时的书对象。书对象具有封面页24，其具有在上面定义的唯一的AR标签。通过翻转封面页24，打开书以暴露页面1参考号251和相邻的页面2参考号252。如图所示，与页面1和2相关联的AR标签分别具有包含在上面的数字“1”和“2”。这使用户能够很容易分辨书对象的哪个页面是可见的，并且可以由交互程序用来实现交互性例如，特定虚拟页与书对象的页面相关联；指示用户将书打开到特定页号；等。通过将页面2翻到页面1上，暴露相邻的页面3和4分。
37、别参考号253和254以用于查看和图像捕捉。页面3和4中的每个具有在上面定义的唯一的AR标签，以及对应于其页号的各自的数字。可以翻转书的页面直到到达书对象的封底页26，其也具有在上面定义的唯一的AR标签。将了解，书对象10的每个页面具有在上面定义的唯一的AR标签，且因此没有两个页面共享相同的AR标签。因此，每个页面都单独可识别，并且可以被配置成对应于为这个页面所定义的特定内容。0050尽管在整个本公开内容中参考增强现实AR标签，但是将了解此类标签可以用于非增强现实应用。例如，可以识别和跟踪标签以定义虚拟对象的运动。虚拟对象可以采取书或某一其他对象的形式，其运动对应于通过跟踪书对象的页面上的AR。
38、标签来确定的现实世界的书对象的那些运动。例如，运动可以包括平移运动以及折叠式运动或翻页式运说明书CN104245067A106/14页11动，并且可以适用于任何适合的虚拟对象。0051在一个实施方案中，提供具有AR标签的书对象控制器，AR标签产生交互式AR对象。具有AR标签作为页面的书可以用作显示在AR标签上的交互式AR对象的控制器。跟踪书的运动和定向，并且在视频游戏或交互式应用的上下文中相应地移动和定向对应的AR对象，以使得书为AR对象的控制器。书的定向或运动可以指示选择或触发游戏中的机制，例如，游戏或故事的情节发展。0052图8图示根据本发明的实施方案正用于导航和选择菜单选项的书对象。如根。
39、据一个实施方案所示，拿起书10并且将书的封面或封底定向成面对摄像机可以触发菜单的显示以启用选择模式，由此用户可以从各种选项中选择。在一个实施方案中，触发菜单的显示也可能暂停当前的游戏如有发生。在各种实施方案中，选择模式可以使用户能够从故事的各个章节、情节的部分、游戏的级别、级别的部分等中选择。选择模式可以提供对其他特征的访问，例如，调整游戏参数、查看地图、查看与用户的游戏相关联的项目或属性等。在所示实施方案中，选择模式包括显示分别代表故事的章节1、2和3的图标255、256和257。书对象10用作运动控制器以控制屏幕选择器258的运动。在一个实施方案中，屏幕选择器258被配置成在与移动书对象大。
40、体上相同的方向上移动例如，将书移动到用户的左侧会将选择器258移动到屏幕左侧等。在一个实施方案中，当书10被定位成选择器258大体上在图标之一上面时，例如通过将选择器258保持在图标上面达预定的时间量来选择对应的章节。0053图9图示根据本发明的实施方案用户18使用书对象10来控制屏幕上的人物26的运动以抓住下落对象28。书对象10在各个方向上的运动被映射到人物26的对应的运动。在一个实施方案中，关闭书会使人物26彼此更靠近地挤压。在人物在屏幕上被呈现/增强时，可以参照书的页面来定义人物。因此，当折叠/关闭书对象10时，在人物26相对于其各自页面的定向被保持时朝向彼此倾斜。尽管显示人物，但是将。
41、了解书对象10可以在交互式应用中同样控制任何对象的运动。0054在另一实施方案中，参照图10，提供用于构建定制故事的书故事AR对象集合。AR标签的书可以用于基于书的位置和定向使用原始故事的各种AR对象来讲述原始故事，这些AR对象显示在AR标签上面。AR对象可以由用户收集或购买并且由用户用于生成自己定制的故事。可以用可能不同于在原始故事中使用的各种方式链接或利用AR对象。可收集的AR对象的实例可以包括人物、建筑物、车辆、自然对象等。类似的概念可以适用于视频游戏，从而使用户能够建立自己的视频游戏或视频游戏级别。0055预期各种书对象翻页机制。例如，参照图11A，当打开书时，两个AR标签的展开由视频。
42、游戏系统可视和识别。当打开书时，虚拟场景或显示291在打开的书上弹出。当翻页时，对应于特定两页展开的现有虚拟场景291被关闭或向下折叠在自身上，并且对应于下一组页面的下一个虚拟场景292弹出。通过关闭封底来关闭书可以指示章节的结束，因此翻转到书的封面可以开始下一个章节或触发用户用以选择下一个章节的选项。0056图11B、图11C、图11D和图11E图示根据本发明的实施方案的翻页机制的不同阶段。在图11B，书对象在大体上平的定向上打开到相邻的页面293和294。虚拟人物295定义在页面293上，并且虚拟人物296定义在页面294上。在图11C，页面294启动翻转，以暴露页面297和相邻的页面29。
43、8。在页面294正在被翻转时，在页面297上，树说明书CN104245067A117/14页122992已弹出，并且在页面298上，人物2991被示出为正在弹出或从页面298解压。角由页面297和298的相对定向来定义，并且在图11C中示出的阶段显示为锐角。在图11D，翻页继续以使得角现在大体上为直角。在这个阶段，人物2991已经从页面298完全弹出。保持树2992相对于页面297的定向以使得树看来相对于人物2991是横向的。类似地，保持人物296相对于页面294的定向以使得人物296看来相对于人物295是横向的。在图11E，将页面294大体上翻转到页面293上，并且人物295和296看来分别。
44、压缩到页面293和294中。0057特定虚拟场景也可以包括与之相关联的特定音频。因此，除了显示特定虚拟场景之外，播放和呈现相关联的音频也可以与将书的页面或封面翻转到书对象中的这个特定虚拟世界的对应的页面同步。例如，继续参照图11B至图11E，在图11B，只演示呈现在页面293和294上的场景的音频。然而，在图11C至图11E，当将页面294翻转到暴露页297和298时，呈现在页面297和298上的场景的音频与呈现在页面293和294上的场景的音频以增加的比例混合。当翻页完成，并且只暴露页面297和298时，则只演示呈现在那些页面上的场景的音频。以这种方式，在不同的页面上各种场景的音频的演示随着。
45、翻页而转变，其中音频演示与给定场景被翻页机制暴露的程度成比例。0058在另一实施方案中，书对象提供AR内容的交互式选择以及与AR内容的接口。在书的AR标签上面显示的AR内容的部分可以选择以引起动作发生。例如，显示的AR内容可以包括具有各个部分的虚构书的页面。在部分之一上定位选择工具可以触发动作发生。选择工具可以由运动控制器控制，例如，MOVETM控制器。图12图示根据本发明的实施方案具有图形区域30和文本区域32的虚拟书31，可以通过操纵魔杖34以便指向区域之一来选择这些区域中的每个。在所示实施方案中，将了解，书对象10已在屏幕上被虚拟书31所取代，虚拟书31的运动和翻页由书对象10的运动和翻。
46、页控制。0059在各种实施方案中，书对象可以提供AR标签的三维运动以允许观察到不同的空间。例如，图13示出根据本发明的实施方案显示在书上的剧院。通过操纵书对象，用户可以操纵剧院36，例如，在各个方向上旋转、翻转或平移剧院。用户能够从不同角度看“到”剧院。0060另外，虚拟门户可以呈现在AR标签上。AR标签由用户操纵以使用户能够看到门户。例如，如图14中所示，虚拟门户可以是AR标签上的孔38并且为了看到孔，用户必须将AR标签定向成面对摄像机。门户可以被定义为大体上与AR标签的表面重合，或可以被定义在与AR标签分离的位置。需要AR标签移动到相对于摄像机的特定定向以便观察到门户。在另一实施方案中，书。
47、的运动的映射应使得用户将书的外封面显示给摄像机以便看到孔。0061图15图示另一实例，其中虚拟门户呈现在AR标签上。如图所示，门户40定义在AR标签上，并且使用户能够观察到虚拟空间42，虚拟空间42不同于存在门户40的虚拟空间44。0062在另一实施方案中，可以提供AR空间与游戏空间之间的视角和上下文切换。用户可以利用AR标签在AR空间内交互。AR空间显示在屏幕上。通过看来从AR空间缩小以显示游戏空间，游戏可以从AR空间转变成游戏空间。AR标签仍存在于真实空间中并且可以用作提高跟踪对象的保真度的锚，例如，用户或运动控制器。如前面所讨论，这一点通过参照图4和图5来说明。说明书CN10424506。
48、7A128/14页130063在另一实施方案中，可能有现实世界的物理转移到AR环境。AR标签用于投射出包括虚拟对象的虚拟场景。当AR标签由用户操纵时，虚拟场景的空间框架可以用大体上直接的方式移动。然而，虚拟对象可以表现出相对于空间框架的惯性，从而看来滞后于空间框架的运动。可以基于AR标签的运动加速和减速虚拟对象。基于AR标签的运动，对象可以返回到其相对于AR标签的原始位置，或可以移动到相对于AR标签的新位置。0064图16示出根据本发明的实施方案被移动以引起显示在显示器12上的虚拟场景的对应运动的书对象10。地面46和刚性连接到地面46的对象例如，建筑物47可以与书对象10的运动一致地移动。具。
49、有连接到地面的基底的柔性对象例如，树48可能看似摇摆，而其基底保持连接到地面46，没有实质性偏离地面46的运动。然而，游离对象例如，鸟50可能具有落后于地面46的运动的运动。从这个意义上来说，书对象10的运动可能被认为移动定义对象所在的空间参照系。对象可能具有相对于参照系的运动的不同程度的灵活性，但可能最终到达其相对于参照系的原始位置。0065图17图示根据本发明的一个实施方案可以用于提供与视频游戏的交互性的硬件和用户接口。图17示意地图示PLAYSTATION娱乐设备的总系统架构，即可以是兼容的用于实现根据本发明的实施方案的使控制设备与在基础计算设备处执行的计算机程序介接的控制台。提供系统单元700，连同可连接到系统单元700的各种外围设备。系统单元700包括单元处理器728；动态随机存取存储器XDRAM单元726；具有专用视频随机存取存储器VRAM单元732的现实合成器图形单元730；以及I/O桥734。系统单元700也包括用于从磁盘740A读取的BLUDISK光盘读取器740和可拆卸的插槽式硬盘驱动器HDD736，其通过I/O桥734可访问。任选地，系统单元700也包括存储卡读卡器738，用于读取压缩闪存卡、MEMORY存储卡等，其类似地通过I/O桥734可访问。0066I/O桥734也连接到六个通用串行总线USB20端口724；吉比特以太网端口722；IEEE80211。