《一种手写输入的显示方法、装置及系统.pdf》由会员分享，可在线阅读，更多相关《一种手写输入的显示方法、装置及系统.pdf（24页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102426509 A (43)申请公布日 2012.04.25 C N 1 0 2 4 2 6 5 0 9 A *CN102426509A* (21)申请号 201110351880.3 (22)申请日 2011.11.08 G06F 3/048(2006.01) (71)申请人北京新岸线网络技术有限公司 地址 100084 北京市海淀区中关村东路1号 院清华科技园8号楼科技大厦A座16 层 (72)发明人程懿远 王嘉 鲍东山 (54) 发明名称 一种手写输入的显示方法、装置及系统 (57) 摘要 本发明提供了一种手写输入的显示方法、装 置及系统，该方法包括：接收用。
2、户输入轨迹的三 维坐标；确定用户输入轨迹的拟合平面；从所述 拟合平面上选取一条平行于以用户为参考系的三 维世界坐标系中的水平面的直线作为二维坐标系 中的X轴；从所述拟合平面上选取一条与所述作 为二维坐标系中的X轴的直线垂直的直线作为所 述二维坐标系中的Y轴；将用户输入轨迹的三维 坐标转换至所述二维坐标系中，对其显示输出。该 方法能够根据用户输入轨迹的三维坐标，有效输 出用户预期输出的轨迹，不会造成输入内容形变， 用户体验效果更佳。 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 3 页 说明书 12 页 附图 8 页 CN 102426517 A。
3、 1/3页 2 1.一种手写输入的显示方法，其特征在于，包括： 接收用户输入轨迹的三维坐标； 确定用户输入轨迹的拟合平面； 从所述拟合平面上选取一条平行于以用户为参考系的三维世界坐标系中的水平面的 直线作为二维坐标系中的X轴； 从所述拟合平面上选取一条与所述作为二维坐标系中的X轴的直线垂直的直线作为 所述二维坐标系中的Y轴； 将用户输入轨迹的三维坐标转换至所述二维坐标系中，对其显示输出。 2.如权利要求1所述的方法，其特征在于： 采用模式识别的方式确定以用户为参考系的三维世界坐标系。 3.如权利要求1所述的方法，其特征在于： 通过识别预先标记的参考点，确定以用户为参考系的三维世界坐标系。 4.。
4、如权利要求1-3中任何一项所述的方法，其特征在于： 计算所述拟合平面的法线向量与以用户为参考系的三维世界坐标系中的水平面的法 线向量之积； 从所述拟合平面上选取方向向量为所述法线向量之积的直线，得到所述拟合平面上平 行于以用户为参考系的三维世界坐标系中的水平面的直线。 5.如权利要求1-4中任何一项所述的方法，其特征在于： 当所述拟合平面与以用户为参考系的三维世界坐标系中的水平面重合时，从所述拟合 平面上选取一条与以用户为参考系的三维世界坐标系中的水平方向一致的直线作为二维 坐标系中的X轴。 6.如权利要求1-5中任何一项所述的方法，其特征在于： 计算以所述作为二维坐标系中的X轴的直线为法线的。
5、平面与所述拟合平面的交线，得 到所述拟合平面上与所述作为二维坐标系中的X轴的直线垂直的直线。 7.如权利要求1-6中任何一项所述的方法，其特征在于： 选取二维坐标系中X轴和Y轴，令转换至所述二维坐标系中的用户输入轨迹的X坐标 和Y坐标均大于或者等于0。 8.如权利要求7所述的方法，其特征在于： 将所述接收到的用户输入轨迹的三维坐标转换为以用户为参考系的三维世界坐标系 中的坐标； 选取二维坐标系中的X轴为通过所述用户输入轨迹在以用户为参考系的三维世界坐 标系中的Y坐标最小的点的直线，以使得转换至所述二维坐标系中的用户输入轨迹的X坐 标均大于或者等于0。 9.如权利要求7所述的方法，其特征在于： 。
6、将所述接收到的用户输入轨迹的三维坐标转换为以用户为参考系的三维世界坐标系 中的坐标； 选取二维坐标系中的Y轴为通过所述用户输入轨迹在以用户为参考系的三维世界坐 标系中的X坐标最小的点的直线，以使得转换至所述二维坐标系中的用户输入轨迹的Y坐 标均大于或者等于0。 权 利 要 求 书CN 102426509 A CN 102426517 A 2/3页 3 10.如权利要求1所述的方法，其特征在于： 在显示输出之前，还对转换至所述二维坐标系中的用户输入轨迹进行缩放和/或平 移。 11.一种手写输入的显示方法，其特征在于，包括： 测算用户输入轨迹的三维坐标； 采用权利要求1-10中任何一项所述的方法，。
7、将用户输入轨迹从三维坐标系转换至二 维坐标系中，对其显示输出。 12.如权利要求11所述的方法，其特征在于： 采用立体视觉识别方式或者雷达感测方式或者红外感测方式测算用户输入轨迹的三 维坐标。 13.一种手写输入的显示装置，其特征在于，包括： 接收模块，用于接收用户输入轨迹的三维坐标； 第一处理模块，与所述接收模块相连，用于根据用户输入轨迹的三维坐标确定用户输 入轨迹的拟合平面；从所述拟合平面上选取一条平行于以用户为参考系的三维世界坐标 系中的水平面的直线作为二维坐标系中的X轴；从所述拟合平面上选取一条与所述作为二 维坐标系中的X轴的直线垂直的直线作为所述二维坐标系中的Y轴，从而建立起二维坐标。
8、 系； 第二处理模块，与所述接收模块和所述第一处理模块均相连，用于将用户输入轨迹的 三维坐标转换至所述二维坐标系中； 输出模块，与所述第二处理模块相连，用于根据用户输入轨迹的二维坐标进行显示输 出。 14.如权利要求13所述的装置，其特征在于： 所述第一处理模块，用于采用模式识别的方式确定以用户为参考系的三维世界坐标 系。 15.如权利要求13所述的装置，其特征在于： 所述第一处理模块，用于通过识别预先标记的参考点，确定以用户为参考系的三维世 界坐标系。 16.如权利要求13-15中任何一项所述的装置，其特征在于： 所述第一处理模块，用于通过计算所述拟合平面的法线向量与以用户为参考系的三维 世。
9、界坐标系中的水平面的法线向量之积，从所述拟合平面上选取方向向量为所述法线向量 之积的直线，得到所述拟合平面上平行于以用户为参考系的三维世界坐标系中的水平面的 直线。 17.如权利要求13-16中任何一项所述的装置，其特征在于： 所述第一处理模块，在判断出用户输入轨迹的拟合平面与以用户为参考系的三维世界 坐标系中的水平面重合时，从用户输入轨迹的拟合平面上选取一条与以用户为参考系的三 维世界坐标系中的水平方向一致的直线作为二维坐标系中的X轴。 18.如权利要求13-17中任何一项所述的装置，其特征在于： 所述第一处理模块，用于通过计算以所述作为二维坐标系中的X轴的直线为法线的平 面与所述拟合平面的。
10、交线，得到所述拟合平面上与所述作为二维坐标系中的X轴的直线垂 权 利 要 求 书CN 102426509 A CN 102426517 A 3/3页 4 直的直线。 19.如权利要求13-18中任何一项所述的装置，其特征在于： 所述第一处理模块，用于选取二维坐标系中X轴和Y轴，令转换至所述二维坐标系中的 用户输入轨迹的X坐标和Y坐标均大于或者等于0。 20.如权利要求19所述的装置，其特征在于： 所述第一处理模块，用于将所述接收到的用户输入轨迹的三维坐标转换为以用户为参 考系的三维世界坐标系中的坐标，选取二维坐标系中的X轴为通过所述用户输入轨迹在以 用户为参考系的三维世界坐标系中的Y坐标最小的。
11、点的直线，以使得转换至所述二维坐标 系中的用户输入轨迹的X坐标均大于或者等于0。 21.如权利要求19所述的装置，其特征在于： 所述第一处理模块，用于将所述接收到的用户输入轨迹的三维坐标转换为以用户为参 考系的三维世界坐标系中的坐标；选取二维坐标系中的Y轴为通过所述用户输入轨迹在以 用户为参考系的三维世界坐标系中的X坐标最小的点的直线，以使得转换至所述二维坐标 系中的用户输入轨迹的Y坐标均大于或者等于0。 22.如权利要求13所述的装置，其特征在于： 所述输出模块，用于先对用户输入轨迹的二维坐标进行缩放和/或平移，再进行显示 输出。 23.一种手写输入的显示系统，其特征在于，包括： 测算模块，。
12、用于测算用户输入轨迹的三维坐标； 权利要求13-22中任何一项所述的手写输入的显示装置，用于将用户输入轨迹从三维 坐标系转换至所述二维坐标系中，对其显示输出。 24.如权利要求23所述的系统，其特征在于： 所述测算模块，为立体视觉识别装置或者雷达感测装置或者红外感测装置。 权 利 要 求 书CN 102426509 A CN 102426517 A 1/12页 5 一种手写输入的显示方法、 装置及系统 0001 技术领域 0002 本发明属于计算机视觉、图像处理和模式识别技术领域。 0003 背景技术 0004 键盘、鼠标、手写板、触摸板和触摸屏等常见的计算机输入设备大多已成为计算机 的标准外。
13、设或常用外设，目前人们在应用计算机的同时，也不得不同时接受这些设备各自 的不足。总结这些常用的计算机的输入装置的特性，它们有如下一些不足之处。 0005 键盘：它常需要和鼠标结合使用，通过键盘很难快速将光标移到屏幕上的任意位 置，也很难用键盘进行绘图等连续性操作。键盘源于西方，有利于拼音文字字母和数字符号 的输入，和有限几个的功能键结合可实现一些复合操作。对于输入汉字等象形文字，从根本 上存在较大障碍。现存的多种通过键盘输入汉字的输入法，一方面因多键操作影响输入效 率，另一方面需要死记部分输入规则。对于汉字等象形文字的输入，键盘不能直观方便。键 盘还要经常保持清洁、维护。 0006 鼠标：鼠标。
14、的移动是线形的不间断的移动。如果要将屏幕上鼠标从一点移动到目 标处，需要使用者的手、眼在此期间始终与鼠标保持接触(有时还要左、右键或滚轮同时参 与)，不仅占用了使用者较多的时间，同时需要使用者保持对鼠标的注意力，限制了手的运 动自由和使用方式。鼠标还要经常保持清洁、维护。 0007 触摸板：现有触摸板的功能是代替传统的滚动式鼠标、点状或柱状鼠标起作用的， 它也有前述传统鼠标的移动低效率、限制使用者手部运动自由、较多耗费使用者注意力的 等缺陷。另外，它只采集了使用者手部的极少信息，不能解读使用者手部的多种动作，且阻 挡操作者视线。只能单点识别，不能多点识别。 0008 手写板：不具备键盘在输入规。
15、定符号、字母、数字时的快捷和直观性。手写板也只 能接受单点信息，一次输入的是平面上的单个点或单线条，而不反映同时触及它上面的不 连续的多个位置的信息。所接收或反映的使用者的信息量少，使用者手部的大量信息没有 得到利用， 人机交流水平受到限制。同时还有文字输入识别率的问题。 0009 触摸屏：使用者在触摸屏上用手指点时，其手会遮挡触摸屏，阻挡操作者视线。在 触摸屏上指点，使用者必须首先抬起上臂，长时间抬动手臂也会导致疲劳。该设备只能摆放 在少数公共场所作为辅助服务设备使用，它也只能接受单点信息。 0010 有些计算机输入设备厂家已经注意到此类问题，相继出品了以上不同种类输入设 备的功能组合的产品。
16、，如：带手写板的键盘等，但此类诸多产品仍难从根本上改变上述产品 各自的缺陷。 0011 现有技术往往受时空的限制，并且长时间手持装备、触摸会导致用户手指不适；用 鼠标等方式，书写的轨迹信息往往又不准确。 说 明 书CN 102426509 A CN 102426517 A 2/12页 6 0012 发明内容 0013 本发明要解决的技术问题是，提供一种手写输入的显示方法、装置及系统，用户输 入时只需在空中划出输入内容的轨迹，输入不受介质和空间限制，能够很好地将用户预期 输入的内容显示出来，用户体验度高。 0014 为了解决上述技术问题，本发明提供了一种手写输入的显示方法，包括： 接收用户输入轨。
17、迹的三维坐标； 确定用户输入轨迹的拟合平面； 从所述拟合平面上选取一条平行于以用户为参考系的三维世界坐标系中的水平面的 直线作为二维坐标系中的X轴； 从所述拟合平面上选取一条与所述作为二维坐标系中的X轴的直线垂直的直线作为 所述二维坐标系中的Y轴； 将用户输入轨迹的三维坐标转换至所述二维坐标系中，对其显示输出。 0015 进一步地，上述方法还可具有以下特点： 采用模式识别的方式确定以用户为参考系的三维世界坐标系。 0016 进一步地，上述方法还可具有以下特点： 通过识别预先标记的参考点，确定以用户为参考系的三维世界坐标系。 0017 进一步地，上述方法还可具有以下特点： 计算所述拟合平面的法线。
18、向量与以用户为参考系的三维世界坐标系中的水平面的法 线向量之积； 从所述拟合平面上选取方向向量为所述法线向量之积的直线，得到所述拟合平面上平 行于以用户为参考系的三维世界坐标系中的水平面的直线。 0018 进一步地，上述方法还可具有以下特点： 当所述拟合平面与以用户为参考系的三维世界坐标系中的水平面重合时，从所述拟合 平面上选取一条与以用户为参考系的三维世界坐标系中的水平方向一致的直线作为二维 坐标系中的X轴。 0019 进一步地，上述方法还可具有以下特点： 计算以所述作为二维坐标系中的X轴的直线为法线的平面与所述拟合平面的交线，得 到所述拟合平面上与所述作为二维坐标系中的X轴的直线垂直的直线。
19、。 0020 进一步地，上述方法还可具有以下特点： 选取二维坐标系中X轴和Y轴，令转换至所述二维坐标系中的用户输入轨迹的X坐标 和Y坐标均大于或者等于0。 0021 进一步地，上述方法还可具有以下特点： 将所述接收到的用户输入轨迹的三维坐标转换为以用户为参考系的三维世界坐标系 中的坐标； 选取二维坐标系中的X轴为通过所述用户输入轨迹在以用户为参考系的三维世界坐 标系中的Y坐标最小的点的直线，以使得转换至所述二维坐标系中的用户输入轨迹的X坐 标均大于或者等于0。 说 明 书CN 102426509 A CN 102426517 A 3/12页 7 0022 进一步地，上述方法还可具有以下特点： 。
20、将所述接收到的用户输入轨迹的三维坐标转换为以用户为参考系的三维世界坐标系 中的坐标； 选取二维坐标系中的Y轴为通过所述用户输入轨迹在以用户为参考系的三维世界坐 标系中的X坐标最小的点的直线，以使得转换至所述二维坐标系中的用户输入轨迹的Y坐 标均大于或者等于0。 0023 进一步地，上述方法还可具有以下特点： 在显示输出之前，还对转换至所述二维坐标系中的用户输入轨迹进行缩放和/或平 移。 0024 为了解决上述技术问题，本发明还提供了一种手写输入的显示方法，包括： 测算用户输入轨迹的三维坐标； 采用权利要求1-10中任何一项所述的方法，将用户输入轨迹从三维坐标系转换至二 维坐标系中，对其显示输出。
21、。 0025 进一步地，上述方法还可具有以下特点： 采用立体视觉识别方式或者雷达感测方式或者红外感测方式测算用户输入轨迹的三 维坐标。 0026 为了解决上述技术问题，本发明还提供了一种手写输入的显示装置，包括： 接收模块，用于接收用户输入轨迹的三维坐标； 第一处理模块，与所述接收模块相连，用于根据用户输入轨迹的三维坐标确定用户输 入轨迹的拟合平面；从所述拟合平面上选取一条平行于以用户为参考系的三维世界坐标 系中的水平面的直线作为二维坐标系中的X轴；从所述拟合平面上选取一条与所述作为二 维坐标系中的X轴的直线垂直的直线作为所述二维坐标系中的Y轴，从而建立起二维坐标 系； 第二处理模块，与所述接。
22、收模块和所述第一处理模块均相连，用于将用户输入轨迹的 三维坐标转换至所述二维坐标系中； 输出模块，与所述第二处理模块相连，用于根据用户输入轨迹的二维坐标进行显示输 出。 0027 进一步地，上述装置还可具有以下特点： 所述第一处理模块，用于采用模式识别的方式确定以用户为参考系的三维世界坐标 系。 0028 进一步地，上述装置还可具有以下特点： 所述第一处理模块，用于通过识别预先标记的参考点，确定以用户为参考系的三维世 界坐标系。 0029 进一步地，上述装置还可具有以下特点： 所述第一处理模块，用于通过计算所述拟合平面的法线向量与以用户为参考系的三维 世界坐标系中的水平面的法线向量之积，从所述。
23、拟合平面上选取方向向量为所述法线向量 之积的直线，得到所述拟合平面上平行于以用户为参考系的三维世界坐标系中的水平面的 说 明 书CN 102426509 A CN 102426517 A 4/12页 8 直线。 0030 进一步地，上述装置还可具有以下特点： 所述第一处理模块，在判断出用户输入轨迹的拟合平面与以用户为参考系的三维世界 坐标系中的水平面重合时，从用户输入轨迹的拟合平面上选取一条与以用户为参考系的三 维世界坐标系中的水平方向一致的直线作为二维坐标系中的X轴。 0031 进一步地，上述装置还可具有以下特点： 所述第一处理模块，用于通过计算以所述作为二维坐标系中的X轴的直线为法线的平 。
24、面与所述拟合平面的交线，得到所述拟合平面上与所述作为二维坐标系中的X轴的直线垂 直的直线。 0032 进一步地，上述装置还可具有以下特点： 所述第一处理模块，用于选取二维坐标系中X轴和Y轴，令转换至所述二维坐标系中的 用户输入轨迹的X坐标和Y坐标均大于或者等于0。 0033 进一步地，上述装置还可具有以下特点： 所述第一处理模块，用于将所述接收到的用户输入轨迹的三维坐标转换为以用户为参 考系的三维世界坐标系中的坐标，选取二维坐标系中的X轴为通过所述用户输入轨迹在以 用户为参考系的三维世界坐标系中的Y坐标最小的点的直线，以使得转换至所述二维坐标 系中的用户输入轨迹的X坐标均大于或者等于0。 00。
25、34 进一步地，上述装置还可具有以下特点： 所述第一处理模块，用于将所述接收到的用户输入轨迹的三维坐标转换为以用户为参 考系的三维世界坐标系中的坐标；选取二维坐标系中的Y轴为通过所述用户输入轨迹在以 用户为参考系的三维世界坐标系中的X坐标最小的点的直线，以使得转换至所述二维坐标 系中的用户输入轨迹的Y坐标均大于或者等于0。 0035 进一步地，上述装置还可具有以下特点： 所述输出模块，用于先对用户输入轨迹的二维坐标进行缩放和/或平移，再进行显示 输出。 0036 为了解决上述技术问题，本发明还提供了一种手写输入的显示系统，包括： 测算模块，用于测算用户输入轨迹的三维坐标； 权利要求13-22中。
26、任何一项所述的手写输入的显示装置，用于将用户输入轨迹从三维 坐标系转换至所述二维坐标系中，对其显示输出。 0037 进一步地，上述系统还可具有以下特点： 所述测算模块，为立体视觉识别装置或者雷达感测装置或者红外感测装置。 0038 本发明提供的一种手写输入的显示方法、装置及系统，具有如下优点： 1、不需要任何介质，不受空间的限制。传统的触摸屏方式必须接触相应的介质以便计 算机获得点的信息，并且接触的范围仅限定于触摸屏大小。本发明手写输入的显示方法只 需在测算（感测或者图像采集）的识别范围之内即可，不需要接触任何介质，其范围也很大。 0039 2、本发明提供的采用立体视觉测算空间点的方案，只要摄。
27、像头能够拍摄到目标物 体即可，不受摄像头位置的限制，即使空间点不是正对于摄像头，也可保证映射到用户终端 的空间点之间的关系不会产生畸变。且，成本较低。只需2个或者2个以上的普通摄像头 说 明 书CN 102426509 A CN 102426517 A 5/12页 9 即可形成立体视觉信息。 0040 说明书附图 图1是本发明实施例一种识别用户输入轨迹的三维坐标的方法流程图； 图2是平行双目视觉距离传感器模型示意图； 图3是平行双目视觉距离传感器的测距原理示意图； 图4(a)是三维坐标系与二维坐标系的映射关系示意图一； 图4(b)是用户输入轨迹点在图4(a)所示的映射关系下的二维坐标示意图； 。
28、图4(c)是三维坐标系与二维坐标系的映射关系示意图二； 图4(d)是用户输入轨迹点在图4(c)所示的映射关系下的二维坐标示意图； 图5是本发明实施例一种手写输入的显示方法流程图； 图6(a)是本发明实施例三维坐标系与二维坐标系的映射关系示意图； 图6(b)是用户输入轨迹点在图6(a)所示的映射关系下的二维坐标示意图； 图7是摄像头的三维坐标系与显示装置的三维坐标系的对应关系示意图； 图8是本发明实施例一种手写输入的显示装置示意图； 图9是本发明实施例一种手写输入的显示系统示意图。 0041 具体实施方式 0042 以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够 实践它们。
29、。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施 例仅代表可能的变化。除非明确要求，否则单独的组件和功能是可选的，并且操作的顺序可 以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本 发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同 物。在本文中，本发明的这些实施方案可以被单独地或总地用术语“发明”来表示，这仅仅 是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为 任何单个发明或发明构思。 0043 本发明提供了一种手写输入的显示方法，通过测算用户的输入轨迹的三维坐标， 据以显示输出用。
30、户输入轨迹。用户书写时无需介质，只要在测算的识别范围内简单挥动手 指划出待输入的内容，就能够将用户预期的输入内容显示出来，具有很好的用户体验效果。 0044 用户输入轨迹的三维坐标，是指用户输入轨迹在三维世界坐标系中的空间点坐 标，三维空间坐标系包括彼此垂直的X轴、Y轴、Z轴，分别代表水平方向、垂直方向和景深方 向，其中：三轴交点为原点，记为O点；X轴和Z轴构成的平面，记为XOZ平面；X轴和Y轴构 成的平面，记为XOY平面；Y轴和Z轴构成的平面，记为YOZ平面。 0045 为了进一步详述本发明实现方式，下面以如下具体实施例为例进行说明。 0046 第一实施例 本发明实施例提供了一种采用立体视觉。
31、识别方法测算用户输入轨迹的三维坐标的方 法，如图1所示，包括步骤： 说 明 书CN 102426509 A CN 102426517 A 6/12页 10 步骤S101：采集目标图像； 步骤S102：提取目标图像的特征点； 步骤S103：测算所述特征点在当前图像中的三维坐标； 步骤S104：集合各帧图像，生成特征点的轨迹信息。 0047 为了方便用户的操作，采用两个或者多个摄像头采集目标图像，以得到景深信息， 用户所挥动的轨迹平面无须垂直于摄像头方向，以可正确识别出用户期望的输入内容。 0048 对采集到的图像经过去除干扰信息、背景信息后，提取特征点： 从图像中提取特征点，在本实施例中，目标的。
32、特征点为该目标的重心；由于只要目标物 体形状不产生较大的变化，物体的重心位置是一定的，所以这里选择某时刻目标物体的重 心位置作为轨迹中的一点。重心的计算如下所示： ， (1) 其中： (2) x,y为图像中的坐标，f(x,y)为点(x,y)处图像的颜色值。 0049 下面以采用两个摄像头采集目标图像为例，说明确定用户输入轨迹的三维坐标的 方法。 0050 如图2所示，两个焦距为f的摄像头平行放置，光轴之间的距离为T，两个矩形分别 表示左右摄像头的成像平面，O l 和O r 为左右摄像头的焦点，以左摄像机焦点O l 为原点，O l O r 所在直线为X轴，左摄像机光轴为Z轴，与X轴和Z轴均垂直的。
33、直线为Y轴。对于场景中的 任意一点P，在左右摄像头成像平面上的成像点分别为p l 和p r 。 0051 参见图3，p l 和p r 在成像平面上的成像坐标（图像坐标）分别为x l 和x r ，视差定义 为d = x l - x r （如图2所示）。P点在O l 坐标系中的坐标可以按照下式计算： (3) (X,Y,Z)坐标为物体在现实世界中以摄像头作为原点的实际坐标。Z值即为摄像头与 物体的实际距离，这里为镜头与挥动目标重心的距离。那么就可以获得轨迹的立体视觉信 息了。 0052 通过在不同时刻的帧图像中，确定目标的特征点，再集合各个帧图像生成特征点 的轨迹信息。 0053 较佳地，在采用立体。
34、视觉识别方法测算用户输入轨迹的三维坐标时，还可采用多 目摄像头采集目标图像，视角更广，计算出的用户输入轨迹的三维坐标更精确。 0054 在另一实施例中，也可以采用距离感测的方式来测算用户输入轨迹的三维坐标， 例如采用雷达感测的方式，或者采用红外感测的方式。 0055 第二实施例 针对显示方式为二维显示的显示装置，还需要将用户输入轨迹的三维坐标转换至二维 坐标系中。 说 明 书CN 102426509 A CN 102426517 A 7/12页 11 0056 由于在三维空间中，确定二维空间XY轴的方向也直接影响到空间点之间的角度 关系。如图4(a)所示，在三维空间中选取AB作为X轴，X轴方向。
35、为A到B，垂直与AB轴方 向向上为Y轴，得到二维空间点如图4(b)所示。同样如图4(c)所示，选取任意方向为X轴， 得到的二维空间点为如4(d)所示。可见，得到的两个二维图像虽然空间点ABC三点之间的 位置关系没有反生变化，但是由于坐标系变化了，从一个空间点到另一个空间点在不同的 坐标轴下其角度关系发生了变化。所以如果对空间点之间的角度关系没有要求的话，可以 任选坐标轴，否则就要根据具体的情况进行选择，确保能够正确显示用户预期的输入轨迹。 0057 为解决上述问题，本发明实施例提供了一种手写输入的显示方法，如图5所示，包 括步骤： 步骤S501：接收用户输入轨迹的三维坐标； 以测算用户输入轨迹。
36、的装置为参考系的三维世界坐标与以用户为参考系的三维世界 坐标可以相同，也可以不同。即，对测算用户输入轨迹的三维坐标系的建立无要求，无论接 收到的用户输入轨迹的三维坐标是在什么样的三维世界坐标系中计算得到，均可以得到用 户预期的输出轨迹。 0058 步骤S502：确定用户输入轨迹的拟合平面； 步骤S503：从用户输入轨迹的拟合平面上选取一条平行于以用户为参考系的三维世 界坐标系中的水平面的直线作为二维坐标系中的X轴； 可以采用模式识别的方式，例如人脸识别，或者躯体特征识别，以确定以用户为参考系 的三维世界坐标系。或者，还可以通过识别预先标记的参考点的方式，确定以用户为参考系 的三维世界坐标系。 。
37、0059 通常设置以用户为参考系的三维世界坐标系中X轴代表水平方向，Y轴代表垂直 方向，Z轴代表景深方向。相应的这里所述的以用户为参考系的三维世界坐标系中的水平 面为即为以用户为参考系的三维世界坐标系中的XOZ平面。为了方便起见，后续描述均以 “XOZ平面”来描述以用户为参考系的三维世界坐标系中的水平面。 0060 步骤S504：从所述用户输入轨迹的拟合平面上选取一条与所述作为二维坐标系 中的X轴的直线垂直的直线作为所述二维坐标系中的Y轴； 步骤S505：将用户输入轨迹的三维坐标转换至所述二维坐标系中，对其显示输出。 0061 其中，当用户输入轨迹的拟合平面与以用户为参考系的三维世界坐标系中的。
38、水平 面(XOZ平面)重合时，可从用户输入轨迹的拟合平面上选取一条与以用户为参考系的三维 世界坐标系中的水平方向（即X轴方向）一致的直线作为二维坐标系中的X轴。 0062 本发明实施例采用上述方法，在考虑高效识别，最佳呈现用户输入轨迹的同时，还 充分考虑了用户所在的三维空间角度，从而确保显示的内容为用户预期的输入轨迹。 0063 在具体实现时，根据用户输入轨迹的三维坐标，可采用下述方式将利用挥手过程 中获得点的轨迹转化为同一平面： 设平面的一般方程为： (4) 设待拟合点的坐标为：，如果所有点的坐标满足上式，即认为在 同一平面，否则不在同一平面。这时需要对这些点进行拟合以获得一最佳平面。下面以。
39、最 小二乘法进行拟合平面为例进行说明，根据算式(4)可得： 说 明 书CN 102426509 A CN 102426517 A 8/12页 12 (5) 对于公式(5)，令： (6) 得到新的平面方程为： (7) 要用点拟合计算上述平面方程，则使公式(7)达到最小： (8) 使得S为最小，应满足： (9) 即为: (10) 解公式(10)的线性方程组，得到三个参数，这样得到了通过最小二乘法拟合 出来的平面方程。有了平面方程，还需要把不在平面方程上的轨迹点投影到平面上。设待 投影的点P为，具体投影的方法可以做过点P垂直于平面的直线方程，根据公式 (4)得直线方程为： (11) 解方程组： (1。
40、2) 即可以得到其投影点的坐标。至此就可以得到在同一拟合平面上的用户输入轨迹。用 户输入轨迹上的点在同一平面，各点的坐标是用(x,y,z)表示的三维坐标点。 0064 参见图6(a)，拟合平面为PQR，在平面PQR中做平行于XOZ平面的直线，作为二维 坐标系中的X轴，具体计算过程如下： 首先根据已知的PQR平面方程和XOZ平面方程，可得到平面 的法线向量分别为：和，又由于待求的作为二维坐标系中的X轴的直线 的方向向量垂直于PQR和XOZ平面的法线向量，所以计算用户输入轨迹的拟合平面PQR的 法线与三维坐标系中的XOZ平面的法线之积，得到待求的直线的方向向量： 说 明 书CN 102426509。
41、 A CN 102426517 A 9/12页 13 (13) 计算平行于PR的直线方程为： (14) 根据公式(14)在PQR平面中选取一点代入公式(14)就可以得到待求的直 线方程。 0065 较佳地，为了减少显示过程中的计算量，选取二维坐标系中X轴的具体位置为，令 转换至所述二维坐标系中的用户输入轨迹的X坐标均大于或者等于0，从而无需在显示时 还需要对二维坐标系中用户输入轨迹的X坐标符号的极性（正或负）进行处理。 0066 即，需在PQR平面上选取一点使得其他所有点都在都在X轴的上方。可将所述接 收到的用户输入轨迹的三维坐标转换为以用户为参考系的三维世界坐标系中的坐标；选取 二维坐标系中。
42、的X轴为通过所述用户输入轨迹在以用户为参考系的三维世界坐标系中的Y 坐标最小的点(如图6(a)所示的B点)的直线，以使得转换至所述二维坐标系中的用户输 入轨迹的X坐标均大于或者等于0。 有了X轴的直线方程，根据X轴与Y轴是相互垂直的关系，可以得到Y轴的直线方程。 具体可以通过计算以所述作为二维坐标系中的X轴的直线为法线的平面与所述用户输入 轨迹的拟合平面的交线实现。即，设以三维坐标中X轴的直线方程为法线向量，做垂直于平 面PQR的平面方程为： (15) 根据拟合到的平面和方程(15)得到Y轴的直线方程为： (16) 较佳地，为了减少显示过程中的计算量，选取二维坐标系中Y轴的具体位置为，令转换 。
43、至所述二维坐标系中的用户输入轨迹的Y坐标均大于或者等于0，从而无需在显示时还需 要对二维坐标系中用户输入轨迹的Y坐标符号的极性（正或负）进行处理。 0067 即，需在PQR平面上选取一点使得其他点都在都在Y轴或Y轴的右方。具体的计 算方法，可以将所述接收到的用户输入轨迹的三维坐标转换为以用户为参考系的三维世界 坐标系中的坐标；选取二维坐标系中的Y轴为通过所述用户输入轨迹在以用户为参考系的 三维世界坐标系中的X坐标最小的点(如图6(a)所示的A点)的直线，以使得转换至所述 二维坐标系中的用户输入轨迹的Y坐标均大于或者等于0。 0068 前面已经确定了X,Y轴，但还需要确定坐标原点，坐标原点即X轴。
44、和Y轴的交点。 联立两直线方程公式可得到交点设为点。如图6(b)所示，点在二维坐标 系中的坐标为(0,0)。B在二维坐标为，其中为: 说 明 书CN 102426509 A CN 102426517 A 10/12页 14 (17) 同理A点在二维坐标为，其中为: (18) 确定了和在二维坐标轴的坐标后，三维坐标中任意一点 C新的坐标计算方法为： (19) 解关于此方程组就可以得到任意一点在二维平面坐标的绝对值。由于前面已 经提到通过确定X轴和Y轴保证了空间点的作为为正，所以的绝对值即为其坐标 值。 0069 得到的空间点二维平面坐标是基于空间坐标的，要显示其轨迹还需根据具体情况 进行放缩和平。
45、移。 0070 具体的放缩公式为： (20) 其中，为放缩系数。 0071 平移公式为： (21) 其中，为平移量。 0072 在另一实施例中，也可以在PQR平面上任意选取相互垂直的直线作为二维空间的 XY轴，在显示其轨迹时，需要执行平移处理，以使得二维空间内用户输入轨迹的坐标均为大 于等于0的取值，同时还需要进行旋转处理，调整用户输入轨迹的显示方向，以及根据显示 需要进行缩放处理。 0073 第三实施例 针对显示方式为三维显示的显示装置，当显示输出时，由于测算目标的三维坐标时使 用的三维坐标系可能与显示装置的坐标系不一致，这时需要修改坐标系。如图7所示，左侧 的是测算目标时采用的三维坐标系，。
46、Z轴表示景深，与显示装置中的X轴对应。右侧是显示 装置的坐标系，Z轴表示的是物体的高度，与三维坐标系中的Y轴对应。所以只需要根据坐 标系的不同，交换坐标系的值即可解决此问题。 0074 同样，现实的三维坐标中(x,y,z)的值一般情况下远大于显示装置所表示的范 围，所以根据需要进行缩放设空间点为缩放公式为： 说 明 书CN 102426509 A CN 102426517 A 11/12页 15 (25) 其中，为缩放系数。 0075 另外，在显示装置中的位置与实现的三维坐标也会可能不一样，因此需要进行平 移操作，平移变换公式为： (26) 其中，为平移系数。 0076 第四实施例 本发明实施。
47、例还提供了一种手写输入的显示装置，如图8所示，包括： 接收模块，用于接收用户输入轨迹的三维坐标； 第一处理模块，与所述接收模块相连，用于确定用户输入轨迹的拟合平面；从所述拟合 平面上选取一条平行于以用户为参考系的三维世界坐标系中的水平面的直线作为二维坐 标系中的X轴；从所述拟合平面上选取一条与所述作为二维坐标系中的X轴的直线垂直的 直线作为所述二维坐标系中的Y轴，从而建立起二维坐标系； 第二处理模块，与所述接收模块和所述第一处理模块均相连，用于将用户输入轨迹的 三维坐标转换至所述二维坐标系中； 输出模块，与所述第二处理模块相连，用于根据用户输入轨迹的二维坐标进行显示输 出。 0077 所述第一。
48、处理模块，可采用模式识别的方式确定以用户为参考系的三维世界坐标 系。 0078 所述第一处理模块，也可通过识别预先标记的参考点，确定以用户为参考系的三 维世界坐标系。 0079 本发明实施例上述装置，针对二维显示输出方式，提供了一种将识别出的用户输 入轨迹的空间点信息转换为二维输出显示信息的解决方案，在考虑高效识别，最佳呈现用 户输入轨迹的同时，还充分考虑了用户所在的三维空间角度，从而确保显示的内容为用户 预期的输入轨迹。 0080 较佳地，所述第一处理模块，用于通过计算所述拟合平面的法线向量与以用户为 参考系的三维世界坐标系中的水平面的法线向量之积，从所述拟合平面上选取方向向量为 所述法线向。
49、量之积的直线，得到所述拟合平面上平行于以用户为参考系的三维世界坐标系 中的水平面的直线。 0081 较佳地，所述第一处理模块，在判断出用户输入轨迹的拟合平面与以用户为参考 系的三维世界坐标系中的水平面重合时，从用户输入轨迹的拟合平面上选取一条与以用户 为参考系的三维世界坐标系中的水平方向一致的直线作为二维坐标系中的X轴。 说 明 书CN 102426509 A CN 102426517 A 12/12页 16 0082 较佳地，所述第一处理模块，用于通过计算以所述作为二维坐标系中的X轴的直 线为法线的平面与所述拟合平面的交线，得到所述拟合平面上与所述作为二维坐标系中的 X轴的直线垂直的直线。 0083 较。