显示装置、显示方法、显示程序.pdf

本发明的目的在于，提供一种能够容易目视确认地显示多个用户之间的关系的显示装置。本发明提供的系统具有：用户分组部(3)，其根据由数据传感部(1)和位置检测部(2)检测到的多个用户之间的位置关系的相关信息，将所述多个用户分组为多个组；和用户关系显示部(4)，其根据由所述用户分组部(3)提取的多个组的相关信息，在画面上反映组之间的位置关系，配置并显示各个组。

1.  一种在显示画面上视觉地显示多个对象物之间的位置关系的显示装置，其特征在于，具有：
获取单元，获取表示各个对象物的位置的位置信息；
分类单元，根据获取到的所述位置信息，将所述多个对象物分类为多个组；
计算单元，使用所述位置信息计算一个组与其他组的组之间的位置关系；
决定单元，决定隔离线，该隔离线相对于规定所述显示画面的基准轴具有对应计算出的组之间的位置关系的斜率，并将所述显示画面分割为多个区域；和
显示单元，在所述显示画面上显示决定的隔离线，在由所述隔离线分割的各个显示区域显示属于各个组的对象物的位置关系。

2.  根据权利要求1所述的显示装置，其特征在于，所述计算单元求出表示至少两个组的位置的组位置，并计算与连接组位置的直线正交的直线和所述基准轴形成的所述斜率，
所述决定单元决定相对于所述基准轴具有计算出的斜率的所述隔离线。

3.  根据权利要求1所述的显示装置，其特征在于，所述决定单元决定所述隔离线，使对应组的区域具有对应该组的大小的面积。

4.  根据权利要求3所述的显示装置，其特征在于，所述计算单元计算包括一个组与其他组的组之间的距离在内的所述位置关系，
所述决定单元决定具有对应计算出的距离的宽度的所述隔离线。

5.  根据权利要求3所述的显示装置，其特征在于，所述显示单元按每个组以不同的缩小率显示属于组的对象物的位置关系，
所述显示单元还在各个显示区域显示表示各个组的缩小率的信息。

6.  根据权利要求1所述的显示装置，其特征在于，所述分类单元使用所述位置信息求出对象物之间的距离，将求出的距离小于阈值的两个以上的对象物分类为同一组。

7.  根据权利要求1所述的显示装置，其特征在于，所述获取单元还获取表示各个对象物的方向的方向信息，
所述分类单元使用所述位置信息求出对象物之间的距离，将求出的距离小于阈值、而且所述方向信息表示的方向的延长线交叉的两个对象物分类为同一组。

8.  根据权利要求1所述的显示装置，其特征在于，所述显示装置还具有：
声音获取单元，获取各个对象物发出的声音；和
声音信息分析单元，在时域和频域上分析获取到的声音，
所述显示单元在所述显示画面上，将根据所述声音信息分析单元的分析结果生成的图像，显示在表示属于各个组的对象物的位置关系的位置。

9.  根据权利要求8所述的显示装置，其特征在于，所述声音分析单元从获取到的声音中提取各个对象物发出的声音的特征，并生成所提取的声音的特征作为所述分析结果，
所述显示单元把表示各个对象物发出的声音的特征的图像显示在对应的对象物在所述显示画面上的位置。

10.  根据权利要求8所述的显示装置，其特征在于，所述声音分析单元使用所述声音生成表示属于各个组的对象物之间的会话的活跃程度的会话活跃度，作为所述分析结果，
所述显示单元把表示所述会话活跃度的图像显示在对应的组在所述显示画面上的位置。

11.  根据权利要求1所述的显示装置，其特征在于，所述获取单元还获取表示各个对象物的方向的方向信息，
所述显示装置还具有：
计算对象位置获取单元，从所述多个对象物获取成为表示受到何种程度关注的关注度的计算对象的计算对象位置；和
关注度计算单元，根据所述方向信息表示的方向和从所述位置信息表示的位置到所述计算对象位置的距离，计算所述关注度，
所述显示单元还根据关注度强调显示所述显示画面上对应所述计算对象位置的位置。

12.  根据权利要求11所述的显示装置，其特征在于，所述多个对象物具有摄像机，
所述关注度计算单元对于各个计算对象位置，确定具有将该计算对象位置捕捉在视场角内的摄像机的对象物，并决定所述关注度，在确定的各个对象物与所述计算对象位置的距离越小，而且确定的对象物具有的摄像机的视场角的中心线、与连接确定的对象物和所述计算对象位置的线段形成的夹角的绝对值越小时，所述关注度的值越大。

13.  根据权利要求11所述的显示装置，其特征在于，所述计算对象位置获取单元获取所述多个对象物中的一个对象物的位置，作为所述计算对象位置。

14.  根据权利要求11所述的显示装置，其特征在于，所述显示单元在计算出的关注度为阈值以上时，强调显示在画面上对应所述计算对象位置的位置。

15.  根据权利要求1所述的显示装置，其特征在于，所述显示单元还具有反复控制单元，该反复控制单元使所述获取单元、所述分类单元、所述计算单元、所述决定单元和所述显示单元分别反复进行位置信息的获取、所述多个对象物的分类、隔离线的决定、隔离线及各个组的位置关系的显示。

16.  一种在显示装置中使用的显示方法，该显示装置在显示画面上视觉地显示多个对象物之间的位置关系，所述显示方法的特征在于，包括：
获取步骤，获取表示各个对象物的位置的位置信息；
分类步骤，根据获取到的所述位置信息，将所述多个对象物分类为多个组；
计算步骤，使用所述位置信息计算一个组与其他组的组之间的位置关系；
决定步骤，决定隔离线，该隔离线相对于与所述显示画面的一边平行的基准轴具有对应计算出的组之间的位置关系的斜率，并将所述显示画面分割为多个区域；和
显示步骤，在所述显示画面上显示所决定的隔离线，在由所述隔离线分割的各个显示区域显示属于各个组的对象物的位置关系。

17.  一种在显示装置中使用的显示程序，该显示装置在显示画面上视觉地显示多个对象物之间的位置关系，所述显示程序的特征在于，包括：
获取步骤，获取表示各个对象物的位置的位置信息；
分类步骤，根据获取到的所述位置信息，将所述多个对象物分类为多个组；
计算步骤，使用所述位置信息计算一个组与其他组的组之间的位置关系；
决定步骤，决定隔离线，该隔离线相对于与所述显示画面的一边平行的基准轴具有对应计算出的组之间的位置关系的斜率，并将所述显示画面分割为多个区域；和
显示步骤，在所述显示画面上显示决定的隔离线，在由所述隔离线分割的各个显示区域显示属于各个组的对象物的位置关系。

18.  一种在显示画面上视觉地显示多个对象物之间的位置关系的显示装置，其特征在于，具有：
获取单元，获取表示各个对象物的位置的位置信息及表示方向的方向信息；
计算对象位置获取单元，从所述多个对象物获取成为表示受到何种程度关注的关注度的计算对象的计算对象位置；
关注度计算单元，根据所述位置信息表示的位置和所述方向信息表示的方向，计算所述计算对象位置的所述关注度；和
显示单元，显示所述多个对象物之间的位置关系，并根据关注度强调显示所述显示画面上对应所述计算对象位置的位置。

19.  根据权利要求18所述的显示装置，其特征在于，所述多个对象物具有摄像机，
所述关注度计算单元对于各个计算对象位置，确定具有将该计算对象位置捕捉在视场角内的摄像机的对象物，并决定所述关注度，在所确定的各个对象物与所述计算对象位置的距离越小，而且确定的对象物具有的摄像机的视场角的中心线、与连接确定的对象物和所述计算对象位置的线段形成的夹角的绝对值越小时，所述关注度的值越大。

20.  根据权利要求18所述的显示装置，其特征在于，所述计算对象位置获取单元获取所述多个对象物中的一个对象物的位置，作为所述计算对象位置。

21.  根据权利要求18所述的显示装置，其特征在于，所述显示单元在计算出的关注度为阈值以上时，强调显示在显示画面上对应所述计算对象位置的位置。

显示装置、显示方法、显示程序
技术领域
本发明涉及构建接口的技术，该接口以更容易目视确认的形式显示多个用户彼此的关系。
背景技术
近年来，在位置显示技术领域中有显示人物和行驶车辆在室内或地图上的位置的技术。例如，一种技术在无人驾驶车辆的车体上搭载能够拍摄上方的红外线摄影装置，在无人驾驶车辆行驶的区域的天井面的预定位置设置绝对位置显示，使在绝对位置获取无人驾驶车辆的当前行驶位置(参照专利文献1)。另外，一种技术是住宅配送导航系统，该系统使用电子货签，该电子货签具有存储有关配送的信息并发送配送信息的应答电路，该系统在显示于显示装置的地图上显示配送地点的位置(参照专利文献2)。另外，公开了一种监视系统，该系统根据由多个摄像机中的至少一个摄像机拍摄的摄影图像，检测摄影图像中包含的多个人物，并变更各个摄像机的摄影范围(参照专利文献3)。
专利文献1：日本特开平6-67726号公报
专利文献2：日本特开平6-111197号公报
专利文献3：日本特开2005-117542号公报
上述技术只不过是在室内或地图上映射用户和行驶车辆的绝对位置的技术。由于画面的大小具有局限性，所以在多个用户处于较远的区域时，如果要显示全部用户的位置关系，将很难目视确认用户之间的具体位置关系。
并且，如果只显示用户所在的一个区域，虽然容易目视确认处于该区域的用户的位置关系，但不能显示处于其他区域的用户的位置关系，所以存在不能掌握全部用户的位置关系的问题。
发明内容
本发明就是为了解决这种问题而提出的，其目的在于，提供一种能够容易目视确认地显示多个用户之间的关系的显示装置、显示方法、显示程序。
为了解决上述问题，本发明提供一种在显示画面上视觉地显示多个对象物之间的位置关系的显示装置，其特征在于，具有：获取单元，获取表示各个对象物的位置的位置信息；分类单元，根据获取到的所述位置信息，将所述多个对象物分类为多个组；计算单元，使用所述位置信息计算一个组与其他组的组之间的位置关系；决定单元，决定隔离线，该隔离线相对于规定所述显示画面的基准轴具有对应计算出的组之间的位置关系的斜率，并将所述显示画面分割为多个区域；和显示单元，在所述显示画面上显示决定的隔离线，在由所述隔离线分割的各个显示区域显示属于各个组的对象物的位置关系。
并且，本发明也可以是在上述显示装置中使用的显示方法或显示程序。
在此，例如图36和图37所示的设备属于上述显示装置。并且，上述“对象物”可以是在下述实施方式和变形例中说明的“用户”即人，也可以是汽车和自行车等移动设备，还可以是家畜或野生动物等。“获取单元”由下述实施方式1中的数据传感部1和位置关系检测部2来发挥其作用。“分类单元”由用户分组部3来发挥其作用。“计算单元”由基准轴设定部401、组信息分析部402和组间关系分析部403来发挥其作用。并且，“决定单元”由画面分配比率计算部404、画面配置位置计算部405和画面隔离线计算部406来发挥其作用。“显示单元”由分配显示计算部407和画面显示部408来发挥其作用。
根据这种结构，计算单元计算一个组与其他组的组之间的位置关系，决定单元决定隔离线，该隔离线具有对应计算出的组之间的位置关系的斜率，显示单元在所述显示画面上显示所决定的隔离线，在由所述隔离线分割的各个显示区域显示属于各个组的对象物的位置关系。因此，能够容易目视确认属于各个组的对象物之间的位置关系。另外，各个区域之间的隔离线具有对应组之间的位置关系的斜率，所以起到能够同时目视确认组之间的位置关系的良好效果。
在所述显示装置中，所述计算单元至少求出表示两个组的位置的组位置，并计算与连接组位置的直线正交的直线和所述基准轴形成的所述斜率，所述决定单元决定相对于所述基准轴具有计算出的斜率的所述隔离线。
根据这种结构，所述隔离线具有与连接组位置的直线正交的直线和所述基准轴形成的所述斜率，所以能够更准确地目视确认组之间的位置关系。
并且，所述决定单元也可以决定所述隔离线，使对应组的区域具有对应该组的大小的面积。
根据这种结构，能够容易根据分配给各个组的面积目视确认各个组的大小。其中，所说“组的大小”可以是属于组的对象物的数量，也可以是属于组的对象物实际所处的区域的面积(例如，包含属于该组的全部对象物的最小圆和最小圆的半径)。
并且，所述计算单元计算包括一个组与其他组的组之间的距离在内的所述位置关系，所述决定单元决定具有对应计算出的距离的宽度的所述隔离线。
根据这种结构，能够容易根据所显示的隔离线的宽度目视确认组之间距离。
并且，所述显示单元按每个组以不同的缩小率显示属于组的对象物的位置关系，所述显示单元还可以在各个显示区域显示表示各个组的缩小率的信息。
根据这种结构，在显示于显示画面上的各个组的缩小比例尺不同时，也能够实现容易目视确认各个组的尺寸的差异的良好效果。
并且，所述分类单元根据所述位置信息求出对象物之间的距离，把所求出的距离小于阈值的两个以上的对象物分类为同一组。
根据这种结构，能够把处于彼此接近的位置的多个对象物分类为一个组，所以在多个对象物处于较远的位置时，也能够实现明确显示构成各个组的对象物的位置关系的良好效果。
并且，所述获取单元还可以获取表示各个对象物的方向的方向信息，所述分类单元使用所述位置信息求出对象物之间的距离，把所求出的距离小于阈值、而且所述方向信息表示的方向的延长线交叉的两个对象物分类为同一组。
根据这种结构，不仅使用对象物之间的距离，也使用方向信息来进行分类，所以能够提取互相面对的会话群体等。
并且，所述显示装置还可以具有获取各个对象物发出的声音的声音获取单元、以及在时域和频域中分析所获取的声音的声音信息分析单元，所述显示单元在所述显示画面上，把根据所述声音信息分析单元的分析结果生成的图像，显示在表示属于各个组的对象物的位置关系的位置。
根据这种结构，所述显示单元在所述显示画面上，把根据所述声音信息分析单元的分析结果生成的图像，显示在表示属于各个组的对象物的位置关系的位置，所以不仅能够一目了然地目视确认由多个用户形成的组的位置关系，也能够目视确认与各个组的对象物发出的声音相关的信息。
并且，所述声音分析单元从获取到的声音中提取各个对象物发出的声音的特征，并生成所提取的声音的特征作为所述分析结果，所述显示单元把表示各个对象物发出的声音的特征的图像显示在对应的对象物在所述显示画面中的位置。
根据这种结构，能够容易目视确认各个对象物发出具有哪种特征的声音。
并且，所述声音分析单元使用所述声音生成表示属于各个组的对象物之间的对话的活跃程度的会话活跃度，作为所述分析结果；所述显示单元把表示所述会话活跃度的图像显示在对应的组在所述显示画面中的位置。
根据这种结构，能够容易目视确认在各个组内以何种活跃程度进行会话。
并且，所述获取单元还获取表示各个对象物的方向的方向信息，所述显示装置还具有：计算对象位置获取单元，其从所述多个对象物获取成为表示受到何种程度关注的关注度的计算对象的计算对象位置；和关注度计算单元，其根据所述方向信息表示的方向和从所述位置信息表示的位置到所述计算对象位置的距离，计算所述关注度，所述显示单元还根据关注度强调显示所述显示画面上对应所述计算对象位置的位置。
根据这种结构，能够一并目视确认所述多个用户在哪个位置受到何种程度的关注。
并且，所述多个对象物具有摄像机，所述关注度计算单元对于各个计算对象位置，确定具有将该计算对象位置捕捉在视场角内的摄像机的对象物，并决定所述关注度，在所确定的各个对象物与所述计算对象位置的距离越小，而且所确定的对象物具有的摄像机的视场角的中心线、与连接所确定的对象物和所述计算对象位置得到的线段形成的夹角的绝对值越小时，所述关注度的值越大。
对象物被认为是受到了处于附近而且在视野的中心线上的要素的关注。因此，根据上述结构，如果把摄像机的视场角的中心线假设为视野的中心线，则能够更准确地计算关注度，并在画面上显示计算出的关注度，由此容易目视确认多个对象物正在关注的位置。
并且，所述计算对象位置获取单元也可以获取所述多个对象物中的一个对象物的位置，作为所述计算对象位置。
根据这种结构，能够容易目视确认被其他对象物集中关注的对象物。
并且，所述显示单元也可以在计算出的关注度为阈值以上时，强调显示在显示画面上对应所述算出对象位置的位置。
根据这种结构，能够明确显示较多地受到所述多个对象物的集中关注的位置。
并且，所述显示单元还可以具有反复控制单元，其使所述获取单元、所述分类单元、所述计算单元、所述决定单元和所述显示单元分别反复进行位置信息的获取、所述多个对象物的分类、隔离线的决定、隔离线及各个组的位置关系的显示。
根据这种结构，能够按照时间序列目视确认各个组之间的位置关系的变化、和组内的各个对象物的位置关系的变化。
另外，本发明提供一种在显示画面上视觉地显示多个对象物之间的位置关系的显示装置，其特征在于，具有：所述获取单元，其获取表示各个对象物的位置的位置信息及表示方向的方向信息；计算对象位置获取单元，其从所述多个对象物获取成为表示受到何种程度关注的关注度的计算对象的计算对象位置；关注度计算单元，其根据所述位置信息表示的位置和所述方向信息表示的方向，计算所述计算对象位置的所述关注度；和所述显示单元，其显示所述多个对象物之间的位置关系，并根据关注度强调显示所述显示画面上对应所述计算对象位置的位置。
根据这种结构，能够容易目视确认所述多个对象物在哪个位置受到何种程度的关注。
并且，所述多个对象物具有摄像机，所述关注度计算单元对于各个计算对象位置，确定具有将该计算对象位置捕捉在视场角内的摄像机的对象物，并决定所述关注度，在所确定的各个对象物与所述计算对象位置的距离越小，而且所确定的对象物具有的摄像机的视场角的中心线、与连接所确定的对象物和所述计算对象位置得到的线段形成的夹角的绝对值越小时，所述关注度的值越大。
对象物被认为是受到了处于附近而且在视野的中心线上的要素的关注。因此，根据上述结构，如果把摄像机的视场角的中心线假设为视野的中心线，则能够更准确地决定关注度。
并且，所述计算对象位置获取单元也可以获取所述多个对象物中的一个对象物的位置，作为所述计算对象位置。
根据这种结构，实现能够容易目视确认多个对象物中的哪个对象物受到其他对象物的集中关注。
并且，所述显示单元也可以在计算出的关注度为阈值以上时，强调显示在显示画面上对应所述计算对象位置的位置。
根据这种结构，能够明确显示较多地受到所述多个对象物的集中关注的位置。
附图说明
图1是表示本发明的实施方式1的系统结构的功能框图，该系统根据传感数据检测多个用户彼此的位置关系，并根据检测到的位置关系显示位置关系。
图2是表示由位置关系检测部2检测到的多个用户(a～i)彼此的位置关系的示例图。
图3是表示由用户分组部3把有关多个用户彼此的位置关系的信息作为输入而算出的分组结果的示例图。
图4是表示位置关系显示部4的内部结构的功能框图。
图5是表示由位置关系显示部4进行的处理的示例图。
图6是表示由位置关系显示部4显示在画面上的显示形式的示例图。
图7是在图6中加注了说明用的辅助线等的图。
图8是表示由位置关系显示部4显示在画面上的、能够掌握相对组之间的实际尺寸的缩小比例尺比率关系的显示形式的示例图。
图9是表示系统的动作的流程图。
图10是表示系统的动作的承接图9的流程图。
图11是表示由位置关系显示部4进行的处理的示例图。
图12是表示由位置关系显示部4显示在画面上的显示形式的示例图(虽然没有实际显示，但注明了说明用的辅助线等)。
图13是表示由位置关系显示部4进行的处理的示例图。
图14是表示由位置关系显示部4显示在画面上的显示形式的示例图(虽然没有实际显示，但注明了说明用的辅助线等)。
图15是表示由位置关系检测部2检测到的多个用户(a～i)彼此的位置关系及方向关系的示例图。
图16是表示由用户分组部3把有关多个用户彼此的位置关系及方向关系等的信息作为输入而算出的分组结果的示例图。
图17是表示由位置关系显示部4显示在画面上的显示形式的示例图。
图18是表示本发明的实施方式2的系统结构的功能框图，该系统根据传感数据检测多个用户彼此的位置关系，并根据检测到的位置关系显示位置关系，同时视觉地显示用户的会话状况。
图19是表示声音信息分析部5的内部结构的功能框图。
图20是表示本发明的实施方式2的位置关系显示部4的内部结构的功能框图。
图21是表示由位置关系显示部4显示在画面上的、由用户分组部3表示多个用户彼此的位置关系及方向关系的示例图。
图22是表示由位置关系显示部4显示在画面上的、视觉地显示由声音信息分析部5得到的各个用户的会话状况的示例图。
图23是表示由位置关系显示部4显示在画面上的、视觉地显示由声音信息分析部5得到的组的会话活跃度信息的示例的整体俯视图。
图24是视觉地表现声音的大小的示例图。
图25是视觉地表现声音的大小的其他示例图。
图26是视觉地表现声音的高低的示例图。
图27是表示各个用户的讲话状况的分析动作的流程图。
图28是表示组的会话活跃度的分析动作的流程图。
图29是表示本发明的实施方式3的系统的功能框图。
图30(a)是表示关注度的计算对象位置306与拍摄计算对象位置306的用户的位置关系的图，(b)是表示一个用户u与计算对象位置306的位置关系、及与关注度计算相关的数据的图。
图31是反映显示关注度计算部6的计算结果的画面的一例。
图32是表示关注度计算部6的动作的流程图。
图33是表示用户i和j的动作的图。
图34是在其他变形例(1)中显示的画面的一例。
图35是在其他变形例(2)中显示的画面的一例。
图36是搭载了本发明的系统的设备的一例。
图37是搭载了本发明的系统的设备的一例。
标号说明
1数据传感部；2位置关系检测部；3用户分组部；4位置关系显示部；5声音信息分析部；6关注度计算部；7位置关系显示部；401基准轴设定部；402组信息分析部；403组间关系分析部；404画面分配比率计算部；405画面配置位置计算部；406画面隔离线计算部；407分配显示计算部；408画面显示部；501时域信息分析部；502频域信息分析部；503会话显示信息计算部；504组会话活跃度计算部；1000终端装置；2001STB设备；2002TV设备。
具体实施方式
以下，参照附图说明本发明的实施方式。
1.实施方式1
图1是表示本发明的实施方式1的系统结构的图，该系统根据传感数据检测多个用户彼此的位置关系，并根据检测到的位置关系显示位置关系。如图1所示，该系统由数据传感部1、位置关系检测部2、用户分组部3和位置关系显示部4构成。
数据传感部1利用用户安装/搭载的传感器(例如摄像机、传声器等)或者设置在环境基础设施中的传感器等，传感用于检测位置关系的数据。位置关系检测部2根据由数据传感部1传感的数据，检测多个用户彼此的位置关系。用户分组部3根据由位置关系检测部2检测到的有关多个用户彼此的位置关系的信息，将所述多个用户分组为组。位置关系显示部4根据由位置关系检测部2检测到的有关多个用户彼此的位置关系的信息、和由用户分组部3提取的有关组的信息，在画面上配置并显示各个组。
下面，具体说明各个构成部分。
1.1位置关系检测部2
位置关系检测部2根据由数据传感部1传感的数据，检测多个用户彼此的位置关系，将有关检测到的多个用户彼此的位置关系的信息输出给用户分组部3和位置关系显示部4。
其中，所说有关多个用户彼此的位置关系的信息，指有关多个用户彼此的相对位置的信息、或者把一个用户的位置作为基准时有关其他用户的相对位置的信息。
图2是根据由位置关系检测部2检测到的有关多个用户(a～i)彼此的位置关系的信息，图示多个用户(a～i)彼此的位置关系的示例的图。
具体地讲，例如，位置关系检测部2可以提取图2的示例中的用户彼此的相对位置(从用户a观察时的用户b的方向和距离、从用户b观察时的用户c的方向和距离等)，作为有关多个用户彼此的位置关系的信息。
并且，作为其他示例，位置关系检测部2假设下述x-y坐标平面，即，把图2所示的用户中的一个用户(例如用户a)的位置作为原点，把用户a面向的方向设为x轴，把使x轴旋转90度后的方向设为y轴，位置关系检测部2计算x-y坐标平面上的各个用户的坐标(xa、ya)、(xb、yb)、(xc、yc)…(xi、yi)，并输出表示各个用户的识别信息和计算出的这些坐标、以及有关假设的x轴和y轴的信息，作为有关多个用户彼此的位置关系的信息。
并且，在某一个传感器设置在室内决定的位置时，计算把该传感器作为基准的各个用户的位置(例如距传感器的距离和方向)，并输出表示各个用户的识别信息和计算出的位置，作为有关多个用户彼此的位置关系的信息。
并且，如果各个用户安装的传感器搭载了GPS信号接收功能，则可以计算各个用户所在的位置的纬度经度，并输出计算出的纬度经度作为所述有关多个用户彼此的位置关系的信息。
1.2用户分组部3
图3是表示在由位置关系检测部2检测到如图2所示的有关多个用户彼此的位置关系的信息时，由用户分组部3把该信息作为输入而算出的分组结果的示例图。由虚线包围的用户组表示一个组G(Gα和Gβ)。在此，所述多个用户的分组是通过根据由所述位置关系检测部2检测到的有关多个用户彼此的位置关系的信息，进行所述用户的聚类(clustering)等处理而算出的。例如，把对象x1和x2之间的距离设为D[x1、x2](例如，把用户u1和用户u2之间的距离设为D[x1、x2]，把聚类器C1和聚类器C2之间的距离设为D[C1、C2])，通过以下(1)～(3)那样的分层聚类处理，提取各个组。
(1)首先，只包含一个用户的N个(在图3的示例中为9个)聚类器(cluster)C处于某种初始状态。
(2)从该状态开始，计算聚类器之间的距离D[C1、C2]，并逐次合并该距离最近的两个聚类器。
(3)在聚类器之间的距离D[C1、C2]达到预定值(或者对应成为对象的多个用户之间的距离D[u1、u2]的平均等设定的值，或者对应由成为对象的多个用户全员所占据的总尺寸设定的值等)以上的时间点，结束上述(2)的处理，把该时间点的最后的聚类器C设为组G(在图3的示例中为Gα和Gβ)。
其中，聚类器之间的距离D[C1、C2]的计算采用下式1。
[数式1]
D[C1,C2]=minu1∈C1,u2∈C2D[u1,u2]]]>或D[C1,C2]=1n1×n2Σu1∈C1Σu1∈C2D[u1,u2]]]>
                                      ·····(式1)
(n1表示属于聚类器C1的用户数，n2表示属于聚类器C2的用户数)
另外，分组方法不限于这种方法。
然后，用户分组部3向位置关系显示部4输出有关所提取的组的信息，作为具体示例，输出对应各个组的识别信息、属于各个组的用户的识别信息(例如，数据Gα＝{a，b，c，d，e}，Gβ＝{f，g，h，i})。
1.3位置关系显示部4
图4是表示位置关系显示部4的内部结构的图。位置关系显示部4由基准轴设定部401、组信息分析部402、组间关系分析部403、画面分配比率计算部404、画面配置位置计算部405、画面隔离线计算部406、分配显示计算部407和画面显示部408构成。下面，使用图4和图5说明由位置关系显示部4内的各个构成部分进行的处理。
(1)基准轴设定部401
基准轴设定部401根据由位置关系检测部2检测到的有关多个用户彼此的位置关系的信息，设定用于规定所处位置的轴。例如，如图5所示，设定用于规定在平面上的所处位置的X轴Y轴。
例如，在由位置关系检测部2检测到的有关多个用户彼此的位置关系的信息表示与纬度经度相对应的状态等、映射到地图上的状态时，可以设定把X轴设为东、把Y轴设为北等的轴。该情况时，生成把各个用户的纬度经度转换为X-Y坐标平面上的坐标的转换矩阵或转换式。
并且，在由位置关系检测部2检测到的有关多个用户彼此的位置关系的信息表示映射到室内的状态(例如把室内的已知位置作为基准的各个用户的位置)时，基准轴设定部401以使X轴Y轴适合于规定该室内的位置的轴的形式进行设定(例如把正交的两个壁面的交点作为原点，把与两个壁面和地面平行的两个轴设为X轴、Y轴)。该情况时，基准轴设定部401生成把由位置关系检测部2检测到的各个用户的位置转换为X-Y坐标系的转换矩阵或转换式。
并且，在由位置关系检测部2检测到的有关多个用户彼此的位置关系的信息不与以上所述的地图信息和室内位置信息这种成为位置测位的基准的信息相匹配，而只是检测到了多个用户彼此的位置关系时，也可以任意地设定用于规定平面上的所处位置的X轴Y轴。例如，如在上述的1.1中示例的那样，假设把一个用户作为原点的x-y坐标平面，在利用x-y坐标系表示各个用户的位置时，可以把假设的x轴和y轴直接作为X轴和Y轴，也可以设定与x轴和y轴平行的X轴和Y轴。该情况时，生成把各个用户的位置转换为重新设定的X-Y坐标系的转换矩阵或转换式。
然后，基准轴设定部401输出如上所述生成的转换矩阵或转换式。
(2)组信息分析部402
组信息分析部402根据由位置关系检测部2检测到的有关多个用户彼此的位置关系的信息、由用户分组部3提取的有关组的信息、和由基准轴设定部401生成的转换矩阵或转换式，分析有关各个组的信息。
下面，作为有关多个用户彼此的位置关系的信息一例，假设是把一个用户作为原点的x-y坐标系中的各个用户的坐标和表示各个用户的识别信息(具体地讲，指a(xa，ya)、b(xb，yb)…)。并且，作为有关组的信息的一例，假设是各个组的识别符和属于该组的用户的识别信息(具体地讲，指Gα＝{a，b，c，d，e}，Gβ＝{f，g，h，i})。
作为上述分析的一例，首先，组信息分析部402使用由基准轴设定部401生成的转换矩阵(或转换式)，把表示各个用户的位置的坐标转换为X-Y坐标系的坐标。然后，组信息分析部402在由基准轴设定部401设定的X-Y坐标系中，根据属于各个组G(在图5的示例中为Gα和Gβ)的用户u的位置坐标，计算各个组G的重心c(在图5的示例中为cα和cβ)的坐标。另外，在各个组中，使用下式2计算以重心c为中心的包括属于组的全部用户u的坐标位置在内的最小圆C(在图5的示例中为Cα和Cβ)的半径r(在图5的示例中为rα和rβ)。
[数式2]
r=maxu∈GD[u,c]]]>·····(式2)
并且，组信息分析部402计数属于各个组G的用户u的数量。
(3)组间关系分析部403
组间关系分析部403根据由组信息分析部402分析的有关各个组的信息(在图5的示例中为cα和cβ、rα和rβ、各个组的用户数量等)，分析有关组之间的关系的信息。
例如，计算组G1和G2(在图5的示例中为Gα和Gβ)的中心c1和c2(在图5的示例中为cα和cβ)之间的连接线L12(在图5的示例中为Lαβ)的斜率θ12(在图5的示例中为θαβ)、以及连接线L12的垂线P12(在图5的示例中为Pαβ)的斜率φ12(在图5的示例中为φαβ)。
并且，不限于上述情况，也可以分析组G1和G2(在图5的示例中为Gα和Gβ)的中心c1和c2(在图5的示例中为cα和cβ)之间的连接线L12的长度等其他数据。
(4)画面分配比率计算部404
画面分配比率计算部404根据由组信息分析部402分析的有关各个组的信息(在图5的示例中为cα和cβ、rα和rβ、各个组的用户数量等)，计算当在画面上显示由位置关系检测部2检测到的有关多个用户彼此的位置关系的信息时、分配给各个组的画面区域的面积比率。例如，在画面上显示时分配给各个组G的区域的面积比率被设定成为，以各个组G的重心c为中心的、包括属下用户u的坐标位置在内的最小圆C(在图5的示例中为Cα和Cβ)的半径r(在图5的示例中为rα和rβ)的比率(在图5的示例中为rα∶rβ)、或者面积的比率。或者，设定成为属于各个组G的用户u的数量的比率(在图5的示例中为5∶4)。
(5)画面配置位置计算部405
画面配置位置计算部405根据由组间关系分析部403分析的有关组之间的关系的信息，计算当在画面上显示由位置关系检测部2检测到的有关多个用户彼此的位置关系的信息时的、各个组的画面配置位置。例如，在画面上显示时的组G1和G2的配置位置关系被设定成为，当连接组G1和G2(在图5的示例中为Gα和Gβ)的中心c1和c2(在图5的示例中为cα和cβ)之间的连接线L12(在图5的示例中为Lαβ)的斜率θ12(在图5的示例中为θαβ)为-45°～45°或135°～225°时，使G1和G2呈左右排列，当斜率θ12为-135°～-45°或45°～135°时，使G1和G2呈上下排列。在图5的示例中，由于0＜θαβ＜45°，所以画面配置位置计算部405在画面上设定成为将Gα排列在左侧、将Gβ排列在右侧。
(6)画面隔离线计算部406
画面隔离线计算部406根据由组间关系分析部403分析的有关组之间关系的信息、由画面分配比率计算部404计算的分配给各个组的画面区域的面积比率、和由画面配置位置计算部405计算的各个组的画面配置位置，决定当在画面上显示由位置关系检测部2检测到的有关多个用户彼此的位置关系的信息时、用于隔离各个组之间的隔离线(以下称为画面隔离线)的显示位置和粗细等。
例如，画面隔离线计算部406把显示在画面上时的组G1和G2之间的画面隔离线的斜率，设为连接组G1和G2(在图5的示例中为Gα和Gβ)的中心c1和c2(在图5的示例中为cα和cβ)之间的连接线L12(在图5的示例中为Lαβ)的垂线P12(在图5的示例中为Pαβ)的斜率φ12(在图5的示例中为φαβ)。并且，画面隔离线计算部406计算画面隔离线的显示位置，使在画面上显示时由画面隔离线分割的区域中，分配给各个组的画面区域的面积比率与由画面分配比率计算部404计算的面积比率一致，而且各个组的画面配置位置是由画面配置位置计算部405计算的画面配置位置。
并且，画面隔离线计算部406也可以将有关组之间距离的信息(在图5的示例中为连接组Gα和Gβ的中心cα和cβ之间的线段Lαβ的长度)反映为画面隔离线的粗细等。
(7)分配显示计算部407
分配显示计算部407获取由位置关系检测部2检测到的有关多个用户彼此的位置关系的信息、由基准轴设定部401设定的X轴Y轴、由画面分配比率计算部404计算的分配给各个组的画面区域的面积比率、由画面配置位置计算部405计算的各个组的画面配置位置、和由画面隔离线计算部406计算的有关画面隔离线的信息。
分配显示计算部407在获取到这些信息后，计算各个组的显示尺寸，使该显示尺寸进入当在画面上显示用户彼此的位置关系时分配给各个组的画面区域内。
例如，在计算画面上的各个组的用户的显示位置和显示尺寸时，使以各个组G的重心c为中心的包括属下用户u的坐标位置在内的最小圆C(在图5的示例中为Cα和Cβ)具有某种程度的余量，并进入分配给各个组的画面区域内。此时，计算各个用户的显示位置，并保持属于同一组的用户的相对位置关系。
(8)画面显示部408
画面显示部408构成为包括液晶画面等显示机构和扬声器。
画面显示部408根据由分配显示计算部407计算的画面显示方法，显示属于各个组的用户及组之间的画面隔离线。另外，虽然没有图示，位置关系显示部4具有触摸屏、各种输入键等受理操作者的操作的输入部。画面显示部408联接由各个用户安装/搭载的传感器传感的数据(图像、声音等)，在画面显示部408中按每个组显示了属于该组的用户的位置的状态下，构建在通过输入部指定了所显示的各个用户位置后再生各个传感数据并弹出的视听UI。
图6是表示在由用户分组部3和位置关系显示部4进行了图5所示的处理时，画面显示部408显示的画面的一例的图。例如，在各个用户安装/搭载了摄像机和传声器等传感器时，如果指定了所显示的位置关系上的各个用户位置，则在主观察窗和弹出画面等上显示并再生由所指定的用户安装/搭载的传感器传感的数据(摄像机拍摄到的照片和动画、传声器收录的声音等)。
图7是在图6中加注了说明用的辅助线等的图。其中，图7所示的用于规定画面上的所处位置的x轴y轴，分别被设为与图5所示的用于规定画面上的所处位置的X轴Y轴相同的方向。如图7所示，基于x轴y轴的画面隔离线pαβ被显示成为，使两个画面区域Rα与Rβ的面积比率与由画面分配比率计算部404计算的面积比率相等，而且使两个画面区域Rα和Rβ的位置是由画面配置位置计算部405计算的各个组的画面配置位置。并且，画面隔离线pαβ的基于x轴y轴的斜率φαβ，通过画面隔离线计算部406成为与图5所示的线Pαβ的基于x轴y轴的斜率φαβ相同的值。另外，以如下尺寸进行显示，该尺寸使包括分别属于对应的组Gα、Gβ的用户在内的最小圆(Cα、Cβ)进入画面区域Rα、Rβ内，并具有某种程度的余量。
另外，在由画面分配比率计算部404计算的分配给各个组的画面区域的面积比率，是根据属于各个组G的用户u的数量的比率计算的情况下等，在各个组中，在画面上显示用户彼此的位置关系时相对实际尺寸的缩尺也可以因每个组而不同。该情况时，画面显示部408可以按照图8中的虚线所示，在各个画面区域的背景中显示网格等，使能够掌握组之间的缩尺的比率关系。在此，使由各个组中的网格构成的1块，在实际的用户彼此的位置关系的尺寸中是相同尺寸。并且，如图8所示，也可以根据表示各个用户的位置的形状的尺寸，掌握组之间的缩尺的比率关系。在此，表示各个组中的一个用户的位置的形状的尺寸，在实际的用户彼此的位置关系的尺寸中是相同尺寸。
只要是能够目视确认每个组的缩尺差异的显示，就不限于图8所示的网格状虚线。例如，在画面上可以显示表示缩尺的存储器，也可以利用数值显示在各个区域内相对实际组尺寸的缩小率。
1.4系统的动作
下面，使用图11和图12所示的流程图，说明本实施方式的系统整体的一系列动作。另外，此处作为一例，说明不存在设置在已知位置的传感器，而根据由各个用户安装的传感器检测到的数据来进行画面显示的情况。
首先，数据传感部1从各个用户安装的传感器收集数据(步骤S101)，将收集到的数据输出给位置关系检测部2。
位置关系检测部2根据接收到的数据检测各个用户的相对位置(步骤S102)。位置关系检测部2将检测到的相对位置和表示各个用户的识别信息相对应，并输出给用户分组部3和位置关系显示部4。此处作为一例，输出以用户a的位置为原点的坐标平面上的各个用户的位置、a(xa，ya)、b(xb，yb)、c(xc，yc)…。
用户分组部3根据从位置关系检测部2接收到的各个用户的相对位置，将用户分组。然后，用户分组部3向位置关系显示部4输出表示各个组的识别符、和表示属于该组的用户的识别信息(步骤S103)。作为一例，各个用户处于图3所示的位置，用户分组部3将这些用户分组为组α和组β，并输出组结构信息Gα＝{a，b，c，d，e}和Gβ＝{f，g，h，i，j}。
位置关系显示部4内的基准轴设定部401接收由位置关系检测部2检测到的各个用户的相对位置。接收到各个用户的相对位置后，基准轴设定部401任意决定X轴和Y轴，计算把接收到的相对位置转换为根据所决定的XY坐标轴形成的X-Y平面上的坐标的转换矩阵(或转换式)(步骤S104)。然后，基准轴设定部401将计算出的转换矩阵输出给组信息分析部402和分配显示计算部407。
组信息分析部402从位置关系检测部2接收各个用户的相对位置a(xa，ya)、b(xb，yb)、c(xc，yc)…，从用户分组部3接收组结构信息Gα＝{a，b，c，d，e}和Gβ＝{f，g，h，i，j}，从基准轴设定部401接收转换矩阵。
接收到上述信息后，组信息分析部402首先使用转换矩阵把各个用户的相对位置转换为X-Y坐标系的坐标(步骤S106)。然后，组信息分析部402根据转换后的各个用户的坐标a(Xa，Ya)、b(Xb，Yb)、c(Xc，Yc)…、和接收到的组结构信息Gα＝{a，b，c，d，e}和Gβ＝{f，g，h，i，j}，计算XY坐标系中的各个组的重心cα和cβ(步骤S107)。并且，组信息分析部402对于各个组，计算把重心作为中心的、包括属于该组的全部用户在内的最小圆的半径(rα和rβ)(步骤S109)。并且，组信息分析部402计数属于各个组的用户数量(步骤S111)。然后，组信息分析部402向组间关系分析部403和画面分配比率计算部404输出各个用户的识别信息和转换后的各个用户的坐标(具体地讲是a(Xa，Ya)、b(Xb，Yb)、c(Xc，Yc)…)、计算出的重心cα和cβ的坐标、半径rα、rβ、各个组的用户数量、以及接收到的组结构信息Gα＝{a，b，c，d，e}和Gβ＝{f，g，h，i，j}。
组间关系分析部403根据从组信息分析部402接收到的各个组的重心cα和cβ的坐标，计算连接两个重心的线段Lαβ的斜率、线段Lαβ的垂线的斜率及线段Lαβ的长度(步骤S112)。
然后，组间关系分析部403向画面配置位置计算部405输出计算出的线段Lαβ的斜率、线段Lαβ的垂线的斜率，向画面隔离线计算部406输出线段Lαβ的长度。
画面分配比率计算部404从组信息分析部402接收各个用户的识别信息和各个用户的坐标a(Xa，Ya)、b(Xb，Yb)、c(Xc，Yc)…、重心cα和cβ的坐标、半径rα、rβ、各个组的用户数量、以及组结构信息Gα＝{a，b，c，d，e}和Gβ＝{f，g，h，i，j}。
接收到上述信息后，画面分配比率计算部404决定在画面上分配给各个组的显示区域的面积比率(Gα∶Gβ)(步骤S116)，将所决定的面积比率输出给画面隔离线计算部406。并且，向分配显示计算部407输出所接收到的各个用户的识别信息和各个用户的坐标a(Xa，Ya)、b(Xb，Yb)、c(Xc，Yc)…、重心cα和cβ的坐标、半径rα、rβ、各个组的用户数量、组结构信息Gα＝{a，b，c，d，e}和Gβ＝{f，g，h，i，j}、以及计算出的面积比率Gα∶Gβ。
画面配置位置计算部405从组间关系分析部403获取线段Lαβ的斜率、线段Lαβ的垂线的斜率，并根据所获取的斜率计算画面上的两个组的配置(步骤S117)。画面配置位置计算部405向画面隔离线计算部406和分配显示计算部407输出表示所计算的配置的信息，例如1比特长度的标志。例如，标志“0”表示横向排列显示两个组，标志“1”表示上下显示两个组。
画面隔离线计算部406从组间关系分析部403接收线段Lαβ的长度和直线Pαβ的斜率，从画面分配比率计算部404接收面积比率Gα∶Gβ，从画面配置位置计算部405接收表示配置的信息。接收到上述信息后，画面隔离线计算部406根据接收到的信息，决定画面上的画面隔离线的显示位置、粗细、斜率(步骤S118)，并向分配显示计算部407输出所决定的画面隔离线的显示位置、粗细、斜率。
分配显示计算部407从画面分配比率计算部404接收各个用户的识别信息和各个用户的坐标a(Xa，Ya)、b(Xb，Yb)、c(Xc，Yc)…、重心cα和cβ的坐标、半径rα、rβ、组结构信息Gα＝{a，b，c，d，e}和Gβ＝{f，g，h，i，j}、以及各个组的用户数量，从画面隔离线计算部406接收画面上的画面隔离线的显示位置、粗细、斜率，从画面配置位置计算部405接收表示各个组的配置的标志。另外，此处通过画面分配比率计算部404获取由组信息分析部402计算的XY坐标系中的各个用户的坐标及属于各个组的用户数量，但也可以从位置关系检测部2获取各个用户的相对位置，从基准轴设定部401获取转换矩阵，然后由分配显示计算部407自己计算这些数据。
接收到上述信息后，分配显示计算部407计算各个组的显示尺寸和显示位置(具体地讲是构成各个组的用户在画面上的显示位置)，使该显示尺寸和显示位置充分进入到画面上由画面隔离线分割的两个区域中。并且，根据画面隔离线的显示位置、粗细、斜率，计算画面上的画面隔离线的显示区域。然后，向画面显示部408输出计算出的各个用户在画面上的显示位置和画面隔离线的显示区域(步骤S119)。
画面显示部408从分配显示计算部407接收各个用户在画面上的显示位置和画面隔离线的显示区域。画面显示部408根据接收到的数据，针对由画面隔离线分割的两个区域分别生成用于显示构成组Gα的用户组和构成组β的用户组的画面，并在显示器上显示所生成的画面(步骤S121)。
1.5实施方式1的补充及变形例
(1)在上述说明中(图2～3、图5～8的示例)，说明了由画面配置位置计算部405计算的各个组的画面配置位置关系为左右关系(θαβ为-45°～45°或135°～225°)的示例，但是，例如如图11所示，在由画面配置位置计算部405计算的各个组的画面配置位置关系为上下关系(θαβ为-135°～-45°或45°～135°)时，由位置关系显示部4显示的显示形式的示例如图12所示(虽然实际上没有显示，但也注明了说明用的辅助线等)。其中，图12所示的用于规定画面上的所处位置的x轴y轴，分别是与图11所示的用于规定画面上的所处位置的X轴Y轴相同的方向。图12所示的画面区域Rα和Rβ被设定成为，根据x轴y轴并通过画面隔离线pαβ成为由画面分配比率计算部404计算的分配给各个组的画面区域尺寸的比率、和由画面配置位置计算部405计算的各个组的画面配置位置。并且，画面隔离线pαβ的基于x轴y轴的斜率φαβ通过画面隔离线计算部406被设定成为，与图11所示的线Pαβ的基于X轴Y轴的斜率φαβ相同的值。另外，在画面区域Rα、Rβ中，以具有某种程度的余量的尺寸来显示有关分别属于对应的组Gα、Gβ的用户彼此的位置关系的信息(Cα、Cβ)。
(2)在上述说明中，使用由用户分组部3提取的组为两个的示例进行了说明，但在由用户分组部3提取的组为三个以上时，也能够适用上述处理。例如，如图13所示，在由画面配置位置计算部405计算的各个组的画面配置位置关系是组Gα和Gβ为Gα在下Gβ在上、组Gβ和Gγ是Gβ在右Gγ在左、组Gγ和Gα是Gγ在上Gα在下时，由位置关系显示部4显示的显示形式的示例如图14所示(虽然实际上没有显示，但也注明了说明用的辅助线等)。其中，图14所示的用于规定画面上的所处位置的x轴y轴，分别是与图11所示的用于规定平面上的所处位置的X轴Y轴相同的方向。图14所示的画面区域Rα和Rβ和Rγ被设定成为，根据x轴y轴并通过画面隔离线pαβ和pβγ和pγα成为由画面分配比率计算部404计算的分配给各个组的画面区域尺寸的比率、和由画面配置位置计算部405计算的各个组的画面配置位置。并且，画面隔离线pαβ、pβγ、pγα的基于x轴y轴的斜率φαβ、φβγ、φγα通过画面隔离线计算部406分别被设定成为，与图13所示的线Pαβ、Pβγ、Pγα的基于X轴Y轴的斜率φαβ、φβγ、φγα相同的值。另外，在画面区域Rα、Rβ、Rγ中，以具有某种程度的余量的尺寸来显示有关分别属于对应的组Gα、Gβ、Gγ的用户彼此的位置关系的信息(Cα、Cβ、Cγ)。
(3)在上述说明中，关于由用户分组部3进行的多个用户的分组，使用只利用了多个用户彼此的位置关系的示例进行了说明，但也可以利用多个用户彼此的方向关系和会话信息(会话的定时、会话对象的识别)等来进行多个用户的分组。
例如，图15表示多个用户a～i的位置关系及各个用户的身体的方向。图中的箭头表示各个用户的方向。在这种示例中，如果利用多个用户彼此的方向关系和会话信息(会话的定时、会话对象的识别)等，则能够提取只依靠多个用户彼此的位置关系而不能提取的组。图16表示根据位置关系以及各个用户的方向等对图15所示的多个用户进行提取得到的、交流等的组Gα和Gβ。在分组后，如图16所示，由位置关系显示部4实施与上述相同的处理，并以图17所示的显示形式在画面上显示多个用户彼此的位置关系(虽然实际上没有显示，但也注明了说明用的辅助线等)。
该情况时，位置关系检测部2向用户分组部3输出有关各个用户的位置关系的信息、以及表示各个用户的方向的信息。
用户分组部3根据接收到各个用户位置关系的信息中有关方向的信息进行分组。具体地讲，作为上述的聚类条件，除了距离为预定值以下之外，追加如下条件：以用户的位置为起点向用户面向的方向引出的线段是小于预定阈值的长度、而且与其他用户的线段交叉。
(4)在上述说明中，说明了由位置关系显示部4显示由用户分组部3使用的信息的示例，但是不一定显示由用户分组部3使用的全部信息，也可以可视显示在分组时不使用的信息、例如用户的方向关系和讲话信息等。
(5)在上述说明中，使用显示多个用户彼此的临时位置关系的示例进行了说明，但也可以动态地显示多个用户彼此的相连续的位置关系，即，由数据传感部1连续传感用于检测位置关系的数据，由位置关系检测部2根据由数据传感部1连续传感的数据连续检测多个用户彼此的位置关系，由用户分组部3根据由位置关系检测部2检测到的有关多个用户彼此的位置关系的信息，将所述多个用户逐次分组为组，由位置关系显示部4根据由位置关系检测部2连续检测到的有关多个用户彼此的位置关系的信息、和由用户分组部3逐次提取的有关组的信息，在画面上配置并显示各个组。
(6)在上述说明中，使用显示多个用户彼此的位置关系的示例进行了说明，但也可以显示除位置关系之外的多个用户彼此的其他关系。例如，关于多个用户彼此的亲密关系，把用户之间的邮件的交换数量、频次、同时出席会议的次数和频次、约会次数和频次等用作X轴Y轴，并使该次数和频次越多时对应于用户之间的距离越近等，由此与图5所示的那种多个用户彼此的位置关系相同，同样能够显示这种关系。然后，通过实施相同的处理，能够以图6所示的显示形式显示多个用户彼此的亲密关系。关于多个用户彼此的其他关系也相同。
2.实施方式2
图18表示本发明的实施方式2的系统结构。实施方式2的系统除了在实施方式1中说明的各个构成要素外，还包括声音信息分析部。并且，各个用户安装的传感器中包含传声器。为了尽可能可靠地只检测安装者的声音，各个用户例如将指向性送话器对准嘴进行安装。另外，也可以具有抑制除安装者的声音之外的杂音等的信号处理功能。
在本实施方式中，与实施方式1相同，根据传感数据检测多个用户彼此的位置关系，根据检测到的位置关系来显示位置关系，同时视觉地显示用户的讲话状况。位置关系检测部2和用户分组部3的结构与图1所示的本发明的实施方式1相同，所以省略说明。数据传感部1利用用户安装/搭载的传感器或者设置在环境基础设施中的传感器等，传感用于检测位置关系的数据和安装者发出的声音信息。声音信息分析部5分析各个用户发出的声音信息，并计算由用户分组部3提取的各个组的会话状况的活跃度。
位置关系显示部40根据由位置关系检测部2检测到的有关多个用户彼此的位置关系的信息、和由用户分组部3提取的有关组的信息，在画面上配置并显示各个组，同时视觉地显示由声音信息分析部5计算的用户的讲话状况和组的会话状况。
下面，以实施方式2的特征部分即声音信息分析部5为中心进行具体说明。
2.1声音信息分析部5
图19是表示声音信息分析部5的内部结构的图。如图19所示，声音信息分析部5由时域信息分析部501、频域信息分析部502、会话显示信息计算部503和组会话活跃度计算部504构成。下面，说明各个构成要素。
关于从数据传感部1得到的各个用户声音信息，通过时域信息分析部501和频域信息分析部502求出用户的声音的物理特征量。一般，关于声音的三要素，被广为认知的是大小、高低、音色。
(1)时域信息分析部501
时域信息分析部501对于各个用户逐次计算表现该用户发出的声音的大小的功率信息，同时也根据功率信息的时间序列上的变化，进行讲话的开始和结束的检测。时域信息分析部501向会话显示信息计算部503输出计算出的功率信息、和表示讲话的开始和结束的信息。
并且，时域信息分析部501定期地求出各个用户在单位时间内的讲话次数即讲话频次Nc、和每单位时间的讲话时间率Rs，并计算各个用户的讲话时间率的标准偏差Srs。时域信息分析部501向组会话活跃度计算部504输出计算出的讲话频次Nc、讲话时间率Rs、讲话时间率的标准偏差Srs。
(2)频域信息分析部502
频域信息分析部502按每个用户定期地计算表现讲话声音的声音高低的基音频率、和与讲话声音的音色相关的谱矩心。
基音频率与时间一起变化，对词语的音调和句子及句节赋予抑扬顿挫。数值的平均值根据性别和年龄而不同，所以认为能够表现韵律信息。作为计算基音频率的方法，可以考虑使用由频率的谐波特性推测的倒谱进行计算的方法。另外，作为计算基音频率的其他方法，也可以考虑采用使用自相关函数根据波形的周期性进行推测的算法的方法。
另一方面，谱矩心通过分析声谱并计算其谐波特性频率成分的中心即高次谐波的频率成分而求出。
然后，频域信息分析部502向会话显示信息计算部503输出计算出的基音频率和谱矩心。
并且，频域信息分析部502逐次分析各个用户的声音信息，由此进行声音/欢声及笑声/无声的判别，并计算每单位时间的欢声及笑声区间的频次Na。频域信息分析部502向组会话活跃度计算部504输出对各个用户计算的欢声及笑声区间的频次Na。
(3)会话显示信息计算部503
会话显示信息计算部503根据由时域信息分析部501和频域信息分析部502求出的各个用户的声音的物理特征量(功率信息、表示讲话的开始和结束的信息、基音频率和谱矩心)，计算在画面上视觉地显示各个用户的讲话的状态的信息。
例如，会话显示信息计算部503使用由时域信息分析部501计算的功率信息，生成视觉地表示各个用户发出的声音的大小和方向的信息(例如表示用户的识别信息、和形成下面示例的图形的图像数据)。
图24表示视觉地表现声音的大小的一例，图24(i)中的箭头表示用户a的方向，图24(ii)、(iii)、(iv)中的扇形图形部分用于表现用户a发出的声音的方向和大小。在图24中，(i)表示无声状态。图24的(ii)、(iii)、(iv)利用扇形图形的尺寸表示讲话的声音的大小，扇形图形越大，声音越大。
在图24中，会话显示信息计算部503根据由时域信息分析部501计算的功率信息、讲话的开始和结束的检测信息，决定将要显示的图形。首先，会话显示信息计算部503在无声区间，按照图24(i)所示设定成为使不显示扇形图形，而只显示表示方向的箭头。并且，在从声音区间的开始到结束的期间，会话显示信息计算部503进行设定，以便显示使功率信息表示的声音的大小与半径长度成比例的扇形图形(如图24(ii)、(iii)、(iv)所示)。此时，会话显示信息计算部503预先对扇形图形的半径长度设定最小值和最大值，使功率信息映射在它们之间，以防止画面显示的不必要增大。
图25表示视觉地表现声音的大小的其他示例，图25(i)中的箭头表示用户a的方向。图25(ii)、(iii)、(iv)中的扇形图形部分用于表现用户发出的声音的方向和大小。在图中，(i)表示无声状态，(ii)、(iii)、(iv)利用扇形图形的显示颜色的色彩度表示讲话的声音的大小。显示颜色的色彩度的越高，表示声音越大。
在图25中，会话显示信息计算部503设定扇形图形的显示颜色，使由时域信息分析部501计算的功率信息表示的声音的大小与色彩度成比例。该情况时，如图24所示，由于扇形图形的尺寸不变，所以在显示具有多个用户的状态时，认为比较有利于节省空间。
另外，此处利用功率信息表示声音的大小，但除此之外也可以利用例如平均振幅值。
并且，作为其他示例，会话显示信息计算部503使用由频域信息分析部502计算的基音频率，生成表现讲话声音的高低的信息。
图26表示视觉地表现声音的高低的示例。图26的(i)、(ii)、(iii)分别利用扇形图形的条纹图案的间隔，表现用户a、b、c发出的声音的基音频率。此处，作为一例，表示条纹图案的间隔越小、基音频率越大的情况。即，3个用户中，图26(i)所示的用户a的声音的基音频率最小，图26(iii)所示的用户c的声音的基音频率最大。
关于声音的音色的信息，使用由频域信息分析部502计算的谱矩心的信息来表现。音色信息通过把按照预定的时间长度被平均化的谱矩心的信息映射为色相(赤、橙、黄、绿、青、蓝、紫)来表现。
如上所述，会话显示信息计算部503把各个用户发出的声音的大小、高低、音色这种物理特征量映射为图形和颜色，并转换为用于在画面上视觉显示的图像数据。
会话显示信息计算部503把通过上述转换生成的图像数据和对应该图像数据的用户的识别信息，输出给位置关系显示部4。
并且，会话显示信息计算部503逐次进行这种转换和输出，所以位置关系显示部4能够动态地显示各个用户的讲话声音的时间序列上的变化。
(4)组会话活跃度计算部504
组会话活跃度计算部504考虑属于组的各个用户的声音的物理特征量及其的时间序列上的变化，计算对会话的参与状况，推测组的会话的活跃程度。
具体地讲，组会话活跃度计算部504从分组部3获取各个组的结构信息(例如Gα＝{a、b、c、d、e}等)，并获取由时域信息分析部501计算的各个用户的讲话频次Nc和讲话时间率Rs及标准偏差Srs、由频域信息分析部502计算的欢声及笑声区间的频次Na。组会话活跃度计算部504根据这些信息，利用例如下面的评价式计算组m的组会话活跃度Ag(m)，k0、k1、k2是正的常数。并且，在下式中，AVE[X]表示将属于组m的用户的物理量X平均化。
Ag(m)＝k0*AVE[Nc]+k1*(AVE[Rs]-Srs)+k2*AVE[Na]
组会话活跃度计算部504这样计算通过分析并推测各个用户的声音信息得到的会话活跃度Ag，作为表示组的会话的活跃度的数值。
然后，组会话活跃度计算部504根据计算出的组会话活跃度Ag的值，将用于可视表现组的会话活跃程度的数据、例如把会话活跃度映射为颜色、色彩度、颜色浓度等生成的颜色信息，与表示成为Ag的计算对象的组的识别符相对应，并输出给位置关系显示部4。
2.2位置关系显示部40
图20表示位置关系显示部40的内部结构，标号401、402、403、404、405、406表示的功能部分具有与图4所示的各个功能部分相同的功能，所以标注相同的标号并省略说明。
图4所示的位置关系显示部4与图20所示的位置关系显示部40的不同之处是分配显示计算部417和画面显示部418的处理内容。在本实施方式中，分配显示计算部417被输入了声音信息分析部5的输出即讲话状况的信息(各个用户的讲话的物理信息和组的会话活跃度信息)。具体地讲，分配显示计算部417获取映射了上述各个用户的声音的物理信息的图像数据、映射了各个组的会话的活跃程度的颜色信息和表示该组的识别符。
分配显示计算部417与实施方式1的分配显示计算部407相同，获取由位置关系检测部2检测到的有关多个用户彼此的位置关系的信息、由基准轴设定部401设定的X轴Y轴、由画面分配比率计算部404计算的分配给各个组的画面区域尺寸的比率、由画面配置位置计算部405计算的各个组的画面配置位置、和由画面隔离线计算部406计算的有关画面隔离线的信息，分配显示计算部417根据这些信息，计算在分配给各个组的画面区域中显示属于各个组的用户彼此的位置关系的尺寸。
例如，具体地讲，计算属于各个组的用户的显示位置和显示尺寸、表示各个用户的讲话状况的图像数据的显示位置和方向(以用户的显示位置为基点，与身体的方向相同的方向)，使以各个组G的重心c为中心的、包括属下的用户u的坐标位置在内的最小圆C(在图5的示例中为Cα和Cβ)进入分配给该组的区域中，并具有某种程度的余量。
画面显示部408根据由分配显示计算部407计算的画面显示方法，显示有关多个用户彼此的位置关系的信息和将各个用户的讲话状况视觉化的图像。并且，在所显示的多个用户彼此的位置关系中，联接由各个用户安装/搭载的传感器传感的数据(图像、声音等)，构建在指定了所显示的位置关系中的各个用户位置后再生并弹出各个传感数据的视听UI。
图21是表示在由用户分组部3和位置关系显示部4进行了图5所示的处理时，在画面上显示的显示形式的一例的图，利用箭头对用户a～1附加各个用户面向的方向信息。在该阶段不反映将各个用户的讲话状况视觉化后的信息。
图22是以表现图25所示的声音的大小的方式附加扇形图形的示例。在该扇形图形中附加了表示各个用户的讲话状况的物理信息即声音的大小、高低、音色信息。在该示例中视觉地表现以下状况，即，在组Gα中，用户b对自己所属的组的用户之外的用户讲话，用户c和用户d面对面地会话，用户a、e看着自己所属的组之外的组的方向短时间不讲话的状况。另一方面，在组Gβ中，表现4个用户f、g、h、I互相面对面地讲话的状况。并且，组Gγ是3个用户分别面向自己所属的组之外的组的方向不讲话的状况。在图22的显示中，能够视觉地掌握与3个组的各个用户的讲话状况相对的状况。
图23是以俯视各个组的位置关系的方式进行显示的示例。该情况时，分配显示计算部417按照由位置关系检测部、基准轴设定部和用户分组部输出的信息，计算在画面上的各个用户的显示位置，而不考虑由画面分配比率计算部、画面隔离线计算部和画面配置位置计算部输出的信息。
在该图中，虽然能够掌握3个组的相对位置关系，但由于各个用户的显示尺寸比较小，在对其加入将各个用户的讲话状况的物理信息视觉化得到的图形时，将导致图形过小或重合，所以不能充分实现视觉化。因此，在该显示形式中，分配显示计算部417输出映射了各个组的会话的活跃程度的音色信息，取代表示各个用户的讲话状况的图像的显示位置及方向。
画面显示部418根据对应各个组的颜色信息，比较显示各个组的会话活跃度。在图23中，画面显示部418针对每个组在最小圆C的范围内显示颜色信息表示的颜色，由此利用色彩度或色相等将各个组的会话活跃度视觉化。
并且，画面显示部418也可以根据操作者的操作，切换显示图22所示的画面和图23所示的画面。
2.3声音信息分析部5的动作
图27和图28是表示声音信息分析部5的动作的流程图。下面，使用图27和图28说明声音信息分析部5的动作。
另外，为了便于说明，把图27所示的动作和图28所示的动作记述为独立的附图，但这两个动作可以顺序执行，也可以同时并行执行。并且，也可以把操作者的选择操作作为契机，执行任一种动作。
(1)各个用户的讲话状况的分析
图27表示由声音信息分析部5分析各个用户的讲话状况的动作。在此，虽然图示了对一个用户的讲话状况的分析，但声音信息分析部5是对全部用户逐次反复执行相同的动作。或者，同时对全部用户并行地执行动作。
时域信息分析部501根据从数据传感部1获取的声音信号计算功率信息(步骤S201)。然后，时域信息分析部501根据功率信息的时间序列上的变化程度，检测用户讲话的开始和结束(步骤S202)。
会话显示信息计算部503把从讲话的开始到结束时刻期间的功率值映射转换为表示声音的大小的尺度(例如扇形图形的半径长度、色彩度)(步骤S204)。
另一方面，频域信息分析部502通过FFT(Fast Fourier Transform：快速傅立叶变换)分析从数据传感部1获取的声音信号(步骤S211)，并进行倒谱分析(步骤S212)。然后，根据分析结果计算基音频率(步骤S213)，计算谱矩心(步骤S214)。
会话显示信息计算部503把基音频率映射转换为表示从开始到结束期间的声音的高低的尺度(例如条纹图案的间隔)(步骤S216)。并且，把谱矩心映射转换为表示从开始到结束期间的声音的音色的尺度(例如色相等)。
然后，会话显示信息计算部503向位置关系显示部40输出表示映射转换后的音量、声音的高低、音色的数据(步骤S218)。
(2)组m的会话活跃度的分析
图28表示声音信息分析部5分析组m的会话活跃度的动作。在此，虽然只图示了有关一个组的动作，但声音信息分析部5是对全部组定期地执行相同的动作。
在步骤S220～步骤S233的期间，时域信息分析部501和频域信息分析部502对属于组m的全部用户反复执行步骤S221～步骤S232的处理。在此，为了便于说明而记述为对各个用户反复执行，但也可以对全部用户并行执行步骤S221～步骤S232的处理。
首先，时域信息分析部501根据从数据传感部1获取的声音数据，逐次计算功率信息(步骤S221)。然后，时域信息分析部501根据功率信息的时间序列上的变化程度，检测用户讲话的开始和结束(步骤S222)。
然后，时域信息分析部501根据每单位时间的讲话次数，计算讲话频次Nc(步骤S223)。并且，时域信息分析部501根据每单位时间的讲话时间，计算讲话时间率Rs和标准偏差Srs(步骤S224)。
频域信息分析部502通过FFT分析声音信号(步骤S226)，并进行倒谱分析(步骤S227)。然后，频域信息分析部502根据分析结果计算基音频率(步骤S228)，计算谱矩心(步骤S229)。
然后，频域信息分析部502根据由时域信息分析部501检测的从开始到结束期间的声谱分析，判定声音的类别(声音/欢声及笑声/无声)(步骤S231)。频域信息分析部502根据判定结果，计算每单位时间的欢声及笑声区间的频次Na(步骤S232)。
在反复执行结束后(步骤S233)，时域信息分析部501输出各个用户的讲话频次Nc、讲话时间率Rs、和Rs的标准偏差Srs。
并且，频域信息分析部502输出各个用户的每单位时间的欢声及笑声区间的频次Na。
组会话活跃度计算部504根据由时域信息分析部501和频域信息分析部502输出的数据，计算组m的会话活跃度Ag(m)(步骤S236)。然后，把每单位时间的组m的会话活跃度Ag(m)映射转换为色彩度或色相(步骤S237)。然后，组会话活跃度计算部504向位置关系显示部40输出通过转换生成的表示色彩度或色相的数据(步骤S238)。
3.实施方式3
图29是表示系统的框图，该系统与实施方式1相同，根据各个用户的位置和方向提取并显示处于预定空间内的组，并可视显示受到了用户们的关注的人(或位置)及关注的程度。
根据实施方式3的系统，将处于某个区域(例如一个室内)的多个用户分组并显示，同时能够一目了然地得知用户们集中关注什么地方。
构成该系统的数据传感部1、位置关系检测部2、用户分组部3的结构及动作，与实施方式1相同，所以省略说明，重点说明本实施方式的特征部分。
3.1关注度计算部6
关注度计算部6预先存储各个用户安装的传感器(此处为摄像机)的左右视场角。
关注度计算部6定期从位置关系检测部2获取各个用户的位置和方向，根据所获取的各个用户的位置和方向，计算将用户们对预定位置的关注程度数值化得到的关注度。关注度计算部6从位置关系检测部2获取各个用户的位置和方向，指在实施方式1中说明的各个用户间的相对位置或者相对设置于已知位置的传感器的相对位置。在此，作为一例，利用把一个用户的位置假设为原点的x-y坐标系的坐标，表述各个用户的位置和方向。并且，利用x-y坐标系的坐标表述成为关注度的计算对象的位置。
然后，根据计算出的关注度将各个位置划分级别。关注度计算部6每当获取各个用户的位置和方向时，随时执行关注度计算和级别划分。
下面，说明由关注度计算部6进行的关注度计算步骤和级别划分步骤。
<关于关注度计算>
关注度计算部6根据所获取的各个用户的位置、方向和摄像机的视场角，确定安装了摄像机的用户，该摄像机把成为关注度的计算对象的预定位置(以下称为计算对象位置)捕捉在视场角内。
图30(a)表示预定的计算对象位置306、与安装了把计算对象位置306捕捉在视场角内的摄像机的全部用户(用户a、b、c)的位置关系。图中的虚线表示各个用户安装的摄像机的可拍摄范围。虚线308和309形成的夹角316是用户a安装的摄像机的视场角，虚线311和312形成的夹角317是用户b安装的摄像机的视场角，虚线313和314形成的夹角318是用户c安装的摄像机的视场角。
图30(b)表示计算对象位置(x，y)306、与安装了把计算对象位置(x，y)306捕捉在视场角内的摄像机的一个用户u 304(u＝a、b、c)的位置关系。虚线301和302表示用户u 304安装的摄像机的可拍摄范围，虚线301和302形成的夹角307是摄像机的视场角。虚线303是视场角307的中心线。
认为距用户u 304的距离越短、而且距表示用户u 304的方向的虚线303越近时，用户u 304越关注计算对象位置306。因此，用户u 304对计算对象位置306的关注度Pu，依赖于连接计算对象位置306和用户u 304的线段305的长度、以及线段305与虚线303形成的夹角θu。
作为一例，关注度Pu利用下式3求出。
[数式3]
Pu(x,y)=a&CenterDot;exp{-(x-xu)2+(y-yu)2b}&CenterDot;exp(-θu2c),(a>0,b>0,c>0)]]>·····(式3)
在上式3中，(xu，yu)表示在时刻t时的用户u 304的位置坐标，a、b、c表示正的常数，-π＜θu＜π。
对于各个用户a、b、c进行相同的运算，把Pa(x，y)、Pb(x，y)、Pc(x，y)之和P(x，y)作为对计算对象位置(x，y)306的关注度。
下式4是计算关注度P(x，y)的算式的一例。
[数式4]
P(x,y)=ωnΣu=1nPu(x,y)]]>·····(式4)
在式4中，n表示安装了把计算对象位置306捕捉在视场角内的摄像机的用户的总数(在图30(a)的示例中为3)，u表示赋予给安装了把计算对象位置306捕捉在视场角内的摄像机的用户的序号(例如，u＝1时指用户a)，ωn表示对应n而变动的变量。
另外，如果正在拍摄计算对象位置(x，y)的摄像机一台也不存在(即n＝0)，则P(x，y)＝0。
在此，为了缓和由于瞬间观看旁处等用户视线的变动造成的画面的晃动，也可以把利用取代式4的下式5计算的积分值作为关注度。
[数式5]
E(x,y)=&Integral;t-TtP(x,y)dt]]>·····(式5)
上述的式3、式4和式5只是一例，只要是关注度随着线段305的长度及角度θu的绝对值减小而增加的算式，也可以使用其他的运算算式。
按照以上说明的步骤，对x-y平面上的各个计算对象位置计算关注度P(x，y)。成为关注度计算对象的位置、计算对象位置的总数及其间隔可以预先设定。例如，把原点及在x轴方向间隔0.2米、在y轴方向间隔0.2米配置成网格状的各点作为计算对象位置。或者，也可以根据用户所在的区域(例如室内)的大小和用户总数，随时计算关注度的计算对象位置、间隔、计算对象位置的总数。或者，也可以由该系统的操作者受理计算对象位置的输入。
<关于级别划分>
关注度计算部6预先存储阈值th1、th2、th3…(th1＞th2＞th3…＞thm，m是自然数)。
关注度计算部6比较计算出的关注度A(x，y)的值和阈值th1、th2、th3…，把满足A≥th1的计算对象位置设为第1级，把满足th1＞A≥th2的计算对象位置设为第2级，把满足th2＞A≥th3的计算对象位置设为第3级，以此类推，按照关注度将各个计算对象位置划分级别。然后，将表示各个级别的级别信息与属于该级别的计算对象位置的坐标相对应，并输出给位置关系显示部7。另外，不向位置关系显示部7输出满足thm＞A的计算对象位置的坐标。
3.2位置关系显示部7
位置关系显示部7基本上与实施方式1中图4所示的结构相同，所以省略相同部分的说明，只说明与图4不同的分配显示计算部。
分配显示计算部与实施方式1相同，根据从位置关系检测部2和位置关系显示部7内的各个功能部分获取的信息，计算在画面上分配给各个组的区域和各个信息的显示尺寸、显示位置。
另外，分配显示计算部按照各个级别，从关注度计算部6获取级别信息和表示属于该级别信息表示的级别的位置的坐标。
在接收到上述信息后，分配显示计算部使用由基准轴设定部生成的转换矩阵，把接收到的全部坐标从xy坐标转换为XY坐标。
然后，分配显示计算部计算各个位置在画面上的显示位置。并且，向对应属于同一级别的位置的显示位置分配同一颜色。
画面显示部在由分配显示计算部计算的显示位置显示各个组的用户和画面隔离线，并显示对计算出的显示位置分配的颜色。
图31是由画面显示部显示的画面的一例。图31所示的画面511被画面隔离线521、522和523分割为区域512、514和515。在区域515显示由用户a、b、c、d、e形成的组。在区域512显示由用户f、g、h和i形成的组。在区域514显示由用户j、k、l形成的组。附图中的箭头表示各个用户的视线的方向。
现在，用户A的附近受到了用户的关注，包括用户a的区域526是关注度最高的第1级区域，被显示为最深的颜色。区域527是关注度第二高的第2级区域，被显示为比区域526略浅的颜色。区域528是关注度第三高的第3级区域，被显示为比区域527还浅的颜色。
3.4关注度计算部6的动作
图32是表示关注度计算部6的动作的流程图。关注度计算部6定期或逐次反复执行图32所示的一系列动作。下面，参照图32说明关注度计算部6的动作。
首先，关注度计算部6从位置关系检测部2获取表示各个用户的位置和方向的信息(步骤S251)。
然后，在步骤S252～步骤S256的期间，关注度计算部6对全部计算对象位置反复执行步骤S253～步骤S254的处理。
关注度计算部6检测安装了把计算对象位置(x，y)捕捉在视场角内的摄像机的用户(步骤S253)。关注度计算部6根据检测到的各个用户的位置、方向等，计算关注度A(x，y)(步骤S254)。
在对全部计算对象位置的反复执行结束后(步骤S256)，关注度计算部6根据计算出的关注度的值，将各个计算对象位置划分级别(步骤S257)。然后，关注度计算部6按照每个级别，将表示级别的信息与属于该级别的计算对象位置的坐标相对应，并输出给位置关系显示部7(步骤S258)。
3.5实施方式3的补充及变形例
(1)在上述实施方式中，在预定范围内(例如室内)的整个面上均匀地配置计算关注度的位置，但不限于此。
例如，也可以把由用户分组部检测到的组的附近作为关注度的计算对象范围。该情况时，例如，关注度计算部6对于各个组计算重心c’，并计算以c’为中心的包括属于组的全部用户在内的最小圆的半径r’。
关注度计算部6把从组的中心c’到半径(r+n)的范围作为关注度的计算对象范围(n可以是任意常数，也可以是根据半径r及属于该组的用户数量而增减的变量)。
关注度计算部6把关注度的计算对象范围内的任意位置作为关注度的计算对象位置。
(2)在上述实施方式3中，关注度计算部6根据计算出的关注度，把各个计算对象位置划分为多个级别，结果，显示在画面上的图像利用同一颜色显示属于相同级别的计算对象位置的部分。但是，也可以不这样离散地划分级别，而使所显示的颜色的浓度和色彩与计算出的关注度的值成比例地变化。
(3)在上述实施方式3中，只按照正在拍摄计算对象位置的摄像机的位置与计算对象位置的位置关系来计算关注度。但是，也可以假设为用户所在的位置比较容易受到关注，并按照下面的步骤计算关注度。
把对在实施方式3中说明的P(x，y)追加了项Q(x，y)的值设为关注度E，该项Q(x，y)表示因处于计算对象位置(x，y)附近的用户形成的影响。
该情况时，关注度计算部6确定把一个计算对象位置(x，y)捕捉在视场角内的摄像机。利用所确定的摄像机，确定与所述计算对象位置一起被拍摄的用户。
所确定的用户中的一个人(用户u)对计算对象位置(x，y)形成的影响Qu，例如按照下式6算出。
[数式6]
Qu(x,y)=d&CenterDot;exp{-(x-xu)2+(y-yu)2e}&CenterDot;exp(-φu2f),(d>0,e>0,f>0)]]>·····(式6)
其中，(xu，yu)是表示用户u的位置的坐标，φu表示用户u的方向与从用户u的位置到位置(x，y)的方向之间的夹角(-π＜φu＜π)。另外，d、e、f是正常数。
然后，关注度计算部6利用下式7，计算所确定的全部用户对计算对象位置(x，y)形成的影响Q(x，y)。
[数式7]
Q(x,y)=ωmΣu=1mQu(x,y)]]>······(式7)
其中，在式7中，m表示与所述计算对象位置(x，y)一起被拍摄的用户的总数，u表示计数与所述计算对象位置一起被拍摄的用户的变量，ωm表示根据m而变动的变量。
另外，在m＝0时，Q(x，y)＝0。
然后，关注度计算部6根据利用上式求出的P和Q，计算计算对象位置(x，y)的关注度E(x，y)。
E(x，y)＝P(x，y)+Q(x，y)
并且，为了缓和由于瞬间观看旁处等用户视线的变动造成的图像的晃动，也可以把利用取代式7的下式8求出的积分值用作关注度E(x，y)。
[数式8]
E(x,y)=&Integral;t-TtP(x,y)+Q(x,y)dt]]>·····(式8)
(4)在上述实施方式3中，关注度计算部6对坐标平面上的各个位置计算了关注度，但也可以计算表示处于室内的各个用户受到其他用户的何种程度的关注的值，作为关注度。
该情况时，计算对象位置成为各个用户的位置。
因此，关于对一个用户j(计算对象用户)的关注度E(xj，yj)，将计算对象用户j的位置坐标(xj，yj)代入到上式4中即可。
然后，关注度计算部6比较计算出的关注度Ej和预定的阈值Th，在满足Eu≥Th时，向位置关系显示部7输出表示计算对象用户j的用户识别信息。
位置关系显示部7内的分配显示计算部从关注度计算部6获取用户识别信息。在获取了用户识别信息后，在画面上，对获取到的识别信息表示的用户分配与其他用户不同的形式。例如，可以考虑被分配了形状和大小与其他用户不同的图标、以及与其他用户不同的颜色的情况等。
(5)在上述实施方式3及变形例中，假设计算对象用户停止在预定的位置来计算关注度。但是，也可以假设为按照时间存储关注度，并计算移动的计算对象用户j的关注度。
例如，如图33所示，计算对象用户j从位置532通过位置533向位置534移动。
处于位置531的用户i关注计算对象用户j，并跟随计算对象用户j的移动，向方向536、方向537、方向538变动身体的方向。直线539和540表示在用户j处于位置534的时刻，由用户i安装的摄像机的可拍摄范围。
这样，在计算对象用户j移动时，作为其他用户对计算对象用户j的关注度Ej的一例，利用下式9算出。
[数式9]
·····(式9)
在式9中，变量n表示正在关注计算对象用户j的、安装了将计算对象用户j更准确地捕捉在视场角内的摄像机的用户的总数，tij表示计算对象用户j进入摄影侧的用户i的摄像机的视场角内的时刻。ωn表示根据变量n而决定的任意常数。
这样，关注度计算部6在计算对象用户j移动时，也能够计算其他用户对该计算对象用户j的关注度。
然后，关注度计算部6比较计算出的关注度E(j)和预定的阈值Th，在满足E(j)≥Th时，向位置关系显示部7输出表示被摄体用户j的用户识别信息。
位置关系显示部7内的分配显示计算部从关注度计算部6获取用户识别信息。在获取了用户识别信息后，在画面上，对获取到的识别信息表示的用户分配与其他用户不同的形式。例如，可以考虑被分配了形状和大小与其他用户不同的图标、以及与其他用户不同的颜色的情况等。
4.其他变形例
以上，根据上述实施方式说明了本发明，但本发明当然不限于上述实施方式，以下所述的情况也包含于本发明中。
(1)在上述实施方式1-3及其变形例中，位置关系显示部也可以具有以下所述的功能。
位置关系显示部也可以包括触摸屏、鼠标、键盘等输入部，并受理操作者的操作。例如，在画面显示部显示有各个组的状态下，在进行了选择某个用户的操作时，分配显示计算部从数据传感部获取由被选择的用户安装的摄像机拍摄到的图像，并输出给画面显示部。画面显示部在当前正显示的画面上弹出并显示获取到的图像。
图34表示此时显示的画面的一例。在画面541上，在区域546、547、548分别显示有构成组的用户。图中的箭头表示各个用户的方向。操作者操作输入部，使指针542移动并选择用户a。在选择了用户a后，由用户a安装的摄像机拍摄到的图像543被弹出并显示在用户a的附近。虚线544和545表示由用户a安装的摄像机的可拍摄范围。
(2)另外，在上述变形例(1)的基础上，还可以显示由其他用户安装的摄像机拍摄到的图像中、捕捉到了被操作者选择的用户的图像。
具体地讲，分配显示计算部根据各个用户的位置、方向、摄像机的视场角，确定安装了将被选择的用户捕捉到视场角内的摄像机的用户。然后，分配显示计算部从数据传感部获取由所确定的用户安装的摄像机拍摄到的图像，并将获取到的图像输出给画面显示部。画面显示部在正显示的画面上弹出并显示获取到的图像。
图35表示此时显示的画面551的一例。图中的虚线561～599表示用户b、e、g、j安装的摄像机的可拍摄范围。虚线561和562表示用户b安装的摄像机的可拍摄范围，虚线561和562形成的夹角是摄像机的视场角。虚线563和564表示用户e安装的摄像机的可拍摄范围，虚线566和567表示用户g安装的摄像机的可拍摄范围，虚线568和569表示用户j安装的摄像机的可拍摄范围。由此，可以得知用户a位于用户b、e、g、j安装的摄像机的视场角内。
操作者操作输入部使指针552移动，并选择用户a。在选择了用户a后，由用户a安装的摄像机拍摄到的图像558被弹出并显示。然后，由用户b、e、g、j安装的摄像机拍摄到的图像553、554、556和557被弹出并显示。在图像553、554、556和557中都显示有用户a。
(3)在上述变形例(1)、(2)中，在弹出画面上显示有关被选择的用户的图像，但不限于这种方法。
例如，画面显示部在具有多个显示装置的情况下、以及在一个画面中能够进行分割显示的情况下，也可以在一个显示装置(或一个显示区域)显示被分组的各个用户的位置，在其他显示装置(或其他显示区域)显示有关被选择的用户的图像。
(4)图36表示搭载了在实施方式1～3及变形例中说明的系统的装置的一例即终端装置1000的外观。
终端装置1000具体地讲是包括微处理器、RAM、ROM在内构成的计算机系统，在RAM、ROM中存储有计算机程序。所述微处理器按照所述计算机程序而动作，由此终端装置1000实现其功能的一部分。
终端装置1000具有显示器1001、输入部1002和通信部1003。
显示器1001是构成画面显示部的显示装置，用于显示各种画面。
输入部1002构成为包括由操作者操作的各种按钮。
通信部1003具有无线通信机构，从各个用户安装的传感器收集数据。通信部1003发挥上述数据传感部的作用。
另外，利用搭载在内部的微处理器和计算机程序，实现上述的位置关系检测部、用户分组部、声音信息分析部、关注度计算部、位置关系显示部的功能。
另外，终端装置1000也可以只搭载系统的一部分功能。例如，数据传感部和位置关系检测部可以搭载在其他检测设备上，终端装置1000可以是通过通信部1003从检测设备获取各个用户的位置信息等各种信息，并进行分析及画面显示的设备。
另外，终端装置1000不一定是该系统的专用设备，例如也可以是便携式电话、便携式游戏机、PDA等。
(5)另外，图37表示用于实现在上述实施方式和变形例中说明的系统的设备结构的其他示例。
在该示例中，系统由STB(Set Top Box：机顶盒)装置2001、TV装置2002、未图示的控制器、数据传感装置构成。
未图示的数据传感装置具有数据传感部的功能，从各个用户安装的传感器获取图像数据、语音数据等，并通过有线或无线通信将获取到的数据输出给STB装置2001。
STB装置2001例如是HDD记录器、DVD记录器、组合设备等。STB装置2001具体地讲是包括微处理器、RAM、ROM在内构成的计算机系统，在RAM、ROM中存储有计算机程序。所述微处理器按照所述计算机程序而动作，由此STB装置2001实现其功能的一部分。
STB装置2001具有在上述实施方式中说明的系统中的位置关系检测部、用户分组部、声音信息分析部、关注度计算部、位置关系显示部的大部分功能。
TV装置2002是PDP、LCD等，并与所述STB连接。TV装置2002发挥位置关系检测部内的画面显示部的作用，显示计算出的用户彼此的位置关系和由所指定的用户安装的摄像机拍摄到的图像等。
(6)在上述实施方式及变形例中，说明了把处于室内等预定区域的用户即人作为对象来进行分组、以及进行位置关系的显示的技术，但不限于人，也可以把汽车和自行车这种移动设备、被放牧的家畜、野生动物等作为对象。
(7)另外，本发明可以是用户关系显示装置，其特征在于，具有：用户分组单元，其根据有关多个用户之间的关系的信息，将所述多个用户分组为多个组；和用户关系显示单元，其根据由所述用户分组单元提取的有关多个组的信息，在画面上配置并显示各个组。
(8)上述变形例(7)的用户关系显示装置还具有检测多个用户的位置关系的位置关系检测单元，所述用户分组单元根据由所述位置关系检测单元检测到的有关多个用户的位置关系的信息，将所述多个用户分组为多个组，所述用户关系显示单元根据由所述用户分组单元提取的有关多个组的信息，在画面上配置各个组，并显示属于各个组的用户的位置关系。
(9)构成上述变形例(8)的用户关系显示装置的用户关系显示单元，还以能够掌握由所述用户分组单元提取的多个组的关系的形式，在画面上配置并显示各个组。
(10)在上述变形例(7)或(8)的用户关系显示装置中，所述用户关系显示单元还以能够掌握由所述用户分组单元提取的多个组的关系的形式，在画面上显示用于分割各个组的隔离线。
(11)上述变形例(7)或(8)的所述用户关系显示单元，其特征在于，还根据由所述用户分组单元提取的有关多个组的信息，在画面上设定分配给各个组的区域尺寸。
(12)在上述变形例(7)或(8)的用户关系显示装置中，所述用户关系显示单元还显示能够掌握由所述用户分组单元提取的多个组的各个组彼此的实际尺寸比较的信息。
(13)上述变形例(7)的所述用户关系显示装置还具有：检测多个用户的位置关系的位置关系检测单元；和分析多个用户发出的声音信息的声音信息分析单元，所述用户分组单元根据由所述位置关系检测单元检测到的有关多个用户的位置关系的信息，将所述多个用户分组为多个组，所述用户关系显示单元根据由所述用户分组单元提取的有关多个组的信息，在画面上配置各个组，并且视觉地显示属于各个组的用户的位置关系、和各个组中的会话状况。
(14)构成上述变形例(13)的用户关系显示装置的所述声音信息分析单元，针对多个用户发出的声音信息，分析各个讲话的时域信息、频域信息，并根据这些信息计算每个组的会话活跃度。
(15)构成上述变形例(13)或(14)所述的用户关系显示装置的所述用户关系显示单元，还以能够视觉地掌握属于由所述用户分组单元提取的组的各个用户的会话的物理特征及其时间变化状况的形式，在画面上进行显示。
(16)构成上述变形例(13)或(14)所述的用户关系显示装置的所述用户关系显示单元，还以能够视觉地比较由所述用户分组单元提取的多个组的全局会话活跃度的形式，在画面上进行显示。
(17)构成上述变形例(13)或(14)所述的用户关系显示装置的所述用户关系显示单元，根据由所述用户分组单元提取的有关多个组的信息，在画面上设定分配给各个组的区域尺寸，并选择画面上的会话状况的显示形式。
(18)另外，本发明也可以是用户关系显示方法，包括：用户分组步骤，根据有关多个用户之间的关系的信息，将所述多个用户分组为多个组；和用户关系显示步骤，根据通过所述用户分组步骤提取的有关多个组的信息，在画面上配置并显示各个组。
(19)另外，本发明也可以是使用户关系显示装置执行用户关系显示处理的计算机程序，包括：用户分组步骤，根据有关多个用户之间的关系的信息，将所述多个用户分组为多个组；和用户关系显示步骤，根据通过所述用户分组步骤提取的有关多个组的信息，在画面上配置并显示各个组。
(20)另外，本发明也可以是搭载在用户关系显示装置上的集成电路，具有：用户分组单元，其根据有关多个用户之间的关系的信息，将所述多个用户分组为多个组；和用户关系显示单元，其根据由所述用户分组单元提取的有关多个组的信息，在画面上配置并显示各个组。
(21)上述变形例(18)的用户关系显示方法还包括检测多个用户的位置关系的位置关系检测步骤，在所述用户分组步骤，根据通过所述位置关系检测步骤检测到的有关多个用户的位置关系的信息，将所述多个用户分组为多个组，在所述用户关系显示步骤，根据通过所述用户分组步骤提取的有关多个组的信息，在画面上配置各个组，并显示属于各个组的用户的位置关系。
(22)上述变形例(19)的所述计算机程序还包括检测多个用户的位置关系的位置关系检测步骤，在所述用户分组步骤，根据通过所述位置关系检测步骤检测到的有关多个用户的位置关系的信息，将所述多个用户分组为多个组，在所述用户关系显示步骤，根据通过所述用户分组步骤提取的有关多个组的信息，在画面上配置各个组，并显示属于各个组的用户的位置关系。
(23)上述变形例(20)的集成电路还具有检测多个用户的位置关系的位置关系检测单元，所述用户分组单元根据由所述位置关系检测单元检测到的有关多个用户的位置关系的信息，将所述多个用户分组为多个组，所述用户关系显示单元根据由所述用户分组单元提取的有关多个组的信息，在画面上配置各个组，并显示属于各个组的用户的位置关系。
(24)上述变形例(18)的用户关系显示方法还包括：检测多个用户的位置关系的位置关系检测步骤；和分析多个用户发出的声音信息的声音信息分析步骤，在所述用户分组步骤，根据通过所述位置关系检测步骤检测到的有关多个用户的位置关系的信息，将所述多个用户分组为多个组，在所述用户关系显示步骤，根据通过所述用户分组步骤提取的有关多个组的信息，在画面上配置各个组，并且视觉地显示属于各个组的用户的位置关系、和各个组中的会话状况。
(25)上述变形例(19)所述的计算机程序还包括：检测多个用户的位置关系的位置关系检测步骤；和分析多个用户发出的声音信息的声音信息分析步骤，在所述用户分组步骤，根据通过所述位置关系检测步骤检测到的有关多个用户的位置关系的信息，将所述多个用户分组为多个组，在所述用户关系显示步骤，根据通过所述用户分组步骤提取的有关多个组的信息，在画面上配置各个组，并且视觉地显示属于各个组的用户的位置关系、和各个组中的会话状况。
(26)上述变形例(20)的集成电路还具有：检测多个用户的位置关系的位置关系检测单元；和分析多个用户发出的声音信息的声音信息分析单元，所述用户分组单元根据由所述位置关系检测单元检测到的有关多个用户的位置关系的信息，将所述多个用户分组为多个组，所述用户关系显示单元根据由所述用户分组单元提取的有关多个组的信息，在画面上配置各个组，并且视觉地显示属于各个组的用户的位置关系、和各个组中的会话状况。
(27)上述系统具体地讲是由微处理器、ROM、RAM、硬盘装置、显示器装置、键盘、鼠标等构成的计算机系统。在所述RAM、ROM、所述硬盘装置中存储有计算机程序。所述微处理器按照所述计算机程序而动作，由此所述系统实现其功能。在此，计算机程序为了实现预定的功能，可以组合多个表示对计算机的指令的命令代码而构成。
(28)构成上述系统的构成要素的一部分或全部可以由一个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI可以是在一个芯片上集成多个构成部分制得的超多功能LSI，具体地讲，可以是包括微处理器、ROM、RAM等在内构成的计算机系统。在所述RAM中存储有计算机程序。所述微处理器按照所述计算机程序而动作，由此系统LSI实现其功能。
这些LSI可以形成为独立的单片，也可以形成为包含一部分或全部的单片。此处是设为LSI，但根据集成程度的不同，可以称为IC、系统LSI、超级LSI、特级LSI等任一种。
并且，集成电路化的方法不限于LSI，也可以利用专用电路或通用处理器实现。也可以采用在制作LSI后能够编程的FPGA(Field ProgrammableGate Array)、能够再构成LSI内部的电路单元的连接和设定的再配置处理器。
另外，如果伴随半导体技术的发展或利用派生的其他技术替换LSI的集成电路化的技术问世，当然也可以使用该技术进行功能单元的集成化。还存在适用仿生技术等的可能性。
(29)构成上述系统的构成要素的一部分或全部也可以由能够在各个装置上插拔的IC卡或单体模块构成。所述IC卡或所述模块是由微处理器、ROM、RAM等在内构成的计算机系统。所述IC卡或所述模块也可以包含上述的超多功能LSI。微处理器按照计算机程序而动作，由此所述IC卡或所述模块实现其功能。该IC卡或该模块可以具有防篡改性。
(30)本发明也可以是以上所示的方法。并且，也可以是利用计算机实现这些方法的计算机系统，还可以是由所述计算机程序构成的数字信号。
并且，本发明也可以将所述计算机程序或所述数字信号记录在计算机可以读取的记录介质中，所述记录介质例如是软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc：蓝光盘)、半导体存储器等。并且，本发明还可以是记录在这些记录介质中的所述计算机程序或所述数字信号。
并且，本发明也可以构成为经由电气通信线路、无线或有线通信线路、要因特网为代表的网络、数据播放等，传输所述计算机程序或所述数字信号。
并且，本发明也可以构成为具有微处理器和存储器的计算机系统，所述存储器存储所述计算机程序，所述微处理器按照所述计算机程序而动作。
并且，本发明也可以构成为将所述程序或所述数字信号记录在所述记录介质中并传输，或者经由所述网络等传输所述程序或所述数字信号，从而能够利用独立的其他计算机系统来实施。
(31)本发明也可以分别组合上述实施方式和上述变形例来实施。
产业上的可利用性
本发明涉及的用户关系显示装置作为构建用于合理显示多个用户彼此的关系的界面的技术比较有用。