《终端、视频通话控制服务器及利用它们的视频通话系统及方法.pdf》由会员分享,可在线阅读,更多相关《终端、视频通话控制服务器及利用它们的视频通话系统及方法.pdf(27页珍藏版)》请在专利查询网上搜索。
1、10申请公布号CN104094593A43申请公布日20141008CN104094593A21申请号201380007775522申请日20130129102012001118420120203KR102012013514920121127KR102013000938320130128KRH04N7/1420060171申请人三星SDS株式会社地址韩国首尔市72发明人金昌镐林炫喆梁在镐尹熙兑文晶焕74专利代理机构北京铭硕知识产权代理有限公司11286代理人胡江海韩明星54发明名称终端、视频通话控制服务器及利用它们的视频通话系统及方法57摘要本发明公开了一种终端、视频通话控制服务器及利用它们的。
2、视频通话系统及方法。根据本发明的实施例的视频通话系统包括终端,用于发送拍摄视频通话用户的图像;及视频通话控制服务器,用于形成将一个以上的终端所发送的图像进行合成的合成图像,并将所述合成图像发送到所述终端,其中,各个图像根据在终端感测的姿势信息来旋转,从而被合成为所述合成图像。30优先权数据85PCT国际申请进入国家阶段日2014080186PCT国际申请的申请数据PCT/KR2013/0007032013012987PCT国际申请的公布数据WO2013/115541KO2013080851INTCL权利要求书3页说明书13页附图10页19中华人民共和国国家知识产权局12发明专利申请权利要求书3。
3、页说明书13页附图10页10申请公布号CN104094593ACN104094593A1/3页21一种视频通话系统,包括终端,用于发送拍摄视频通话用户的图像;及视频通话控制服务器,用于形成将一个以上的终端所发送的各个图像进行合成的合成图像,并将所述合成图像发送到所述终端,其中,所述各个图像根据在所述终端感测的姿势信息来旋转,从而被合成为所述合成图像。2根据权利要求1所述的视频通话系统,其中,所述终端将所述姿势信息发送到所述视频通话控制服务器,所述视频通话控制服务器根据接收的所述姿势信息使得从所述终端接收的图像旋转为标准姿势,并通过合成旋转的图像来形成所述合成图像。3根据权利要求2所述的视频通话。
4、系统,其中,所述终端将所述终端的画面比例信息连同所述姿势信息一起发送到所述视频通话控制服务器。4根据权利要求2所述的视频通话系统,其中,所述终端在发送所述姿势信息之后,在所述终端的姿势改变的情况下,将与改变的姿势对应的姿势信息发送到所述视频通话控制服务器。5根据权利要求1所述的视频通话系统,其中,所述终端感测姿势信息,并根据感测到的所述姿势信息使拍摄的图像旋转到标准姿势并发送到所述视频通话控制服务器。6根据权利要求5所述的视频通话系统,其中,所述终端在发送所述姿势信息之后,在所述终端的姿势改变的情况下,根据与改变的姿势对应的姿势信息使所述拍摄的图像旋转并发送到所述视频通话控制服务器。7根据权利。
5、要求5所述的视频通话系统,其中,所述视频通话控制服务器通过所述终端发送的图像来确认所述终端的画面模式,并根据所述画面模式形成所述合成图像并发送到所述终端。8根据权利要求7所述的视频通话系统,其中,所述视频通话控制服务器由从所述终端接收的图像确认所述画面模式及所述终端的画面比例,并根据所述画面模式及所述画面比例来形成所述合成图像并发送到所述终端。9一种视频通话方法,包括如下步骤在终端中,发送拍摄视频通话用户的图像;在视频通话控制服务器中,形成将一个以上的终端所发送的图像进行合成的合成图像;及在所述视频通话控制服务器中,将所述合成图像发送到所述终端,其中,构成所述合成图像的各个图像根据在所述终端感。
6、测的姿势信息来旋转而合成。10根据权利要求9所述的视频通话方法,其中,发送所述图像的步骤还包括将所述终端的姿势信息发送到所述视频通话控制服务器的步骤,且在形成所述合成图像的步骤中,根据接收的所述姿势信息使得从所述终端接收的图像旋转为标准姿势,并通过合成旋转的图像来形成所述合成图像。11根据权利要求10所述的视频通话方法,其中,发送所述图像的步骤还包括如下步骤将所述终端的画面比例信息连同所述姿势信息一起发送到所述视频通话控制服务器。12根据权利要求10所述的视频通话方法,其中,所述终端在发送所述姿势信息之后,在所述终端的姿势改变的情况下,将与改变的姿势对应的姿势信息发送到所述视频通话控权利要求书。
7、CN104094593A2/3页3制服务器。13根据权利要求9所述的视频通话方法,其中,发送所述图像的步骤还包括如下步骤感测所述终端的姿势信息;及根据感测到的所述姿势信息使拍摄的图像旋转为标准姿势并发送到所述视频通话控制服务器。14根据权利要求13所述的视频通话方法,其中,所述终端在发送所述姿势信息之后,在所述终端的姿势改变的情况下,根据与改变的姿势对应的姿势信息使所述拍摄的图像旋转并发送到所述视频通话控制服务器。15根据权利要求13所述的视频通话方法,其中,形成所述合成图像的步骤还包括如下步骤通过所述终端发送的图像来确认所述终端的画面模式;及根据所述画面模式形成所述合成图像。16根据权利要求。
8、15所述的视频通话方法,其中,形成所述合成图像的步骤还包括如下步骤由从所述终端接收的图像确认所述画面模式及所述终端的画面比例;及根据所述画面模式及所述画面比例来形成所述合成图像。17一种视频通话控制服务器,包括通信单元,从一个以上的终端接收各个终端的姿势信息及拍摄相关用户的图像;图像旋转单元,将所述通信单元接收的图像中的需要根据所述姿势信息旋转为标准姿势的图像旋转为标准姿势;及合成图像形成单元,通过合成所述通信单元接收的图像中的没有必要旋转为所述标准姿势的图像及所述通信单元接收的图像中的通过所述图像旋转单元而被旋转为所述标准姿势的图像来形成合成图像,其中,所述通信单元将所述合成图像分别发送到所。
9、述各个终端。18根据权利要求17所述的视频通话控制服务器,其中,所述通信单元从所述多个终端接收各个终端的标准画面比例信息。19根据权利要求18所述的视频通话控制服务器,其中,所述合成图像形成单元根据所述标准画面比例信息及所述姿势信息形成所述合成图像。20一种视频通话控制服务器,包括通信单元,从一个以上的终端接收拍摄视频通话用户的图像;图像分析单元,从接收的所述图像检测出各个终端的画面模式;及合成图像形成单元,将接收的所述图像根据检测出的所述各个终端的画面模式来进行合成而形成合成图像,其中,所述通信单元将所述合成图像发送到相关的终端。21根据权利要求20所述的视频通话控制服务器,其中,所述图像分。
10、析单元从接收的所述图像检测出各个终端的画面比例,所述合成图像形成单元将接收的所述图像根据所述各个终端的画面模式及所述画面比例进行合成而形成合成图像。22一种终端,用于视频通话系统,包括权利要求书CN104094593A3/3页4拍摄单元,拍摄视频通话用户;姿势信息感测单元,感测从所述终端的已设定的标准姿势旋转的状态;图像旋转单元,根据所述旋转的状态来使所述拍摄单元拍摄的图像旋转;及视频通话单元,发送由所述拍摄单元拍摄的图像或者由所述图像旋转单元旋转的图像。权利要求书CN104094593A1/13页5终端、视频通话控制服务器及利用它们的视频通话系统及方法技术领域0001本发明的实施例涉及一种视。
11、频通话技术,更详细地讲,涉及一种能够使各个用户观看与标准姿势相同的方向的图像画面的终端、视频通话控制服务器及利用它们的视频通话系统和方法。背景技术0002最近,随着信息通信技术的发展,通过便携式终端不仅可以实现语音通话而且还可以实现视频通话。视频通话服务是指在通过附着于便携式终端的摄像机来拍摄自己的图像之后,分别发送到对方的便携式终端而彼此之间看着对方的脸进行通话的服务。0003视频通话服务可分类为呼叫者和接收者之间的一对一视频通话和多方视频通话。这里,多方视频通话主要通过被称为多点控制单元MCUMULTIPOINTCONTROLUNIT的控制装置来实现。MCU是指如下的一种装置,所述装置接收。
12、各个便携式终端发送的语音及视频,并在将多个语音及视频分别合成为一个语音及视频之后,发送给各个便携式终端。0004图1为示出现有技术中的利用多点控制单元MCUMULTIPOINTCONTROLUNIT的视频通话系统的图。0005参照图1,在现有的视频通话系统中,由于MCU20在直接合成由各个便携式终端11、12、13、14发送的图像A、B、C、D之后将合成的图像I发送到各个便携式终端11、12、13、14,因此根据各个便携式终端11、12、13、14的拍摄时的姿势而可能会使合成的图像I中的图像A、B、C、D具有彼此不同的姿势。0006例如,在便携式终端11及便携式终端14在从标准姿势按顺时针方向。
13、旋转90度角的状态下进行拍摄,便携式终端12及便携式终端13在标准姿势下进行拍摄的情况下,便携式终端11及便携式终端14拍摄的图像A及图像D在MCU20分别以按逆时针方向旋转90度角的姿势来合成,便携式终端12及便携式终端13拍摄的图像B及图像C在MCU20分别以标准姿势来被合成。0007在这种情况下,观看将各个便携式终端11、12、13、14的用户合成的图像I,由于在合成的图像I中图像A及图像D被视为按逆时针方向90度躺着的状态,因此在视频通话时会感到异质感且不便观看。发明内容0008技术问题0009本发明的实施例旨在提供一种即使终端旋转,各个视频通话用户也能在拍摄的图像中维持标准方向的同时。
14、在拍摄的图像中得到显示的终端、视频通话控制服务器及利用它们的视频通话系统及方法。0010技术方案0011根据本发明的一个实施例的视频通话系统包括终端,用于发送拍摄视频通话用说明书CN104094593A2/13页6户的图像;及视频通话控制服务器,用于形成将一个以上的终端所发送的各个图像进行合成的合成图像,并将所述合成图像发送到所述终端,其中,所述各个图像根据在所述终端感测的姿势信息来旋转,从而被合成为所述合成图像。0012根据本发明的一个实施例的视频通话方法包括如下步骤在终端中,发送拍摄视频通话用户的图像;在视频通话控制服务器中,形成将一个以上的终端所发送的图像进行合成的合成图像;及在所述视频。
15、通话控制服务器中,将所述合成图像发送到所述终端,其中,构成所述合成图像的各个图像根据在所述终端感测的姿势信息来旋转而被合成。0013此外,根据本发明的一个实施例的视频通话控制服务器包括通信单元,从一个以上的终端接收各个终端的姿势信息及拍摄相关用户的图像;图像旋转单元,将所述通信单元接收的图像中的需要根据所述姿势信息旋转为标准姿势的图像旋转为标准姿势;及合成图像形成单元,通过合成所述通信单元接收的图像中的没有必要旋转为所述标准姿势的图像及所述通信单元接收的图像中的通过所述图像旋转单元而被旋转为所述标准姿势的图像来形成合成图像,其中,所述通信单元将所述合成图像分别发送到所述各个终端。0014此外,。
16、根据本发明的另一实施例的视频通话控制服务器包括通信单元,从一个以上的终端接收拍摄视频通话用户的图像;图像分析单元,从接收的所述图像检测出各个终端的画面模式;及合成图像形成单元,将接收的所述图像根据检测出的所述各个终端的画面模式来进行合成而形成合成图像,其中,所述通信单元将所述合成图像发送到相关的终端。0015此外,根据本发明的一个实施例的终端包括拍摄单元,拍摄视频通话用户;姿势信息感测单元,感测从所述终端的已设定的标准姿势旋转的状态;图像旋转单元,根据所述旋转的状态来使所述拍摄单元拍摄的图像旋转;及视频通话单元,发送由所述拍摄单元拍摄的图像或者由所述图像旋转单元旋转的图像。0016有益效果00。
17、17根据本发明的实施例,即使各个终端在不同的姿势下拍摄用户而执行视频通话,也可从视频通话控制服务器接收视频通话用户在各个图像中按照标准方向被显示的合成图像。在这种情况下,各个终端的用户可在没有由于其他用户的图像被视为旋转的状态而导致的异质感及不便性的情况下执行视频通话。附图说明0018图1是示出现有技术中的利用的MCUMULTIPOINTCONTROLUNIT,多点控制单元的视频通话系统的图。0019图2是示出根据本发明的第一实施例的视频通话系统的图。0020图3是示出根据本发明的第一实施例的从终端的从标准姿势旋转的状态的图。0021图4是示出在根据本发明的第一实施例的视频通话系统中,在视频通。
18、话控制服务器利用从各个终端发送的姿势信息来旋转图像之后,形成合成图像的状态的图。0022图5是示出根据本发明的第一实施例的视频通话控制服务器的构成的图。0023图6是示出根据本发明的第一实施例的视频通话方法的顺序图。0024图7是示出根据本发明的第二实施例的视频通话系统的图。0025图8是示出根据本发明的第二实施例的终端从标准姿势按顺时针方向每次旋转说明书CN104094593A3/13页790度的状态及根据从标准姿势旋转的状态来旋转拍摄图像的状态的图。0026图9是示出根据本发明的第二实施例的视频通话控制服务器通过从各个终端发送的图像形成合成图像的状态的图。0027图10是示出根据本发明的第。
19、二实施例的终端的构成的图。0028图11是示出根据本发明的第二实施例的视频通话控制服务器的构成的图。0029图12是示出根据本发明的第二实施例的视频通话方法的顺序图。0030符号说明0031200、700视频通话系统0032202、702终端0033204、704视频通话控制服务器0034500通信单元0035502存储单元0036504图像旋转单元0037506合成图像形成单元00381000拍摄单元00391002姿势信息感测单元00401004图像旋转单元00411006视频通话单元00421100通信单元00431102存储单元00441104图像分析单元00451106合成图像形成单。
20、元具体实施方式0046以下,将参照附图对本发明的具体实施方式进行描述。然而,这只不过是示例,并且本发明不限于此。0047在对本发明进行描述时,在对与本发明相关的公知技术的具体描述被认为是会使本发明的主旨不清楚的情况下,省略其详细描述。并且,后述的术语作为考虑本发明中的功能而定义的术语,可根据使用者、运用者的意图或者惯例等而不同。因此,其定义应基于贯穿整个本说明书的内容而做出。0048本发明的技术构思由权利要求书确定,并且以下的实施例只是用于有效地将本发明的技术思想解释给本发明所属的技术领域中具有普通的知识的技术人员的一种方式而已。0049根据本发明的实施例的视频通话系统包括终端,用于发送拍摄视。
21、频通话用户的图像;及视频通话控制服务器,用于形成将一个以上的终端所发送的图像进行合成的合成图像,并将所述合成图像发送到所述终端。此时,各个图像根据在所述终端感测的姿势信息来旋转并被合成为所述合成图像。0050在一个实施例中,所述终端可被构成为将所述姿势信息发送到所述视频通话控制服务器。在这种情况下,所述视频通话控制服务器可根据接收的所述姿势信息而将从所述说明书CN104094593A4/13页8终端接收的图像旋转为标准姿势,并通过合成旋转的图像来形成所述合成图像。0051所述终端可将所述终端的画面比例信息连同所述姿势信息一起发送到所述视频通话控制服务器。此外,所述终端在发送所述姿势信息之后,在。
22、所述终端的姿势改变的情况下,可将与改变的姿势对应的姿势信息发送到所述视频通话控制服务器。0052在本发明的另一实施例中,所述终端感测姿势信息,并且可根据感测到的所述姿势信息而将拍摄的图像旋转为标准姿势并发送到所述视频通话控制服务器。此外,所述终端在发送所述姿势信息之后,在所述终端的姿势改变的情况下,可根据与改变的姿势对应的姿势信息而将所述拍摄的图像旋转并发送到视频通话控制服务器。0053在这种情况下,所述视频通话控制服务器可通过所述终端发送的图像来确认所述终端的画面模式,并根据所述画面模式形成所述合成图像而发送到所述终端。此外,所述视频通话控制服务器由从所述终端接收的图像确认所述画面模式并同时。
23、确认所述终端的画面比例,并根据所述画面模式及所述画面比例来形成所述合成图像而发送到所述终端。0054此外,根据本发明的实施例的视频通话方法包括如下步骤在终端中发送拍摄视频通话用户的图像;在视频通话控制服务器中,形成将一个以上的终端所发送的图像进行合成的合成图像;及在所述视频通话控制服务器中,将所述合成图像发送到所述终端,其中,构成所述合成图像的各个图像根据在所述终端感测的姿势信息来旋转而被合成。0055在一个实施例中,发送所述图像的步骤还可包括如下步骤将所述终端的姿势信息发送到所述视频通话控制服务器。在这种情况下,在形成所述合成图像的步骤中,可根据接收的所述姿势信息使得从所述终端接收的图像旋转。
24、为标准姿势,并通过合成旋转的图像来形成所述合成图像。0056此外,发送所述图像的步骤还可包括如下步骤将所述终端的画面比例信息连同所述姿势信息一起发送到所述视频通话控制服务器。0057此外,所述终端在发送所述姿势信息之后,在所述终端的姿势改变的情况下,可将与改变的姿势对应的姿势信息发送到所述视频通话控制服务器。0058在本发明的另一实施例中,发送所述图像的步骤还可包括如下步骤感测所述终端的姿势信息;及根据感测到的所述姿势信息而将拍摄的图像旋转为标准姿势并发送到所述视频通话控制服务器。在这种情况下,所述终端在发送所述姿势信息之后,在所述终端的姿势改变的情况下,可根据与改变的姿势对应的姿势信息而将所。
25、述拍摄的图像旋转并发送到所述视频通话控制服务器。0059形成所述合成图像的步骤还可包括如下步骤通过所述终端发送的图像来确认所述终端的画面模式;根据所述画面模式形成所述合成图像。此外,形成所述合成图像的步骤还可包括如下步骤由从所述终端接收的图像确认所述画面模式并同时确认所述终端的画面比例;根据所述画面模式及所述画面比例来形成所述合成图像。0060以下将对如上所述地构成的根据本发明的实施例的视频通话系统的具体实施例进行描述。0061图2是示出根据本发明的第一实施例的视频通话系统的图。0062参照图2,根据本实施例的视频通话系统200包括多个终端202及视频通话控制服务器204。这里,示出的终端20。
26、2为4台,但是并不限于此,并且2台以上的终端可用于终端202。说明书CN104094593A5/13页90063各个终端202执行向视频通话控制服务器704的视频通话请求。在本实施例及以下实施例中,终端202可包括便携式终端、固定终端、无线终端、有线终端等可进行视频通话的所有终端。例如,本发明的终端可以是智能手机等便携式电话、PDA、平板电脑或者膝上型电脑、桌上型电脑等。这里,作为终端202的一例示出了便携式电话形态的便携式终端,但不限于此。0064各个终端202在执行向视频通话控制服务器204的视频通话请求的同时,将自己的姿势信息发送到视频通话控制服务器204。这里,姿势信息是指表示相关的终。
27、端202处于从标准姿势旋转多少的状态的信息。0065图3是示出根据本发明的第一实施例终端的从标准姿势旋转的状态的图。参照图3,各个终端202例如可处于从标准姿势按顺时针方向旋转90度角的状态换句话说,从标准姿势按逆时针方向旋转270度角的状态图3中的A、从标准姿势按顺时针方向旋转180度角的状态从标准姿势按逆时针方向旋转180度角的状态图3中的B、从标准姿势按顺时针方向旋转270度角的状态从标准姿势按逆时针方向旋转90度角的状态图3中的C。0066这里,终端202从标准姿势起以90度为单位即,0度、90度、180度、270度发生旋转状态的改变,这根据用户在多大程度上旋转终端202而不同。此外,。
28、由于用户直接拿在手上使用的终端202的特性决定不可能按准确的角度旋转终端,因此终端202可预先设定终端的旋转角度的临界值并据此改变旋转状态。例如,可将终端202的旋转角度为45度以上且小于45度的情况设定为标准状态,46度以上且小于135度的情况设定为顺时针方向旋转90度的状态,135度以上且小于225度的情况设定为顺时针方向旋转180度的状态,225度以上且小于315度的情况设定为顺时针方向旋转275度的状态。0067并且,终端202的标准姿势可根据终端202的设定及通信公司的政策等而不同。例如,可将终端的画面被横向放置的状态确定为标准姿势,也可将纵向放置的状态确定为标准姿势。0068这样,。
29、各个终端202根据从标准姿势旋转的状态将自己的姿势信息发送到视频通话控制服务器204。此外,各个终端202在将自己的姿势信息发送到视频通话控制服务器204之后,在自己的姿势改变的情况下,将与改变的姿势对应的姿势信息再次发送到视频通话控制服务器204。0069此外,各个终端202可将自己的标准画面比例信息发送到视频通话控制服务器204。这里,标准画面比例信息是表示在标准姿势下的相关的终端202画面的纵向和横向的比例的信息。例如,在标准姿势下的终端202画面的纵向和横向的比例可以是43或者169,各个终端202可将这样的标准画面比例信息发送到视频通话控制服务器204。此时,各个终端202可利用会话。
30、初始化协议SIPSESSIONINITIATIONPROTOCOL消息来发送自己的姿势信息及标准画面比例信息。0070各个终端202将拍摄用户的图像发送到视频通话控制服务器204。此时,根据拍摄时的各个终端202的姿势,图像可被显示为从标准姿势旋转预定角度。例如,在拍摄用户时如果终端202处于从标准姿势按顺时针方向旋转90度角的状态,则拍摄用户的图像被显示为从标准姿势按逆时针方向旋转90度角的状态。0071视频通话控制服务器204在从各个终端202发送的图像处于从标准姿势以预定的说明书CN104094593A6/13页10角度旋转的状态的情况下,在使相关的图像再次旋转到标准姿势之后,通过合成各。
31、个图像来形成一个合成图像。0072具体地讲,视频通话控制服务器204可通过从各个终端202发送的姿势信息来确认从各个终端202发送的图像是否已从标准姿势旋转到预定角度。此时,如果预定终端202发送的图像已从标准姿势旋转到预定角度,则视频通话控制服务器204使相关图像再次旋转到标准姿势。例如,在预定终端202发送的图像从标准姿势按逆时针方向旋转到90度角度的情况下,视频通话控制服务器204使相关图像按顺时针方向旋转90度角或者按逆时针方向旋转270度角以使相关图像摆出标准姿势。0073这样,各个终端202发送的图像全都会摆出标准姿势。视频通话控制服务器204在通过合成全都摆着标准姿势的图像来形成。
32、合成图像之后,将合成图像发送到各个终端202。0074这里,在从各个终端202发送标准画面比例信息的情况下,视频通话控制服务器204在以与标准画面比例信息对应的画面比例形成合成图像之后,将其分别发送到相关的终端202。例如,在预定终端202的画面比例为43的情况下,视频通话控制服务器204在使合成图像形成为画面比例成为43之后,将其发送到相关的终端202。并且,在预定终端202的画面比例为169的情况下,视频通话控制服务器204在使合成图像形成为画面比例成为169之后,将其发送到相关的终端202。0075此时,视频通话控制服务器204在根据各个终端202的画面比例的种类分别形成与其对应的数量的。
33、合成图像之后,将基于各个终端202的画面比例的合成图像发送到相关的终端202。例如,在各个终端202的画面比例为43和169两种的情况下,视频通话控制服务器204在分别形成画面比例为43的合成图像和画面比例为169的合成图像之后,将画面比例为43的合成图像分别发送到画面比例为43的终端202,并将画面比例为169的合成图像分别发送到画面比例为169的终端202。0076此外,视频通话控制服务器204在将合成图像发送到各个终端202时,在确认各个终端202的姿势信息之后,以与各个终端202的当前的姿势对应的画面比例发送合成图像。例如,在预定终端202的纵向和横向的画面比例为43,并且相关的终端2。
34、02当前处于标准姿势状态的情况下,视频通话控制服务器204将合成图像形成为纵向和横向的画面比例成为43并发送到相关的终端202。并且,如果预定终端202的纵向和横向的画面比例为43,并且相关的终端202处于从标准姿势按顺时针方向旋转90度的状态,则视频通话控制服务器204使合成图像形成为横向和纵向的画面比例成为34,并将其发送到相关的终端202。0077根据本发明的实施例,各个终端202将自己的姿势信息发送到视频通话控制服务器204,视频通话控制服务器204在利用姿势信息使从标准姿势以预定角度旋转的图像再次旋转到标准姿势之后形成合成图像,从而即使各个终端202以不同姿势拍摄用户并发送图像,也可。
35、从视频通话控制服务器204接收各个图像摆出标准姿势的合成图像。在这种情况下,各个终端202的用户可在没有由于其他用户的图像被视为旋转的状态而导致的异质感及不便性的情况下执行视频通话。0078图4是示出在根据本发明的第一实施例的视频通话系统中,在视频通话控制服务器利用从各个终端发送的姿势信息来旋转图像之后,形成合成图像的状态的示图。0079参照图4,终端2021将在标准姿势下拍摄的图像A发送到视频通话控制服务器204,终端2022将在从标准姿势按顺时针方向旋转90度的状态下拍摄的图像B发送到视说明书CN104094593A107/13页11频通话控制服务器204,终端2023将在从标准姿势按顺时。
36、针方向旋转180度的状态下拍摄的图像C发送到视频通话控制服务器204,终端2024将在从标准姿势按顺时针方向旋转270度的状态下拍摄的图像D发送到视频通话控制服务器204,下面来看后三种情况。在此情况下,图像B、图像C及图像D表现为从标准姿势分别按逆时针方向旋转90度、180度、270度角度的状态。这里,各个终端2021、2022、2023、2024在将图像A、图像B、图像C、图像D发送到视频通话控制服务器204之前,可将自己的姿势信息及标准画面比例信息预先发送到视频通话控制服务器204。0080这样,视频通话控制服务器204通过从各个终端1021、1022、1023、1044接收的姿势信息得。
37、知图像B、图像C及图像D处于从标准姿势分别按逆时针方向旋转90度、180度、270度角度的状态。在这种情况下,视频通话控制服务器204在使图像B、图像C、图像D分别按顺时针方向旋转90度、180度、270度角度而使其摆出标准姿势之后,通过合成图像A、图像B、图像C、图像D来形成合成图像,然后将合成图像发送到各个终端2021、2022、2023、2024。0081此时,在假设各个终端2021、2022、2023、2024的横向和纵向的画面比例分别为169的情况下,由于终端1021、1023处于当前画面比例为169的状态,因此视频通话控制服务器204在使合成图像I形成为画面的横向和纵向的比例成为1。
38、69之后,将合成图像I发送到终端1021、1023。与此相反,由于终端1022、1024处于当前画面为916的状态,因此视频通话控制服务器204在使合成图像I形成为画面的横向和纵向的比例成为916之后,将合成图像I发送到终端1022、1024。0082这里,合成图像I及合成图像I中的各个图像A、B、C、D被示出为照样具有原来图像的画面比例。但本发明不限于此,在合成图像I及合成图像I中的各个图像A、B、C、D可被图像处理而合成为原来图像的画面比例及画面大小中的至少一种变得不同。例如,在合成图像I中的各个图像A、B、C、D照样具有原来图像的画面比例的情况下,合成图像I中的图像B、D的左右会出现空白。
39、的空间,而对于合成图像I而言则是在图像A、C的上下会出现空白的空间。为了解决这个问题,可通过调节图像的画面比例及画面大小来进行合成以防止在合成图像I、合成图像I中的各个图像的上下或者左右出现空白的空间。例如,剪掉图像B、D的上下并调节大小以使视频通话用户在合成图像I中脸部占据整个相关画面,或者对于合成图像I的情况,可剪掉图像A、C的左右。此外,在合成画面时剪掉图像的一部分的情况下,可通过识别图像中的脸部来防止人的脸部被剪掉。由于图像识别技术对本发明所属的技术领域是公知的,因此省略对其详细的说明。0083图5是示出根据本发明的第一实施例的视频通话控制服务器的构成的图。参照图5,视频通话控制服务器。
40、204包括通信单元500、存储单元502、图像旋转单元504及合成图像形成单元506。0084通信单元500从各个终端202接收姿势信息及拍摄相关终端202的用户的图像。通信单元500也可从各个终端202接收标准画面比例信息。此外,通信单元500将合成图像形成单元506所形成的合成图像发送到各个终端202。0085存储单元502存储通信单元500所接收的各个终端202的姿势信息及拍摄的图像。存储单元502还可存储通信单元500所接收的各个终端202的标准画面比例信息。0086图像旋转单元504利用各个终端202的姿势信息来确认在从各个终端202发送的说明书CN104094593A118/13页。
41、12图像中是否存在需要旋转到标准姿势的图像。在存在需要旋转到标准姿势的图像的情况下,图像旋转单元504使相关图像旋转以使相关图像摆出标准姿势。0087合成图像形成单元506通过合成从各个终端202接收的图像中的无需旋转到标准姿势的图像即,已经摆出标准姿势的图像及从各个终端202接收的图像中的借助于图像旋转单元504而被旋转到标准姿势的图像来形成合成图像。此时,合成图像形成单元506可以以与各个终端202发送的标准画面比例信息及姿势信息对应的画面比例形成合成图像。0088图6是示出根据本发明的第一实施例的视频通话方法的顺序图。0089参照图6,各个终端202执行向视频通话控制服务器204的视频通。
42、话请求,并将自己的姿势信息发送到视频通话控制服务器204S602。此时,各个终端202可将自己的标准画面比例信息连同姿势信息一起进行发送。然而,标准画面比例信息并非一定要与姿势信息一起被发送,而是标准画面比例信息可与姿势信息分开地被发送。0090接下来,各个终端202将拍摄用户的图像发送到视频通话控制服务器204S604。此时,发送到视频通话控制服务器204的图像可根据拍摄时的各个终端202的姿势而被显示为图像从标准姿势旋转预定角度。0091接下来,视频通话控制服务器204利用从各个终端202接收的姿势信息来确定在从各个终端202接收的图像中是否存在需要旋转到标准姿势的图像S606。0092在。
43、S105的确认结果为存在需要旋转到标准姿势的图像的情况下,视频通话控制服务器204使相关图像旋转到标准姿势S608。在使需要旋转到标准姿势的图像旋转到标准姿势的情况下,从各个终端202接收的图像都会摆出标准姿势。0093接下来,视频通话控制服务器204在通过合成摆着标准姿势的图像来形成合成图像之后,将合成图像发送到各个终端202S610。这里,在从各个终端202发送标准画面比例信息的情况下,视频通话控制服务器102在以与标准画面比例信息及姿势信息对应的画面比例形成合成图像之后,将其分别发送到相关的终端202。0094此外,各个终端202在将自己的姿势信息发送到视频通话控制服务器204之后,在自。
44、己的姿势改变的情况下,可将与改变的姿势对应的姿势信息再次发送到视频通话控制服务器204。0095图7是示出根据本发明的第二实施例的视频通话系统的图。0096参照图7,根据本发明的第二实施例的视频通话系统700包括多个终端702及视频通话控制服务器704。这里,示出的终端702为4台,但是并不限于此,并且2台以上的终端可用于终端702。0097各个终端702执行向视频通话控制服务器704的视频通话请求,并将自己拍摄的图像发送到视频通话控制服务器704。此时,各个终端702在确认自己的姿势信息之后,根据相关姿势信息而将拍摄的图像旋转并发送到视频通话控制服务器704。这里,姿势信息是指表示终端702。
45、的当前姿势处于从已设定的标准姿势旋转多少的状态的信息。0098图8是示出根据本发明的第二实施例的终端从标准姿势按顺时针方向每次旋转90度的状态及根据从标准姿势旋转的状态来旋转拍摄的图像的状态的图。0099参照图8,各个终端702例如可处于从标准姿势图8中的A按顺时针方向旋转90度角的状态从标准姿势按逆时针方向旋转270度角的状态图8中的B、从标准姿说明书CN104094593A129/13页13势按顺时针方向旋转180度角的状态从标准姿势按逆时针方向旋转180度角的状态图8中的C、从标准姿势按顺时针方向旋转270度角的状态从标准姿势按逆时针方向旋转90度角的状态图8中的D。0100即,终端70。
46、2从标准姿势起以90度为单位即,0度、90度、180度、270度发生旋转状态的改变,这根据用户在多大程度上旋转终端702而不同。此外,如在本发明的第一实施例中所述,由于用户直接拿在手上使用的终端702的特性决定不可能按准确的角度旋转终端,因此终端702可预先设定终端的旋转角度的临界值并据此改变旋转状态。0101如图8中的A所示,在终端702处于标准姿势时,终端702将拍摄的图像直接发送到视频通话控制服务器704。这里,发送到视频通话控制服务器704的图像以横向画面模式来发送。在本发明的实施例中,横向画面模式是指相关图像的横向画面长度或者分辨率比纵向画面长度长的情况,纵向画面模式是指相关图像的纵。
47、向画面长度或者分辨率比横向画面长度长的情况。例如,在横向画面模式下相关图像的横向和纵向的画面比例可被设定为43或者169,在纵向画面模式下相关图像的横向和纵向的画面比例可分别设定为34或者916。0102如图8中的B所示,在终端702处于从标准姿势按顺时针方向旋转90度的状态的情况下,终端702拍摄的图像被显示为按逆时针方向旋转90度角。此时,终端702在使拍摄的图像按顺时针方向旋转90度以使视频通话用户在拍摄的图像中被显示为标准方向之后,将其发送到视频通话控制服务器704。标准方向是指视频通话用户在拍摄的图像中被显示为正常的姿势例如,视频通话用户的头部在拍摄的图像中朝上的姿势的方向。这里,发。
48、送到视频通话控制服务器704的图像以纵向画面模式被发送。0103如图8中的C所示,在终端702处于从标准姿势按顺时针方向旋转180度角的状态的情况下,终端702拍摄的图像被显示为按逆时针方向旋转180度角。此时,终端702在使拍摄的图像按顺时针方向旋转180度以使视频通话用户在拍摄的图像中被显示为标准方向之后,将其发送到视频通话控制服务器704。这里,发送到视频通话控制服务器704的图像以横向画面模式被发送。0104如图8中的D所示,在终端702处于从标准姿势按顺时针方向旋转270度角的状态的情况下,终端702拍摄的图像被显示为按逆时针方向旋转270度角。此时,终端702在使拍摄的图像按顺时针。
49、方向旋转180度以使视频通话用户在拍摄的图像中被显示为标准方向之后,将其发送到视频通话控制服务器704。这里,发送到视频通话控制服务器704的图像以纵向画面模式被发送。0105这样,各个终端702在确认自己的当前姿势处于从标准姿势旋转多少的状态之后即,确认姿势信息之后,根据确认的姿势信息旋转拍摄的图像并发送到视频通话控制服务器704。这里,如果各个终端旋转拍摄的图像以使视频通话用户在拍摄的图像中被显示为标准方向,则即使终端702处于已从标准姿势旋转的状态,也会在旋转的图像中使视频通话用户被显示为将标准方向原样保持的状态。0106此时,各个终端702在发送拍摄的图像之后自己的姿势被改变时,可在以与前述的方法相同的方法对应于变更的姿势而旋转拍摄的图像之后,将其发送到视频通话控制服务器704。这样,视频通话控制服务器704可在对应于变更的姿势而对旋转的拍摄图像进行分析之后,形成与相关的终端702的当前画面模式对应的合成图像。说明书CN104094593A1310/13页140107这里,由于将终端702的画面被横向放置的状态作为标准姿势,因此,图8中的A及C被示出为以横向画面模式发送图像,图8中的B及D被示出为以纵向画面模式发送图像,但不限于此。0108接下来,视频通话控制服务器704通过合成从各个终端702发送的各个图像来形成一个合成图像。此时,视频通话控。