《分发控制系统、分发系统以及分发控制方法.pdf》由会员分享，可在线阅读，更多相关《分发控制系统、分发系统以及分发控制方法.pdf（48页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104053073A43申请公布日20140917CN104053073A21申请号201410200346622申请日20140313201305392220130315JP201305419120130315JP201402897420140218JP201402899320140218JPH04N21/61201101H04N21/234201101H04N21/44201101H04N21/258201101H04N21/262201101H04N21/472201101H04N21/475201101H04N21/8120110171申请人株式会社理光地址日本东京都。
2、72发明人笠谷洁74专利代理机构北京市柳沈律师事务所11105代理人郭定辉54发明名称分发控制系统、分发系统以及分发控制方法57摘要分发控制系统、分发系统、分发控制方法。分发控制系统包括生成单元，配置为从内容数据生成图像数据；转换单元，配置为将图像数据转换为传送数据；传送单元，配置为传送所述传送数据至多个通信终端；以及创建/选择单元，配置为新创建要分配至通信终端的每一个的转换单元或从已经创建的转换单元中选择转换单元。30优先权数据51INTCL权利要求书2页说明书22页附图23页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书22页附图23页10申请公布号CN1040530。
3、73ACN104053073A1/2页21一种分发控制系统，包含生成单元，配置为从内容数据生成图像数据；转换单元，配置为将所述图像数据转换为传送数据；传送单元，配置为传送所述传送数据至多个通信终端；以及创建/选择单元，配置为新创建要分配给所述通信终端的每一个的转换单元或从已经创建的转换单元中选择所述转换单元。2根据权利要求1所述的分发控制系统，其中所述创建/选择单元配置为分配公共转换单元至在所述通信终端中显示性能和线速度的至少一个等同的通信终端。3根据权利要求1所述的分发控制系统，其中所述生成单元为渲染器，配置为通过渲染所述内容数据来生成所述图像数据的帧数据，并且所述转换单元为编码器，配置为通。
4、过对所述帧数据进行编码，将所述帧数据转换成要通过通信网络传送的传送数据。4根据权利要求1所述的分发控制系统，其中所述生成单元为渲染器，配置为从在所述内容数据中包括的声音数据或从麦克风输入的声音数据生成帧数据，并且所述转换单元为编码器，配置为通过对帧数据进行编码，将所述帧数据转换成要通过通信网络传送的传送数据。5根据权利要求1所述的分发控制系统，其中所述创建/选择单元配置为创建转换单元，其可执行适用于所述通信终端的性能的转换以再现所述传送数据。6根据权利要求5所述的分发控制系统，其中所述创建/选择单元配置为根据所述内容数据片段的数量创建多个转换单元。7根据权利要求1所述的分发控制系统，其中所述创。
5、建/选择单元配置为，当所述分发控制系统将与分发至第一通信终端的传送数据相同的传送数据分发至第二通信终端时，并当所述第二通信终端具有与所述第一通信终端的性能相同的性能以再现所述传送数据时，除了至所述第一通信终端的分发之外，在至所述第二通信终端的分发时，使用已经为所述第一通信终端创建的转换单元，而不为所述第二通信终端创建新的转换单元。8根据权利要求7所述的分发控制系统，其中所述创建/选择单元配置为当所述公共转换单元已向其分配的通信终端中的任何通信终端的显示性能或线速度改变时，为改变的通信终端新创建另一转换单元或从已经创建的转换单元中选择另一转换单元。9根据权利要求1所述的分发控制系统，其中所述生成。
6、单元为网络浏览器，且所述转换单元包含编码器，配置为针对由所述网络浏览器生成的帧数据执行编码。10根据权利要求9所述的分发控制系统，其中所述生成单元为网络浏览器，其允许实时通信，且所述编码器配置为针对由所述网络浏览器生成的帧数据执行实时编码。11根据权利要求10所述的分发控制系统，其中所述编码器配置为针对由所述生成单元生成的帧数据执行裁剪或尺寸调整并随后进行编码。12根据权利要求11所述的分发控制系统，其中所述编码器执行裁剪、尺寸调整、划分权利要求书CN104053073A2/2页3并随后进行编码。13根据权利要求1所述的分发控制系统，其中所述创建/选择单元配置为当根据通信终端的线速度降低帧率时。
7、，根据降低帧率的程度在所述传送数据的帧处生成作为空数据的跳跃帧。14一种分发系统，包含根据权利要求1至13所述的任一个的分发控制系统；以及通信终端。15一种分发控制的方法，用于将从内容数据生成的图像数据转换为传送数据并传送所述传送数据至多个通信终端，所述分发控制方法包含新创建转换单元，其配置为将图像数据转换为用于通信终端的每一个的传送数据或从已经创建的转换单元中选择一个。权利要求书CN104053073A1/22页4分发控制系统、分发系统以及分发控制方法背景技术0001本发明涉及分发控制系统、分发系统以及分发控制方法，能够传送数据至如个人计算机和电子黑板之类的通信终端。技术领域0002随着近年。
8、来因特网的广泛应用，云计算已用于多个领域。云计算是用户使用连接于因特网的通信终端使用由因特网上的服务器提供的服务云服务并对该服务进行支付的服务使用模式。0003因特网上携带的网络内容为了响应多种需求的目的而被丰富。因此，使用用于通过因特网来使用服务的通信终端来访问丰富的内容引起通信终端上的负荷不适当地很高的问题。0004作为降低通信终端上负荷的技术，存在称为瘦客户端的技术例如，参考日本专利申请公开号2007221229。该瘦客户端技术使用因特网环境允许多种应用以基于网络的方式在通信终端上执行。0005即使利用该瘦客户端技术，仍然存在高负荷施加于通信终端来访问丰富的内容的问题。发明内容0006本。
9、发明的目标在于至少部分地解决传统技术的问题。0007根据实施例，提供分发控制系统，包含生成单元，配置为从内容数据生成图像数据；转换单元，配置为将所述图像数据转换为传送数据；传送单元，配置为传送所述传送数据至多个通信终端；以及创建/选择单元，配置为新创建要分配给所述通信终端的每一个的转换单元或从已经创建的转换单元中选择所述转换单元。0008根据另一实施例，提供分发系统，包含根据以上实施例的分发控制系统；以及一个或多个通信终端。0009根据再一实施例，提供分发控制的方法，用于将从内容数据生成的图像数据转换为传送数据并传送所述传送数据至多个通信终端，所述分发控制方法包含新创建转换单元，其配置为将图像。
10、数据转换为用于通信终端的每一个的传送数据或从已经创建的转换单元中选择一个。0010当结合附图考虑时，本发明的以上和其他目标、特征、优点和技术以及产业重要性将通过阅读本发明当前优选的实施例的以下详细描述而被更好地理解。0011附图标记0012图1为根据一个实施例的分发系统的示意图；0013图2为当加密狗连接于通信终端时的概念性示图；0014图3为说明基本分发方法的概念性示图；0015图4为多点传送的概念性示图；说明书CN104053073A2/22页50016图5为多重显示的概念性示图；0017图6为通过分发控制系统使用多个通信终端的组合式分发的概念性示图；0018图7为分发控制系统、通信终端、。
11、终端管理系统以及网络服务器的硬件配置图；0019图8为加密狗的硬件配置图；0020图9为主要说明分发控制系统的功能的功能框图；0021图10为主要说明通信终端的功能的功能框图；0022图11为说明终端管理系统的功能的功能框图；0023图12为分发目的地选择菜单屏幕的概念性视图；0024图13为终端管理表的概念性视图；0025图14为可用终端管理表的概念性视图；0026图15为编码器桥单元的详细示图；0027图16为说明转换器的功能的功能框图；0028图17为说明分发控制系统的基本分发处理的顺序图；0029图18为说明通过分发控制系统使用多个通信终端的通信处理的顺序图；0030图19为说明时间调。
12、整的处理的顺序图；0031图20为说明针对从分发控制系统传送至通信终端的数据的通道适配控制的处理的顺序图；0032图21为说明针对从通信终端传送至分发控制系统的数据的通道适配控制的处理的顺序图；0033图22为说明多重显示处理的顺序图；0034图23为说明多重显示处理的顺序图；0035图24为说明多重显示处理的顺序图；0036图25为说明在本实施例中当切换视频编码器以减少帧率时分发的帧的示例的示图；并且0037图26为说明在本实施例中当切换视频编码器以增加帧率时分发的帧的示例的示图。具体实施方式0038以下参考附图描述的是根据实施例的分发系统1。以下详细描述的是如下发明这使得网络浏览器此后称为。
13、“浏览器”和编码器两者在云中通过云计算相互协同地执行并传送视频数据、声音数据等至通信终端。0039下文中，“图像”包括静态图像以及运动图像。“视频”主要指代运动图像并还包括静止成为静态图像的运动图像。“静态图像声音”表示静态图像和声音中的至少一个。“图像声音”表示图像和声音中的至少一个。“视频声音”表示视频和声音中的至少一个。0040实施例的概要0041参考图1所描述的是根据本发明的实施例的概要。图1为根据本实施例的分发系统的示意图。0042系统配置的概要说明书CN104053073A3/22页60043首先描述的是分发系统1的配置的概要。0044如图1所示，根据本实施例的分发系统1包括分发控。
14、制系统2、多个通信终端5A至5F、终端管理系统7以及网络服务器8。下文中，通信终端5A至5F中的任意通信终端可称为“通信终端5”。分发控制系统2、终端管理系统7和网络服务器8均由服务器计算机实现。0045通信终端5为由接收分发系统1的服务的用户使用的终端。通信终端5A为笔记本型个人计算机PC。通信终端5B为移动终端，如智能电话或平板终端。通信终端5C为其中组合了复印、扫描、打印和传真功能的多功能外围设备/打印机/产品MFP。通信终端5D为投影仪。通信终端5E为具有照相机、麦克风以及扬声器的TV视频会议终端。通信终端5F为能够电子地转换用户绘制的绘图等的电子黑板白板。0046通信终端5不仅为如图。
15、1所示的终端，而且可为通过如因特网之类的通信网络而可通信的装置，包括手表、自动售货机、汽车导航装置、游戏控制台、空调、照明器材、照相机本身、麦克风本身以及扬声器本身。0047分发控制系统2、通信终端5、终端管理系统7和网络服务器8可通过包括因特网以及局域网LAN的通信网络9相互通信。通信网络9的示例可包括无线通信网络，如第三代移动通信3G，全球微波互联接入WIMAX和长期演进LTE。0048通信终端5中的例如通信终端5D不具有通过通信网络9与其他终端或系统通信的功能。然而，如图2所示，用户插入加密狗99至通信终端5D的接口如通用串行总线USB或高清多介质接口HDMI，由此使得其能够与其他终端和。
16、系统相通信。图2为当加密狗附接于通信终端时的概念性示图。0049分发控制系统2在云中具有浏览器20，并通过在浏览器20中的渲染功能，获取以特定描述语言描述的单个或多个内容数据片段并在内容数据上执行渲染，由此生成包括如由红、绿、蓝RGB组成的位图数据之类的静态图像数据以及如脉冲编码调制PCM数据之类的声音数据的帧数据即，静态图像声音数据。该内容数据为从网络服务器8、任意通信终端等获取的数据，并包括超文本标记语言HTML和级联样式表单CSS格式的图像声音数据、MP4格式的图像声音数据MPEG4以及高级音频编码AAC格式的声音数据。0050分发控制系统2在云中具有编码单元19，而该编码单元19扮演编。
17、码器的角色，由此将作为静态图像声音数据的帧数据转换为如H264MPEG4AVC、H265和运动JPEG之类的压缩编码格式的视频声音数据。0051终端管理系统7在通信终端5上执行登录认证并管理通信终端5的合约信息等。终端管理系统7具有简单邮件传送协议SMTP服务器的功能，用于传送电子邮件。终端管理系统7可例如实现为在云服务IAAS基础设施即服务上开发的虚拟机。希望的是，终端管理系统7运行于复用方式，以在意外事件的情况下提供服务连续性。0052浏览器20使能实时通信/协作RTC。分发控制系统2包括在以下描述的图16中的编码单元19，而编码单元19可针对由浏览器20输出的帧数据执行实时编码并输出通过。
18、兼容于H264标准等的转换而生成的视频声音数据。因此，分发控制系统2的处理例如不同于其中记录于DVD中的非实时视频声音数据被DVD播放器读取和分发的情况下的处理。说明书CN104053073A4/22页70053不仅分发控制系统2，而且通信终端5也可具有浏览器。在这种情况下，更新分发控制系统2的浏览器20不再需要启动相应的通信终端5的浏览器。0054多种分发方法的概要0055接下来描述都是多种分发方法的概要。0056基本分发0057图3为说明基本分发方法的概念性示图。在分发系统1中，如图3所示，分发控制系统2的浏览器20获取网络内容数据A作为来自网络服务器8的图像声音数据并对其进行渲染，由此生。
19、成帧数据A片段作为静态图像声音数据。包括编码单元19的编码器桥单元30针对帧数据A片段执行编码等，由此以如H264之类的压缩编码格式将其转换为视频声音数据A传送数据的示例。分发控制系统2将转换的视频声音数据A分发至通信终端5。0058因此，分发控制系统2甚至还可将丰富的网络内容数据分发至通信终端5，同时在云中将其从HTML等的网络内容数据转换为H264等的压缩视频声音数据。因此，通信终端5可平滑地再现该网络内容，而没有用于增加最新浏览器或合并更高配置的中央处理单元CPU、操作系统OS、随机存取存储器RAM等的时间和开销。0059网络内容的未来丰富仅需要在云中的分发控制系统2的浏览器20、CPU。
20、等的更高配置，而不需要通信终端5的更高配置。0060应用上述分发方法，如图4至图6所示，分发系统1还可分发网络内容数据至多个站点作为视频声音数据。以下描述为图4至图6中所示的分发方法。0061多点传送0062图4为多点传送的概念性示图。如图4所示，分发控制系统2的单个浏览器20从网络服务器8获取网络内容数据A作为图像声音数据并对其进行渲染，由此生成帧数据A片段作为静态图像声音数据。编码器桥单元30编码帧数据A片段，由此将其转换为视频声音数据。然后分发控制系统2分发视频声音数据A传送数据的示例至多个通信终端5F1，5F2，5F3。0063因此，同一视频声音在站点中再现。在这种情况下，通信终端5F。
21、1，5F2，5F3不需要具有相同级别的显示再现性能例如，同一分辨率。类似于此的分发方法称为，例如，“多点传送”。0064多重显示0065图5为多重显示的概念性示图。如图5所示，分发控制系统2的单个浏览器20从网络服务器8获取网络内容数据XYZ作为图像声音数据并对其进行渲染，由此生成帧数据XYZ片段作为静态图像声音数据。编码器桥单元30将每一个帧数据XYZ划分为多个帧数据片段X，Y，Z并将其编码，由此将其转换为多个视频声音数据片段X，Y，Z。分发控制系统2随后分发视频声音数据X传送数据的示例至通信终端5F1。类似地，分发控制系统2分发视频声音数据Y传送数据的示例至通信终端5F2并分发视频声音数据。
22、Z传送数据的示例至通信终端5F3。0066因此，例如，即使对于风光LANDSCAPE网络内容XYZ，视频声音也以划分的方式由通信终端5再现。因此，当通信终端5F1，5F2，5F3安装于线路时，可获取与一个大视频片段的再现相同的效果。在这种情况下，通信终端5F1，5F2，5F3需要具有相同级别说明书CN104053073A5/22页8的显示再现性能例如，相同分辨率。类似于此的分发方法例如称为多重显示。0067多重投影0068在和多重显示一样的概念下，本实施例还可以使用多个投影仪实现多重投影。其细节将在以下描述。0069组合式分发0070图6为通过分发控制系统使用多个通信终端的组合式分发的概念性示。
23、图。如图6所示，作为电子黑板的通信终端5F1以及作为电话会议终端的通信终端5E1在第一站点处图6右侧使用，而在第二站点处图6左侧，作为电子黑板的通信终端5F2以及作为电话会议终端的通信终端5E2类似地使用。在第一站点处，电子笔P1用于在通信终端5F1上使用笔画来绘制字符等。在该第二站点处，电子笔P2用于在通信终端5F2上使用笔画来绘制字符等。0071在第一站点处，通过通信终端5E1获取的视频声音数据由编码单元60编码，并传送至分发控制系统2。其后，其由分发控制系统2的解码单元40解码并随后输入到浏览器20。表示使用电子笔P1在通信终端5F1上绘制的笔画的操作数据在这种情况下，是通信终端5F1的。
24、显示器上的坐标数据等被传送至分发控制系统2以被输入至浏览器20。还是在该第二站点处，通过通信终端5E2获取的视频声音数据由编码单元60编码并传送至分发控制系统2。其后，其由分发控制系统2的解码单元40解码并随后输入至浏览器20。表示使用电子笔P2在通信终端5F2上绘制的笔画的操作数据在这种情况下，通信终端5F2的显示器上的坐标数据等传送至分发控制系统2以被输入至浏览器20。0072浏览器20从网络服务器8例如获取网络内容数据A作为在通信终端5F1，5F2的显示器上显示的背景图像。浏览器20组合网络内容数据A、操作数据P1，P2和视频声音内容数据E1，E2，并对其进行渲染，由此生成帧数据片段作为。
25、静态图像声音数据，其中内容数据片段A，P1，P2，E1，E2以期望的布局来布置。编码器桥单元30编码该帧数据片段，而分发控制系统2将表示相同内容A，P1，P2，E1，E2的视频声音数据分发至两个站点。在第一站点处，视频A，P1，P2，E1视频部分和E2视频部分在通信终端5F1的显示器上由此显示，而声音E2声音部分输出自通信终端5E1的扬声器。而且在该第二站点处，视频A，P1，P2，E1视频部分和E2视频部分在通信终端5F2的显示器上显示，而声音E1声音部分输出自通信终端5E2的扬声器。在第一站点处，站点自身的声音E1声音部分由于通信终端5F1的回声消除功能而没有被输出。在该第二站点处，站点自身。
26、的声音E2声音部分由于通信终端5F2的回声消除功能而没有被输出。0073因此，在第一站点和第二站点处，可以执行远程共享处理，其在远程站点处实时共享相同信息，因此使得根据本实施例的分发系统1在电话会议等中有效。0074实施例的详细描述0075以下参考图7至图25详细描述实施例。0076实施例的硬件配置0077首先参考图7和图8的描述为本实施例的硬件配置。图7为分发控制系统、通信终端、终端管理系统以及网络服务器的硬件配置示图。图8为加密狗的硬件配置示图。因为与通信终端的通信有关的硬件配置与通信终端的硬件配置的部分相同，因此将省略其描说明书CN104053073A6/22页9述。0078如图7所示，。
27、分发控制系统2包括CPU201，其控制分发控制系统2的整体操作；只读存储器ROM202，在其中存储如IPL之类的用于驱动CPU201的程序；RAM203，用作CPU201的工作区域；HDD204，在其中存储如程序之类的各种数据；硬盘控制器HDC205，其在CPU201的控制下控制从HDD204读取各种类型的数据以及将各种类型的数据写入HDD204；介质驱动207，其控制从如FLASH存储器之类的存储介质206读取数据以及将数据写入该存储介质206；显示器208，其显示各种信息；接口I/F209，其通过通信网络9传送数据并且加密狗99与其连接；键盘211；鼠标212；麦克风213；扬声器214；。
28、图形处理单元GPU215；以及如地址总线或数据总线之类的总线220，用于电气地连接上述组件，如图7所示。由于通信终端5D作为投影仪，因此可以不提供GPU。因为终端管理系统7和网络服务器8的硬件配置与分发控制系统2的硬件配置相同，所以其描述将被省略。0079接下来参考图8描述的是图2中所示的加密狗99的硬件配置。如图8所示，加密狗99包括CPU91，其控制加密狗99的整体操作；ROM92，其中存储基本输入/输出程序；RAM93，用作CPU91的工作区域；电可擦除可编程ROMEEPROM94，其在CPU91的控制下执行数据的读写；GPU95；接口I/F96，用于到通信终端5的I/F209的连接；天。
29、线97A；通信单元97，其通过天线97A使用短距离无线技术执行通信；以及如地址总线或数据总线之类的总线90，用于电连接上述单元。短距离无线技术的示例包括近场通信NFC标准、蓝牙注册商标、无线高保真WIFI和ZIGBEE注册商标。因为加密狗99包括GPU95，所以即使当GPU未包括在通信终端5D中时，通信终端5也可利用如图2所示地附接的加密狗99执行图形显示所需的计算处理。0080实施例的功能配置0081实施例的功能配置接下来参考图9至图16来描述。0082分发控制系统的功能配置0083首先参考图9描述的是分发控制系统2的功能配置。图9为主要说明分发控制系统的功能的功能框图。图9说明了分发控制系。
30、统2将视频声音数据分发至通信终端5F1的功能配置，并且分发控制系统2在分发目的地不同于通信终端5F1的情况下也具有相同的功能配置。尽管分发控制系统2包括多个分发引擎服务器，但是以下描述了包括单个分发引擎服务器的情况，以简化描述。0084如图9所示，分发控制系统2具有图9由包括图7中所示的CPU201和程序的硬件配置实现的功能组件。0085具体地，分发控制系统2包括浏览器20、发送器/接收器21、浏览器管理单元22、传送先进先出FIFO缓冲器24、时间管理单元25、时间获取单元26、通道适配控制器27、编码器桥单元30、发送器/接收器31、接收FIFO34、识别单元35、延迟信息获取单元37A、。
31、通道适配控制器37B和解码单元40。分发控制系统2进一步包括由图7中所示的HDD204实现的存储单元2000。该存储单元2000在其中存储从识别单元35输出并通过浏览器管理单元22发送的识别信息以下描述。通过浏览器20获取的内容数据可暂时存储于存储单元2000作为缓存。0086在上述功能组件中，浏览器20为操作于分发控制系统2内的浏览器。浏览器20随着网络内容的丰富始终保持更新。浏览器20包括媒体播放器、FLASH播放器、说明书CN104053073A7/22页10JAVASCRIPT注册商标、CSS和HTML渲染器。JAVASCRIPT包括标准化产品和专用于分发系统1的产品。0087媒体播放。
32、器为用于在浏览器20内再现如视频声音文件之类的多媒体文件的浏览器插件。FLASH播放器为用于在浏览器20中再现FLASH内容的浏览器插件。专用JAVASCRIPT为提供专用于分发系统1的服务的应用编程接口API的JAVASCRIPT组。CSS为用于有效地定义以HTML描述的网页的外观和风格的技术。HTML渲染器为HTML渲染引擎。0088渲染器渲染如作为图像声音数据的网络内容数据之类的内容数据，由此生成帧数据片段作为静态图像声音数据。如图6所示，渲染器也是将多种内容A，P1，P2，E1，E2布局的布局引擎。0089根据本实施例的分发系统1在分发控制系统2中提供浏览器20，并且从浏览器20选择用。
33、于用户会话的云浏览器。如下描述了提供单个浏览器20的情况，以简化描述。0090发送器/接收器21向终端管理系统7和网络服务器8传送各种数据、各种请求、各种指令等，并从终端管理系统7和网络服务器8接收各种数据、各种请求、各种指令等。例如，发送器/接收器21在网络服务器8处从内容站点获取网络内容数据。发送器/接收器21输出获取自终端管理系统7的多种数据至分发控制系统2内的功能组件，并基于获取自终端管理系统7的各种数据、各种请求、各种指令等来控制分发控制系统2内的功能组件。例如，对于浏览器20，发送器/接收器21输出请求用于将分发模式从终端管理系统7切换至浏览器管理单元22。然后浏览器管理单元22控。
34、制在浏览器中从一个浏览器至另一浏览器的切换。基于用于从终端管理系统7切换分发的请求，发送器/接收器21执行图15和图16中所示的编码器桥单元30中组件组合的切换。0091浏览器管理单元22管理浏览器20。例如，浏览器管理单元22指示浏览器20启动和退出，以及在启动或退出时将编码器ID编号。编码器ID为浏览器管理单元22进行编号的识别信息，以便于管理编码器桥单元30的进程。0092浏览器管理单元22在每次浏览器20启动时对浏览器ID进行编号并管理。浏览器ID为浏览器管理单元22进行编号的识别信息，以便于管理浏览器20的进程以标识浏览器20。0093浏览器管理单元22通过发送器/接收器31从通信终。
35、端5获取各种操作数据并将其输出至浏览器20。该操作数据为在通信终端5上通过操作事件通过键盘211、鼠标212等的操作，使用电子笔P的笔画等生成的数据。当通信终端5提供如温度传感器、湿度传感器和加速度传感器之类的各种传感器时，浏览器管理单元22获取包含来自通信终端5的传感器的输出信号的传感器信息并将其输出至浏览器20。浏览器管理单元22进一步从识别单元35获取图像声音数据并输出至浏览器20，并从识别单元35获取以下描述的识别信息并将其存储在存储单元2000。浏览器管理单元22从接收FIFO缓冲器34获取视频声音数据并输出至浏览器20。0094传送FIFO24为缓冲器，其在其中存储了由浏览器20生。
36、成的作为静态图像声音数据的帧数据片段。0095时间管理单元25管理专用于分发控制系统2的时间T。0096时间获取单元26结合以下描述的通信终端5中的时间控制器56执行以下描述的说明书CN104053073A108/22页11时间调整处理。具体地，时间获取单元26从时间管理单元25获取表示分发控制系统2中的时间T的时间信息T，通过发送器/接收器31以及发送器/接收器51从以下描述的时间控制器56接收表示在通信终端5中的时间T的时间信息T，并传送时间信息T和时间信息T至时间控制器56。0097通道适配控制器27基于传送延迟时间信息D计算再现延迟时间U并计算如编码器桥单元30中转换器10的帧率和数据。
37、分辨率之类的操作状况。该再现延迟时间为用于通过数据的缓冲延迟再现直到正在被再现时的时间。换言之，通道适配控制器27基于传送延迟时间信息D和数据大小例如，位数量或字节数量改变编码器桥单元30的操作。该传送延迟时间信息D基于由通信终端5的延迟信息获取单元57获取的多个传送延迟时间D1的片段表示频率分发信息。传送延迟时间D1表示从视频声音数据从分发控制系统2传送的点到被通信终端5接收的点的时间，并从再现控制器53获取。0098编码器桥单元30将由浏览器20生成的作为静态图像声音数据的帧数据片段输出至以下描述的编码器桥单元30中的转换器10。在这种情况下，编码器桥单元30还基于由通道适配控制器27计算。
38、的操作状况来操作。编码器桥单元30将参考图15和图16进行更详细的描述。图15为编码器桥单元的详细示图。图16为说明了转换器的功能的功能框图。0099如图15所示，编码器桥单元30包括创建/选择单元310、选择单元320，和在其之间提供的多个转换器10A，10B，10C。尽管这里说明了三个转换器，但任意数量的转换器可被提供。下文中，任意转换器都被称为“转换器10”。0100转换器10将由浏览器20生成的作为静态图像声音数据的帧数据片段的数据格式转换为H264等的数据格式，允许数据通过通信网络9分发至通信终端5。为此，如图16所示，转换器10包括裁剪单元11、尺寸调整单元12、划分单元13和编码。
39、单元19。裁剪单元11、尺寸调整单元12和划分单元13不对声音数据执行任何处理。0101裁剪单元11执行裁出静态图像的部分的处理。尺寸调整单元12改变静态图像的尺寸。划分单元13划分静态图像，如图5所示。0102编码单元19对由浏览器20生成的作为静态图像声音数据的帧数据片段进行编码，由此进行转换以通过通信网络9分发视频声音数据至通信终端5。当视频未在运动中当没有帧间变化时时，跳跃帧被插入在其后直到视频移动以节约带宽。0103当声音数据连同静态图像数据一起通过渲染而生成时，两个数据片段被编码，而当只有声音数据被生成时，编码仅被执行以压缩数据而不裁剪、调整尺寸和划分。0104创建/选择单元310。
40、创建新的转换器10或选择作为静态图像声音数据的帧数据片段以输入至已经生成的转换器10。在创建中，创建/选择单元310根据通信终端5的性能创建能够转换的转换器10，以再现视频声音数据。在选择中，选择已经生成的转换器10。例如，在开始除了至通信终端5A的分发之外的至通信终端5B的分发时，与分发至通信终端5A的视频声音数据相同的视频声音数据可分发至通信终端5B。此外，在这种情况下，当通信终端5B具有与通信终端5A的性能相同级别的性能以再现视频声音数据时，创建/选择单元310使用已经为通信终端5A创建的转换器10A，而不对通信终端5B创建新的转换器10B。0105选择单元320从已经生成的转换器10中。
41、选择所需的一个。创建/选择单元310说明书CN104053073A119/22页12和选择单元320的选择允许以各种模式的分发，如图6所示。0106发送器/接收器31向通信终端5传送各种数据、请求等并且从通信终端5接收各种数据、请求等。该发送器/接收器31通过通信网络9从云中将各种数据、请求等传送至通信终端5，由此允许分发控制系统2将各种数据、请求等分发至通信终端5。例如，在通信终端5的登录处理中，发送器/接收器31将用于提示用户登录请求的认证屏幕数据传送至通信终端5的发送器/接收器51。发送器/接收器31还在安全套接字层HTTPS服务器上通过超文本传送协议由专用于分发系统1的协议，执行向通信。
42、终端5的用户应用和通信终端5的装置应用的数据传送和从通信终端5的用户应用和通信终端5的装置应用的数据接收。该专用协议为基于HTTPS的应用层协议，用于实时传送并接收数据，而不在分发控制系统2和通信终端之间被中断。发送器/接收器31还执行传送响应控制、实时数据创建、命令传送、接收响应控制、接收数据分析以及手势转换。0107该传送响应控制为管理从通信终端5请求的用于下载的HTTPS会话的处理，以便于从分发控制系统2传送数据至通信终端5。用于下载的HTTPS会话的响应不会立即结束，而是保持特定时间段一到数分钟。发送器/接收器31动态地在响应的主体部分中写入要发送至通信终端5的数据。为消除重新连接的开。
43、销，另一请求被允许在先前会话结束之前从通信终端到达。通过使发送器/接收器31就绪直到先前请求完成，开销可被消除，即使当重新连接被执行。0108实时数据创建为向由图16中的编码单元19生成的压缩视频以及压缩声音的数据给予专用头部并将其写入HTTPS主体部分的处理。0109命令传送为生成要传送至通信终端5的命令数据并将其写入引导至通信终端5的HTTPS主体部分的处理。0110接收响应控制为管理从通信终端5请求的HTTPS会话以使得分发控制系统2从通信终端5接收数据的处理。该HTTPS会话的响应不会立即结束而是保持特定时间段一到数分钟。通信终端5动态地将要发送到分发控制系统2的发送器/接收器31的数。
44、据写入到请求的主体部分中。0111接收数据分析为通过类型来分析传送自通信终端5的数据并传递该数据至必要进程的处理。0112手势转换为将用户使用电子笔或手写输入至作为电子黑板的通信终端5F的手势事件转换为以浏览器20可接收的格式的数据的处理。0113接收FIFO34为在其中存储由解码单元40解码的视频声音数据的缓冲器。0114识别单元35对接收自通信终端5的图像声音数据执行处理。具体地，例如，识别单元35基于照相机62采集的图像来识别人或动物的面部、年龄、性别等用于标示。在工作场所，识别单元35基于照相机62采集的图像通过面部识别和替换背景图像的处理来执行姓名标记。识别单元35在存储单元2000。
45、中存储表示的识别细节的识别信息。识别单元35通过使用识别扩展卡执行处理实现加速。0115延迟信息获取单元37A用于上行通道适配控制的处理，并对应于用于下行通道适配控制的处理的、通信终端5的延迟信息获取单元57。具体地，延迟信息获取单元37A从解码单元40获取表示传送延迟时间D1的传送延迟时间信息D1并保持特定时间段，并当多个传送延迟时间信息D1片段被获取时，基于多个传送延迟时间D1片段将表示频率分发说明书CN104053073A1210/22页13信息的传送延迟时间信息D输出至通道适配控制器37B。传送延迟时间信息D1表示传送延迟时间，表示从视频声音数据传送自通信终端5的点到其被分发控制系统2。
46、接收的点的时间。0116通道适配控制器37B用于上行通道适配控制的处理，并对应于用于下行通道适配控制的处理的、通道适配控制器27。具体地，通道适配控制器37B基于传送延迟时间信息D计算通信终端5的编码单元60的操作状况。通道适配控制器37B将表示操作状况如帧率和数据分辨率之类的通道适配控制信号通过发送器/接收器31和发送器/接收器51传送至通信终端5的编码单元60。0117解码单元40解码传送自通信终端5的视频声音数据。解码单元40还输出表示传送延迟时间D1的传送延迟时间信息D1至延迟信息获取单元37A。0118通信终端的功能配置0119通信终端5的功能配置参考图10来描述。图10为主要说明通。
47、信终端的功能的功能框图。通信终端5是作为用户执行到分发系统1的登录、开始和停止视频声音数据分发等的接口的终端。0120如图10所示，通信终端5具有由包括图7中所示的CPU201和程序的硬件配置实现的图10中的功能组件。当通信终端5通过插入如图2所示的加密狗99而与其他终端和系统经通信网络9可通信时，通信终端5具有由图7和图8中所示的程序和硬件配置实现的图10中的功能组件。0121具体地，通信终端5包括解码单元50、发送器/接收器51、操作单元52、再现控制器53、渲染单元55、时间控制器56、延迟信息获取单元57、显示单元58和编码单元60。通信终端5进一步包括由图7中所示的RAM203实现的。
48、存储单元5000。该存储单元5000在其中存储表示以下描述的时间差的时间差信息和表示在通信终端5中的时间T的时间信息T。0122解码单元50解码分发自分发控制系统2并输出自再现控制器53的视频声音数据。0123发送器/接收器51向分发控制系统2的发送器/接收器31以及终端管理系统7的发送器/接收器71A传送各种数据、请求等并从分发控制系统2的发送器/接收器31以及终端管理系统7的发送器/接收器71A接收各种数据、请求等。例如，在通信终端5的登录处理中，响应于操作单元52启动通信终端5，发送器/接收器51执行终端管理系统7的发送器/接收器71的登录请求。0124操作单元52执行处理以接收用户输入。
49、的操作如使用电源开关、键盘、鼠标、电子笔P等的输入和选择，并将它们作为操作数据传送至分发控制系统2的浏览器管理单元22。0125再现控制器53缓冲接收自发送器/接收器51的视频声音数据实时数据的包并以所考虑的再现延迟时间U输出至解码单元50。再现控制器53还计算表示传送延迟时间D1的传送延迟时间信息D1，并输出传送延迟时间信息D1至延迟信息获取单元57。传送延迟时间信息D1表示从视频声音数据传送自分发控制系统2的点到其被通信终端S接收的点的时间。0126渲染单元55渲染由解码单元50解码的数据。说明书CN104053073A1311/22页140127时间控制器56结合分发控制系统2的时间获取单元26执行时间调整处理。具体地，时间控制器56从存储单元5000获取表示通信终端5中的时间T的时间信息T。时间控制器56通过发送器/接收器51和发送器/接收器31发出对于表示分发控制系统2中的时间T的时间信息T的请求至分发控制系统2的时间获取单元26。在这种情况下，时间信息T与对于时间信息T的请求同时被传送。0128延迟信息获取单元57从再现控制器53获取表示传送延迟时间D1的传送延迟时间信息D1并保持特定时间段，并当多个传送延迟时间信息D1段被获取时，基于多个传送延迟时间D1段，通过发送器/接收器51和发送器/接收器31将表示频率分发信息的传送延迟时间信息D输出至通道适配控制器27。例。