一种云环境下的视频转码系统方法.pdf

本发明涉及一种云环境下的视频转码系统方法，针对现有技术视频转码效率低下，转码质量不尽完善的特点，在OpenStack和Hadoop的基础上，采用视频分割、转码、合并的方式实现云环境下的视频转码，其中，运用OpenStack和Hadoop的特性将集群的资源进行有效的调度，对整个云环境下物理资源和虚拟资源的利用效率有很大的提高，扩大了整个集群的运算能力，最大限度地提高了服务器的利用资源，又降低了大数据处理的准入门槛，以便可以提高分布式视频转码的效率，满足海量视频数据的处理和存储，借助于云计算平台和大数据处理技术将视频数据转换成我们所需要的价值。

权利要求书1.  一种云环境下的视频转码系统方法，其特征在于，包括如下步骤： 步骤001. 在物理主机上配置OpenStack云平台环境； 步骤002. 在OpenStack云平台环境上配置Hadoop集群构成视频转码系统； 步骤003. 客户端将视频处理任务上传至视频转码系统； 步骤004. 视频转码系统中的作业配置模块接收视频处理任务，按接收顺序构成作业队列，并且作业配置模块根据作业配置机制分别获得对应各个视频处理任务的作业处理配置信息；同时，视频分割管理模块根据各个视频处理任务分别对应的作业处理配置信息，分别针对各个视频处理任务进行视频分割，分别获得对应各个视频处理任务的各个视频作业分片； 步骤005. 视频转码系统中的视频传输模块将分别对应各个视频处理任务的各个视频作业分片上传至HDFS分布式文件存储系统中进行存储； 步骤006. 作业调度器根据作业队列中视频处理任务的顺序，依序从HDFS分布式文件存储系统中读取对应其中一个视频处理任务的各个视频作业分片，并通过Map框架进行视频转码处理； 步骤007. 针对经Map框架完成视频转码操作的各个视频作业分片，通过Reduce框架进行视频合成操作； 步骤008. 删除作业队列中上述处理的视频处理任务。 2.  根据权利要求1所述一种云环境下的视频转码系统方法，其特征在于：所述步骤001中在物理主机上配置的OpenStack云平台环境，包括一个控制节点和多个计算节点，并且每一个节点均使用双网卡，一个作为OpenStack云平台环境的网络，是控制节点与计算节点之间的通信网络，一个作为用户提供外部服务的网络；所述OpenStack云平台环境中将nova-compute和nova-network两个组件安装在一起；并且所述OpenStack云平台环境以用户的形式来授权服务给用户，用户可以根据需求申请多个虚拟机，用户有权限管理相应的虚拟机。 3.  根据权利要求1所述一种云环境下的视频转码系统方法，其特征在于：所述步骤002具体包括如下步骤： 步骤00201. 在OpenStack云平台环境上安装Sahara组件； 步骤00202. 配置OpenStack云平台环境中的keystone端点信息； 步骤00203. 向OpenStack云平台环境中的Glance组件上传相应的镜像文件； 步骤00204. 通过注册服务向Sahara组件注册上述所上传的镜像文件； 步骤00205. 创建节点组模板，定义节点组信息； 步骤00206. 根据稳定性和负载，选定节点进行Hadoop集群模板的创建； 步骤00207. 根据Hadoop集群模板，创建Hadoop集群，构成视频转码系统。 4.  根据权利要求1所述一种云环境下的视频转码系统方法，其特征在于：所述步骤004中，视频分割管理模块根据各个视频处理任务分别对应的作业处理配置信息，分别针对各个视频处理任务根据视频大小进行视频分割，其中，通过分析计算视频处理任务的帧数和体积，根据对应作业处理配置信息的分割个数获得对应视频处理任务进行视频分割的时间段，以此针对对应视频处理任务进行视频分割，分别获得对应各个视频处理任务的各个视频作业分片。 5.   根据权利要求1所述一种云环境下的视频转码系统方法，其特征在于：所述步骤005中，视频转码系统中的视频传输模块根据视频作业分片的转码工作量、带宽、视频作业分片到Hadoop集群各节点之间的传输距离，以及视频转码系统中虚拟机节点的负载，将分别对应各个视频处理任务的各个视频作业分片上传至HDFS分布式文件存储系统中进行存储。 6.   根据权利要求1或5所述一种云环境下的视频转码系统方法，其特征在于：所述步骤005中，视频转码系统针对上传的各个视频作业分片进行备份。 7.  根据权利要求1所述一种云环境下的视频转码系统方法，其特征在于：所述步骤006中，首先根据作业队列中视频处理任务的顺序，由作业队列向NameNode节点发出视频转码处理的请求，并从NameNode上获取对应其中一个视频处理任务的各个视频作业分片位于HDFS分布式文件存储系统中的存储位置；然后作业调度器根据存储位置获得对应视频处理任务的各个视频作业分片，并解析出对应各个视频作业分片视频分割形成的数据块键值对，形成Map框架针对对应视频作业分片进行视频转码处理。 8.  根据权利要求1或7所述一种云环境下的视频转码系统方法，其特征在于：所述步骤006中，通过中间结果调度器监测与Map框架同一节点进行视频转码处理的结果，并将Map框架同一节点进行视频转码处理的结果进行合并，实现针对各个视频作业分片的视频转码处理。 9.  根据权利要求1所述一种云环境下的视频转码系统方法，其特征在于：所述步骤007中，通过视频传输模块从HDFS分布式文件存储系统中获取经Map框架完成视频转码操作的各个视频作业分片，并根据视频作业分片所对应视频处理任务的作业处理配置信息，通过Reduce框架针对视频作业分片进行视频合成操作。 10.  根据权利要求1所述一种云环境下的视频转码系统方法，其特征在于：所述步骤008中，将完成视频合成操作所获得的视频文件发送至客户端，同时，通过作业清理模块针对MapReduce框架的中间结果进行清理，以及删除作业队列中上述处理的视频处理任务。

说明书一种云环境下的视频转码系统方法
技术领域
本发明涉及一种云环境下的视频转码系统方法。
背景技术
随着移动互联网的不断发展 ，视频传播的平台越来越多，不同平台支持的视频格式也越来越多，由于网络环境、终端类型、视频格式的不同，对视频内容的编码格式进行转换变得必不可少。
传统情况下是将视频存储和视频转码放在不同的系统中，专门的视频存储系统成本昂贵，长期维护消耗量大，而由于转码系统很多情况下采用的是单一服务器，这在需要转码大量视频时耗时太长，对硬件支持需求较高，同时两个系统之间频繁的数据传输会加大网络负载。由此可见，传统的视频转码方式难以满足大批量的视频转码，因此，有必要进行分布式视频转码的研究。分布式视频转码软件和随需视频转码服务的推出使得媒体服务提供商在提供高质量的视频转码服务的同时降低了视频转码的成本。
Hadoop是在云计算领域运用广泛的分布式基础架构，可靠性和可扩展性高。Hadoop处理任务时，用户将Job提交给Hadoop系统，Hadoop会将用户提交的作业分配给多个子节点并行处理，这种分布式的处理方式无疑会加快作业的处理，将分布式的方式运用在大量的视频转码中也可以加快视频的转码速度。Hadoop主要包括两个方面的内容，HDFS（Hadoop Distributed File System）和MapReduce。HDFS按照预先配置的情况进行数据的多节点备份，保证数据存储的可靠性。MapReduce是一个分布式的计算框架，负责的是Hadoop集群中作业的调度，程序员不需要考虑集群中的数据是如何分布的，也不需要担心集群中的各个节点是否可靠，只要按照MapReduce框架中对应的处理函数就可以实现分布式的计算。采用Hadoop进行分布式视频转码可以在提高视频转码效率，保证服务质量的同时降低视频转码的开销。本发明利用Hadoop的这些特性实现基于Hadoop的分布式视频转码，用来满足大量的视频转码需求。
OpenStack是云计算平台的一个开源解决方案，目的是实现平台构建的简单化，规模的可扩展以及功能尽可能的强大。OpenStack通过一系列相关的组件来提供一个基础设施即服务(IaaS)的平台，让任何人，任何组织可以简单的通过硬件设施部署云计算集群环境，以实现各种云服务。OpenStack借鉴了亚马逊AWS的成功经验，所有服务均是用一种标准化的服务接口来实现的，并且OpenStack的提出有利于云计算形成更加标准，更加严格的服务提供方式。OpenStack具有相当灵活的服务理念，可以支持多虚拟机的管理和扩展，所以OpenStack被越来越多的服务提供商所采用并运用于实践中。
Sahara是OpenStack的一个社区服务，Sahara的实现是对OpenStack在构建大数据服务能力上的不懈努力，使得用户能够轻松的实现在OpenStack基础设施即服务的平台上搭建弹性集群服务。该项目旨在为OpenStack用户提供一种简单、快捷地部署以及管理Hadoop集群的方案，作为云计算和大数据的桥梁之一，Sahara无疑将推动OpenStack和Hadoop的完美整合，加快Hadoop在OpenStack上的开发和部署进程。
发明内容
针对上述技术问题，本发明所要解决的技术问题是提供一种基于云平台环境，运用OpenStack和Hadoop的特性将集群的资源进行有效调度，能够有效提高分布式视频转码工作效率的云环境下的视频转码系统方法。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种云环境下的视频转码系统方法，包括如下步骤：
步骤001. 在物理主机上配置OpenStack云平台环境；
步骤002. 在OpenStack云平台环境上配置Hadoop集群构成视频转码系统；
步骤003. 客户端将视频处理任务上传至视频转码系统；
步骤004. 视频转码系统中的作业配置模块接收视频处理任务，按接收顺序构成作业队列，并且作业配置模块根据作业配置机制分别获得对应各个视频处理任务的作业处理配置信息；同时，视频分割管理模块根据各个视频处理任务分别对应的作业处理配置信息，分别针对各个视频处理任务进行视频分割，分别获得对应各个视频处理任务的各个视频作业分片；
步骤005. 视频转码系统中的视频传输模块将分别对应各个视频处理任务的各个视频作业分片上传至HDFS分布式文件存储系统中进行存储；
步骤006. 作业调度器根据作业队列中视频处理任务的顺序，依序从HDFS分布式文件存储系统中读取对应其中一个视频处理任务的各个视频作业分片，并通过Map框架进行视频转码处理；
步骤007. 针对经Map框架完成视频转码操作的各个视频作业分片，通过Reduce框架进行视频合成操作；
步骤008. 删除作业队列中上述处理的视频处理任务。
作为本发明的一种优选技术方案：所述步骤001中在物理主机上配置的OpenStack云平台环境，包括一个控制节点和多个计算节点，并且每一个节点均使用双网卡，一个作为OpenStack云平台环境的网络，是控制节点与计算节点之间的通信网络，一个作为用户提供外部服务的网络；所述OpenStack云平台环境中将nova-compute和nova-network两个组件安装在一起；并且所述OpenStack云平台环境以用户的形式来授权服务给用户，用户可以根据需求申请多个虚拟机，用户有权限管理相应的虚拟机。
作为本发明的一种优选技术方案：所述步骤002具体包括如下步骤：
步骤00201. 在OpenStack云平台环境上安装Sahara组件；
步骤00202. 配置OpenStack云平台环境中的keystone端点信息；
步骤00203. 向OpenStack云平台环境中的Glance组件上传相应的镜像文件；
步骤00204. 通过注册服务向Sahara组件注册上述所上传的镜像文件；
步骤00205. 创建节点组模板，定义节点组信息；
步骤00206. 根据稳定性和负载，选定节点进行Hadoop集群模板的创建；
步骤00207. 根据Hadoop集群模板，创建Hadoop集群，构成视频转码系统。
作为本发明的一种优选技术方案：所述步骤004中，视频分割管理模块根据各个视频处理任务分别对应的作业处理配置信息，分别针对各个视频处理任务根据视频大小进行视频分割，其中，通过分析计算视频处理任务的帧数和体积，根据对应作业处理配置信息的分割个数获得对应视频处理任务进行视频分割的时间段，以此针对对应视频处理任务进行视频分割，分别获得对应各个视频处理任务的各个视频作业分片。
作为本发明的一种优选技术方案：所述步骤005中，视频转码系统中的视频传输模块根据视频作业分片的转码工作量、带宽、视频作业分片到Hadoop集群各节点之间的传输距离，以及视频转码系统中虚拟机节点的负载，将分别对应各个视频处理任务的各个视频作业分片上传至HDFS分布式文件存储系统中进行存储。
作为本发明的一种优选技术方案：所述步骤005中，视频转码系统针对上传的各个视频作业分片进行备份。
作为本发明的一种优选技术方案：所述步骤006中，首先根据作业队列中视频处理任务的顺序，由作业队列向NameNode节点发出视频转码处理的请求，并从NameNode上获取对应其中一个视频处理任务的各个视频作业分片位于HDFS分布式文件存储系统中的存储位置；然后作业调度器根据存储位置获得对应视频处理任务的各个视频作业分片，并解析出对应各个视频作业分片视频分割形成的数据块键值对，形成Map框架针对对应视频作业分片进行视频转码处理。
作为本发明的一种优选技术方案：所述步骤006中，通过中间结果调度器监测与Map框架同一节点进行视频转码处理的结果，并将Map框架同一节点进行视频转码处理的结果进行合并，实现针对各个视频作业分片的视频转码处理。
作为本发明的一种优选技术方案：所述步骤007中，通过视频传输模块从HDFS分布式文件存储系统中获取经Map框架完成视频转码操作的各个视频作业分片，并根据视频作业分片所对应视频处理任务的作业处理配置信息，通过Reduce框架针对视频作业分片进行视频合成操作。
作为本发明的一种优选技术方案：所述步骤008中，将完成视频合成操作所获得的视频文件发送至客户端，同时，通过作业清理模块针对MapReduce框架的中间结果进行清理，以及删除作业队列中上述处理的视频处理任务。
本发明所述一种云环境下的视频转码系统方法采用以上技术方案与现有技术相比，具有以下技术效果：本发明设计的云环境下的视频转码系统方法，针对现有技术视频转码效率低下，转码质量不尽完善的特点，运用OpenStack和Hadoop的特性将集群的资源进行有效的调度，对整个云环境下物理资源和虚拟资源的利用效率有很大的提高，扩大了整个集群的运算能力，最大限度地提高了服务器的利用资源，又降低了大数据处理的准入门槛，以便可以提高分布式视频转码的效率，满足海量视频数据的处理和存储，借助于云计算平台和大数据处理技术将视频数据转换成我们所需要的价值。
附图说明
图1为本发明设计中系统的结构示意图；
图2是本发明设计中视频处理任务分割示意图；
图3是本发明设计中视频作业分片上传示意图；
图4是本发明设计中视频作业分片转码示意图；
图5是本发明设计中视频作业分片合并示意图。
具体实施方式
下面结合说明书附图针对本发明的具体实施方式作进一步详细的说明。
本发明构造一个以OpenStack为云平台环境的集群，借助于OpenStack优良的图形化界面，可以实现云服务的创建和访问，对创建的节点进行IP地址分配和设置相应的权限等操作；并且Hadoop拥有良好的分布式处理框架，配合OpenStack可以将Hadoop对节点的操作更加细致，更加灵活。
本发明设计的一种云环境下的视频转码系统方法在实际应用过程中，包括如下步骤：
步骤001. 如图1所示，在linux系统下，在物理主机上利用闲置的物理资源整合一个云计算平台，安装和部署OpenStack管理工具，配置OpenStack云平台环境；
所配置的OpenStack云平台环境，包括一个控制节点和多个计算节点，并且每一个节点均使用双网卡，一个作为OpenStack云平台环境的网络，是控制节点与计算节点之间的通信网络，一个作为用户提供外部服务的网络；所述OpenStack云平台环境中将nova-compute和nova-network两个组件安装在一起，这样可以减少不必要的网络传输，提高网络速度；并且所述OpenStack云平台环境以用户的形式来授权服务给用户，用户可以根据需求申请多个虚拟机，用户有权限管理相应的虚拟机。
步骤002. 在OpenStack云平台环境上配置Hadoop集群构成视频转码系统，具体包括如下步骤：
步骤00201. 在OpenStack云平台环境上安装Sahara组件；
步骤00202. 配置OpenStack云平台环境中的keystone端点信息；
步骤00203. 向OpenStack云平台环境中的Glance组件上传相应的镜像文件；
步骤00204. 通过注册服务向Sahara组件注册上述所上传的镜像文件；
步骤00205. 创建节点组模板，定义节点组信息，包括Hadoop版本信息，服务进程种类等；
步骤00206. 根据稳定性和负载，选出节点组中稳定性较高、负载较均衡的节点进行Hadoop集群模板的创建；
步骤00207. 根据Hadoop集群模板，创建Hadoop集群，构成视频转码系统。
上述将Hadoop环境迁移到OpenStack上，定义相应的集群配置，包括具体所需虚拟机的多少和集群的大小拓扑情况，将Hadoop集群使用OpenStack高度管理可以使得两者的优势互补，可以实现Hadoop的细粒化程度更高，轻松实现节点的高效管理。
在OpenStack的基础上部署Hadoop集群环境，IaaS底层的资源对用户来说是透明的，用户不需要知道底层物理资源的配置情况，用户按需申请虚拟资源。分布式视频转码在Hadoop集群环境下可以轻松实现，视频转码分为视频切割，视频传输，视频转码模块，每一模块的协调操作是实现高质量视频处理的基础。
步骤003. 客户端将视频处理任务上传至视频转码系统。
步骤004. 如图2所示，视频转码系统中的作业配置模块接收视频处理任务，按接收顺序构成作业队列，并且作业配置模块根据作业配置机制分别获得对应各个视频处理任务的作业处理配置信息；同时，视频分割管理模块根据各个视频处理任务分别对应的作业处理配置信息，分别针对各个视频处理任务进行视频分割，分别获得对应各个视频处理任务的各个视频作业分片；
现有普遍的视频分割方式通常是按照关键帧分割、按照时间戳分割和按照视频大小分割。对于基于时间的分割方式本发明不采用，因为每次分割需要从视频开头遍历到视频结尾，这样对于时间的浪费我们必须加以重视，而且没必要花费很长世间在分割上。因此，本发明设计的步骤004中，视频分割管理模块根据各个视频处理任务分别对应的作业处理配置信息，分别针对各个视频处理任务根据视频大小进行视频分割，其中，通过分析计算视频处理任务的帧数和体积，根据对应作业处理配置信息的分割个数获得对应视频处理任务进行视频分割的时间段，以此针对对应视频处理任务进行视频分割，分别获得对应各个视频处理任务的各个视频作业分片，如果分割点是视频的关键帧，则定位的分割点稍加前移或后移，保证数据的完整性，此方式可以大大减少视频分割的时间，并且使得分割获得的视频作业分片大小都很相似，符合集群环境下的负载均衡和资源调度策略的要求，能够有效提高视频转码的效率。
步骤005. 如图3所示，由于视频作业分片大小是不一样的，而且每一片视频作业分片的转码时间也不尽相同，导致传统的视频作业分片的同步问题不尽完美，所以本发明设计采用视频转码系统中的视频传输模块根据视频作业分片的转码工作量、带宽、视频作业分片到Hadoop集群各节点之间的传输距离，以及视频转码系统中虚拟机节点的负载，将分别对应各个视频处理任务的各个视频作业分片上传至HDFS分布式文件存储系统中进行存储，使得用户能利用最少的资源存储最大效率的视频数据，有效的解决了视频传输瓶颈的问题，同时，视频转码系统针对上传的各个视频作业分片进行备份，一般情况下，每个数据块会有三个备份及从节点一个，同一机架的不同DataNode节点一个，不同机架的DataNode节点一个，这是为了减少节点宕机，断电等突发情况岁系统正常运行的影响。
步骤006. 如图4所示，作业调度器根据作业队列中视频处理任务的顺序，依序从HDFS分布式文件存储系统中读取对应其中一个视频处理任务的各个视频作业分片，并通过Map框架进行视频转码处理，具体过程如下：
首先根据作业队列中视频处理任务的顺序，由作业队列向NameNode节点发出视频转码处理的请求，并从NameNode上获取对应其中一个视频处理任务的各个视频作业分片位于HDFS分布式文件存储系统中的存储位置；然后作业调度器根据存储位置获得对应视频处理任务的各个视频作业分片，并解析出对应各个视频作业分片视频分割形成的数据块键值对，形成Map框架针对对应视频作业分片进行视频转码处理；由于经Map框架处理完成的中间结果数据较多，这样会造成不必要的传输资源的浪费，有可能会影响传输信道的拥塞等问题，因此，经Map框架处理完成的中间结果不能直接交付给Reduce框架进行视频合并操作，所以设计引入调度器，通过中间结果调度器监测与Map框架同一节点进行视频转码处理的结果，并将Map框架同一节点进行视频转码处理的结果进行合并，实现针对各个视频作业分片的视频转码处理，此操作有效减少了Reduce框架的处理过程，一定程度上减少了中间结果的传输对网络带宽的影响。
步骤007. 如图5所示，通过视频传输模块从HDFS分布式文件存储系统中获取经Map框架完成视频转码操作的各个视频作业分片，针对各个视频作业分片，根据视频作业分片所对应视频处理任务的作业处理配置信息，通过Reduce框架进行视频合成操作，对于视频合成操作，可以通过Mencoder软件进行视频合成操作，其中， Mencoder是一个开源的视频编辑软件，内部集成了多种视频格式编码器，通过对应编码要求命令可以将多种格式的视频文件转换为固定格式的视频文件，调用Mencoder软件时需要定义合并文件的文件格式，源视频的文件系统输入路径，以及合并完成输出文件的路径等。
步骤008. 将完成视频合成操作所获得的视频文件发送至客户端，减少作业的反应时间，同时，通过作业清理模块针对MapReduce框架的中间结果进行清理，以及删除作业队列中上述处理的视频处理任务，及时更新作业队列。
本发明设计的云环境下的视频转码系统方法中，采用Capacity调度策略，这种方法可以均衡系统的MapReduce资源，使得Hadoop环境下的闲置资源可以尽最大效率的利用，并且在同一时间段，多项作业可以一起执行，输入输出资源也可以最大限度地发挥。
本发明设计的云环境下的视频转码系统方法，针对现有技术视频转码效率低下，转码质量不尽完善的特点，运用OpenStack和Hadoop的特性将集群的资源进行有效的调度，对整个云环境下物理资源和虚拟资源的利用效率有很大的提高，扩大了整个集群的运算能力，最大限度地提高了服务器的利用资源，又降低了大数据处理的准入门槛，以便可以提高分布式视频转码的效率，满足海量视频数据的处理和存储，借助于云计算平台和大数据处理技术将视频数据转换成我们所需要的价值。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。