《分布式文件系统和主控节点的备份方法.pdf》由会员分享，可在线阅读，更多相关《分布式文件系统和主控节点的备份方法.pdf（11页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN102346779A43申请公布日20120208CN102346779ACN102346779A21申请号201110317032022申请日20111018G06F17/30200601G06F11/1420060171申请人中国联合网络通信集团有限公司地址100033北京市西城区金融大街21号72发明人贾兴华张云勇陈清金魏进武贾宝军74专利代理机构北京同立钧成知识产权代理有限公司11205代理人刘芳54发明名称分布式文件系统和主控节点的备份方法57摘要本发明提供一种分布式文件系统和主控节点的备份方法，其中，该系统包括虚拟化控制平台、部署有第一虚拟机的主用物理机和部署有第。
2、二虚拟机的备用物理机，主用物理机和备用物理机均与虚拟化控制平台相连，其中，第一虚拟机加载了虚拟化文件作为主控节点与数据节点进行通信；虚拟化控制平台用于监测第一虚拟机的工作状态，若判断获知第一虚拟机出现故障，则向第二虚拟机发送启动指令；第二虚拟机用于在获取启动指令后，调用虚拟化文件作为主控节点与数据节点继续通信。通过本发明提供的分布式文件系统和主控节点的备份方法，实现了能够在很短的时间内恢复分布式文件系统中主控节点的功能，大大提高了系统的可用性。51INTCL19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书5页附图3页CN102346799A1/2页21一种分布式文件系统，包。
3、括数据节点，其特征在于，还包括虚拟化控制平台、部署有第一虚拟机的主用物理机和部署有第二虚拟机的备用物理机，所述主用物理机和所述备用物理机均与所述虚拟化控制平台相连，其中，所述第一虚拟机加载有虚拟化文件作为主控节点与所述数据节点进行通信；所述虚拟化控制平台用于监测所述第一虚拟机，若判断获知所述第一虚拟机出现故障，则向所述第二虚拟机发送包括所述虚拟化文件的文件名称的启动指令；所述第二虚拟机用于在获取所述启动指令后，根据所述文件名称调用所述虚拟化文件作为所述主控节点与所述数据节点继续通信。2根据权利要求1所述的分布式文件系统，其特征在于，所述虚拟化控制平台包括监测模块，所述监测模块用于监测所述第一虚。
4、拟机和所述主用物理机的工作状态，若判断获知所述第一虚拟机出现故障且所述主用物理机正常工作，则向所述主用物理机发送所述启动指令；所述主用物理机用于在获取所述启动指令后，部署第三虚拟机并将所述启动指令发送给所述第三虚拟机，以供所述第三虚拟机根据所述文件名称调用所述虚拟化文件作为主控节点与所述数据节点继续通信。3根据权利要求2所述的分布式文件系统，其特征在于，所述监测模块具体用于向所述第一虚拟机发送第一心跳信号，并向所述主用物理机发送第二心跳信号以确定所述第一虚拟机和/或所述主用物理机是否出现故障。4根据权利要求13任一项所述的分布式文件系统，其特征在于，所述系统还包括集中存储模块，用于存储所述虚拟。
5、化文件，所述集中存储模块位于所述主用物理机中或所述备用物理机中或独立于所述分布式文件系统中。5根据权利要求13任一项所述的分布式文件系统，其特征在于，在所述主用物理机或所述备用物理机既有的操作系统上部署虚拟机，或直接在所述主用物理机或所述备用物理机的裸机部署虚拟机。6应用如权利要求1至5任一项所述的分布式文件系统进行主控节点备份方法，其特征在于，包括所述虚拟化控制平台监测所述第一虚拟机；所述虚拟化控制平台若判断获知在获知所述第一虚拟机出现故障，则向所述第二虚拟机发送包括所述虚拟化文件的文件名称的启动指令，以供所述第二虚拟机根据所述文件名称调用所述虚拟化文件作为所述主控节点与所述数据节点继续通信。
6、。7根据权利要求6所述的方法，其特征在于，所述方法还包括所述虚拟化控制平台监测所述第一虚拟机和所述主用物理机的工作状态；所述虚拟化控制平台若判断获知所述第一虚拟机出现故障且所述主用物理机正常工作，则向所述主用物理机发送所述启动指令，以供所述主用物理机用于在获取所述启动指令后部署第三虚拟机并将所述启动指令发送给所述第三虚拟机，以供所述第三虚拟机根据所述文件名称调用所述虚拟化文件作为主控节点与所述数据节点继续通信。8根据权利要求7所述的方法，其特征在于，所述虚拟化控制平台通过向所述第一虚拟机发送第一心跳信号，向所述主用物理机发权利要求书CN102346779ACN102346799A2/2页3送第。
7、二心跳信号以确定所述第一虚拟机和/或所述主用物理机是否出现故障。权利要求书CN102346779ACN102346799A1/5页4分布式文件系统和主控节点的备份方法技术领域0001本发明涉及计算机技术，尤其涉及一种分布式文件系统和主控节点的备份方法。背景技术0002分布式文件系统HADOOPDISTRIBUTEDFILESYSTEM，HDFS具体包括一个主控节点和若干个数据节点，主控节点和数据节点都是物理机。其中，主控节点是HDFS中的管理者，主要负责管理文件系统的命名空间、集群配置信息和文件块的复制等；数据节点是文件存储的基本单元，它将文件块存储在本地文件系统中，保存了文件块的元数据，同时。
8、周期性地将所有存在的文件块信息发送给主控节点。0003由于HDFS中主控节点只有一个，是HDFS中所有元数据的仓库，因此，一旦主控节点发生故障，整个HDFS系统将发生瘫痪，造成了单点瓶颈，影响整个系统的可用性。因此，现有技术通过在HDFS系统中配置一台备用物理机，当原有的作为主控节点的主用物理机出现故障后，通过将主用物理机硬盘中的主控节点文件导入到备用物理机的硬盘中，从而将备用物理机作为新的主控节点与数据节点继续通信保证HDFS系统的正常工作。0004但是，由于主控节点文件量非常大，往备用物理机导入数据的时间过长，从而导致主控节点与数据节点的交互需要中断很长时间，从而使整个HDFS系统无法满足。
9、应用需求。发明内容0005针对现有技术的上述缺陷，本发明实施例提供一种分布式文件系统和主控节点的备份方法。0006本发明实施例提供一种分布式文件系统，包括数据节点，还包括虚拟化控制平台、部署有第一虚拟机的主用物理机和部署有第二虚拟机的备用物理机，所述主用物理机和所述备用物理机均与所述虚拟化控制平台相连，其中，所述第一虚拟机加载有虚拟化文件作为主控节点与所述数据节点进行通信；0007所述虚拟化控制平台用于监测所述第一虚拟机，若判断获知在获知所述第一虚拟机出现故障，则向所述第二虚拟机发送包括所述虚拟化文件的文件名称的启动指令；0008所述第二虚拟机用于在获取所述启动指令后，根据所述文件名称调用所述。
10、虚拟化文件作为所述主控节点与所述数据节点继续通信。0009本发明实施例提供一种应用本发明提供的分布式文件系统进行的主控节点备份方法，包括0010所述虚拟化控制平台监测所述第一虚拟机；0011所述虚拟化控制平台若判断获知在获知所述第一虚拟机出现故障，则向所述第二虚拟机发送包括所述虚拟化文件的文件名称的启动指令，以供所述第二虚拟机根据所述文件名称调用所述虚拟化文件作为所述主控节点与所述数据节点继续通信。0012本发明实施例提供的分布式文件系统和主控节点的备份方法，可以预先在主用物理机上部署第一虚拟机以及在备用物理机上部署第二虚拟机，其中，第一虚拟机加载了虚说明书CN102346779ACN1023。
11、46799A2/5页5拟化文件作为主控节点与数据节点进行通信；当虚拟化控制平台监测到第一虚拟机出现故障时，向第二虚拟机发送启动指令，当第二虚拟机获取启动指令后，调用虚拟化文件作为主控节点与数据节点继续通信。0013因此，当作为主控节点的第一虚拟机出现故障后，由于虚拟机能够隐藏特定的物理机计算平台的实际物理特性，第二虚拟机可以直接调用第一虚拟机中的虚拟化文件，而不需要将虚拟化文件导入到第二虚拟机中，从而可以在短时间内快速恢复主控节点的功能作为新的主控节点与数据节点继续通信，因此，节省了大量的时间，而不像现有技术中以主用物理机作为主控节点与数据节点进行通信，一旦主用物理机发生故障，必须将主用物理机。
12、硬盘中的文件导入到备用物理机的硬盘中，才可以恢复主控节点的功能，使备用物理机作为主控节点与数据节点继续通信，从而实现了能够在很短的时间内恢复主控节点的功能，大大提高了系统的可用性。附图说明0014图1为本发明分布式文件系统一个实施例的结构示意图；0015图2为本发明分布式文件系统另一实施例的结构示意图；0016图3为本发明分布式文件系统又一实施例的结构示意图；0017图4为本发明应用图1所示的分布式文件系统进行主控节点备份方法实施例的流程图；0018图5为本发明应用图2所示的分布式文件系统进行主控节点备份方法实施例的流程图。具体实施方式0019为使本发明实施例的目的、技术方案和优点更加清楚，下。
13、面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。0020图1为本发明分布式文件系统一个实施例的结构示意图，如图1所示，该系统包括0021数据节点1、虚拟化控制平台2、部署有第一虚拟机31的主用物理机3和部署有第二虚拟机41的备用物理机4，主用物理机3和备用物理机4均与虚拟化控制平台2相连，其中，第一虚拟机31加载有虚拟化文件作为主控节点与数据节点1进行通信。0022虚拟化控制平台2用于监测第。
14、一虚拟机31的工作状态，若判断获知第一虚拟机31出现故障，则向第二虚拟机41发送包括虚拟化文件的文件名称的启动指令；第二虚拟机41用于在获取启动指令后，根据文件名称调用虚拟化文件作为主控节点与数据节点1继续通信。0023具体地，可以预先在主用物理机3上安装虚拟化软件，通过虚拟化软件中的程序部署第一虚拟机31，同时，在备用物理机4上安装虚拟化软件，通过虚拟化软件中的程序部署第二虚拟机41。其中，不同的虚拟化软件的具体应用环境也不一样，有些虚拟化软件可以在物理机既有的操作系统上安装，有些虚拟化软件可以先于操作系统直接安装至物理机的说明书CN102346779ACN102346799A3/5页6裸机。
15、上，值得注意的是，本发明提到的虚拟化软件应根据所安装的物理机的软硬件情况和具体的应用需求进行选择，并不对具体的虚拟化软件加以限制。虚拟机所运行的操作系统称为客户机操作系统，运行虚拟化软件的操作系统称为主机操作系统。通过虚拟化软件中的程序可以隐藏特定的物理机计算平台的实际物理特性，在物理机硬件之上生成许多可以运行独立操作系统软件的模拟计算环境即虚拟机。0024本实施例提供的分布式文件系统中通过在第一虚拟机31中加载虚拟化文件作为主控节点与数据节点1进行通信，其中，加载的虚拟化文件包括了主用物理机3作为主控节点时的软件环境、IP地址、媒体访问控制MEDIAACCESSCONTROL，MAC地址，和。
16、通用唯一识别码UNIVERSALLYUNIQUEIDENTIFIER，UUID，也就是说，在第一虚拟机31中加载虚拟化文件作为主控节点与数据节点1进行通信替代了现有技术中在主用物理机3上加载文件作为主控节点与数据节点1进行通信，因此，本领域普通技术人员可以理解，对于数据节点而言，与作为主控节点的第一虚拟机31进行通信和与作为主控节点的主用物理机3进行通信是一样的，此处不再赘述，所不同的是，本实施例是利用虚拟化技术在物理机上先模拟出一个虚拟的物理机环境的虚拟机，然后在虚拟机上加载虚拟化文件作为主控节点。0025虚拟化控制平台2监测第一虚拟机31的工作状态，若判断获知第一虚拟机31出现故障，则向第。
17、二虚拟机41发送包括虚拟化文件的文件名称的启动指令；第二虚拟机41在获取启动指令后，根据文件名称调用虚拟化文件作为主控节点与数据节点1继续通信。由于出现故障的主控节点是第一虚拟机31，不同于现有技术中的主用物理机3，因此，基于虚拟机可以屏蔽掉物理机硬件特性的特点，第二虚拟机41不需要导入出现故障的第一虚拟机31中的虚拟化文件，而是直接调用该虚拟化文件，不需要移动该虚拟化文件的存储位置，从而第二虚拟机41在很短的时间内就可以快速恢复主控节点的功能作为新的主控节点与数据节点1继续通信，而不像现有技术中的备用物理机4，必须将出现故障的主用物理机3中的文件导入到自身的硬盘中才能恢复主控节点的功能，导致。
18、整个系统的服务对外中断很长时间。0026本发明实施例提供的分布式文件系统，可以预先在主用物理机上部署第一虚拟机以及在备用物理机上部署第二虚拟机，其中，第一虚拟机加载了虚拟化文件作为主控节点与数据节点进行通信；当虚拟化控制平台监测到第一虚拟机出现故障时，向第二虚拟机发送启动指令，当第二虚拟机获取启动指令后，调用虚拟化文件作为主控节点与数据节点继续通信。0027因此，当作为主控节点的第一虚拟机出现故障后，由于虚拟机能够隐藏特定的物理机计算平台的实际物理特性，第二虚拟机可以直接调用第一虚拟机中的虚拟化文件，而不需要将虚拟化文件导入到第二虚拟机中，从而可以在短时间内快速恢复主控节点的功能作为新的主控节。
19、点与数据节点继续通信，因此，节省了大量的时间，而不像现有技术中以主用物理机作为主控节点与数据节点进行通信，一旦主用物理机发生故障，必须将主用物理机硬盘中的文件导入到备用物理机的硬盘中，才可以恢复主控节点的功能，使备用物理机作为主控节点与数据节点继续通信，从而实现了能够在很短的时间内恢复主控节点的功能，大大提高了系统的可用性。0028图2为本发明分布式文件系统另一实施例的结构示意图，如图2所示，基于图1所示实施例，虚拟化控制平台2包括监测模块21，监测模块21用于监测第一虚拟机31和主说明书CN102346779ACN102346799A4/5页7用物理机3的工作状态，若判断获知第一虚拟机31出。
20、现故障且主用物理机3正常工作，则向主用物理机3发送启动指令；主用物理机3用于在获取启动指令后，部署第三虚拟机32并将启动指令发送给第三虚拟机32，以供第三虚拟机32调用虚拟化文件作为主控节点与数据节点1继续通信。0029具体地，监测模块21监测第一虚拟机31和主用物理机3的工作状态，由于通过虚拟化软件可以在物理机硬件之上生成许多可以运行独立操作系统软件的虚拟机，因此，监测模块21若判断获知第一虚拟机31出现故障，且主用物理机3正常工作，向主用物理机3发送包括虚拟化文件的文件名称的启动指令；主用物理机3在获取启动指令后，利用虚拟化软件部署第三虚拟机32并将启动指令发送给第三虚拟机32，第三虚拟机。
21、32在获取启动指令后，根据文件名称直接调用第一虚拟机31中的虚拟化文件，在很短的时间内即可恢复主控节点的功能，第三虚拟机32作为新的主控节点与数据节点1继续通信。0030针对图2所示的实施例，监测模块21监测第一虚拟机31和主用物理机3的工作状态的方式有很多，应根据具体的应用场景选择具体的监测方法，本实施例不加以限制，仅举例说明。监测模块21具体可以通过向第一虚拟机31发送第一心跳信号，并向主用物理机3发送第二心跳信号以确定第一虚拟机31和/或主用物理机3是否出现故障，具体包括若监测模块21在预设的时间内接收到第一虚拟机31返回的第一心跳响应信号，则确定第一虚拟机31处于正常工作状态，否则，确。
22、定第一虚拟机31出现故障；若监测模块21在预设的时间内接收到主用物理机3返回的第二心跳响应信号，则确定主用物理机3处于正常工作状态，否则，确定主用物理机3出现故障。0031针对图2所示的实施例，需要说明的是，第三虚拟机32可以是主用物理机3在获取启动指令之后利用虚拟化软件部署的，并把启动指令转发给第三虚拟机32使其调用虚拟化文件，第三虚拟机32也可以预先在主用物理机上部署好，当虚拟化控制平台2中的监测模块21判断获知第一虚拟机31出现故障且主用物理机3正常工作时，将启动指令直接发送给第三虚拟机32使其调用虚拟化文件。0032本发明实施例提供的分布式文件系统，通过虚拟化控制平台中的监测模块对第一。
23、虚拟机和主用物理机的工作状态进行检测以确定向第二虚拟机还是主用物理机发送启动指令，当虚拟化控制平台监测到第一虚拟机出现故障时且主用物理机正常工作时，向主用物理机发送启动指令，使主用物理机利用虚拟化软件部署第三虚拟机并调用虚拟化文件，在很短时间内恢复主控节点的功能作为主控节点与数据节点继续通信，实现了能够在很短的时间内恢复主控节点的功能，大大提高了系统的可用性。0033图3为本发明分布式文件系统又一实施例的结构示意图，如图3所示，基于图2所示实施例，所述系统还包括集中存储模块5，0034具体地，当在第一虚拟机31上加载虚拟化文件后将第一虚拟机31作为主控节点与数据节点1进行通信，虚拟化文件存储在。
24、集中存储模块5中，集中存储模块5可以位于主用物理机3中或备用物理机4中，也可以独立于系统之中，可以根据具体的应用需要对集中存储模块5的位置进行调整。0035图4为本发明应用图1所示的分布式文件系统进行主控节点备份方法实施例的流程图，如图4所示，该方法包括0036步骤100，虚拟化控制平台监测所述第一虚拟机；说明书CN102346779ACN102346799A5/5页80037步骤101，虚拟化控制平台若判断获知所述第一虚拟机出现故障，则向所述第二虚拟机发送包括所述虚拟化文件的文件名称的启动指令，以供所述第二虚拟机根据所述文件名称调用所述虚拟化文件作为所述主控节点与所述数据节点继续通信。003。
25、8本实施例提供的主控节点备份方法的具体处理流程可以参见上述图1所示的系统实施例，其实现原理和技术效果类似，此处不再赘述。0039图5为本发明应用图2所示的分布式文件系统进行主控节点备份方法实施例的流程图，如图5所示，该方法包括0040步骤200，虚拟化控制平台监测所述第一虚拟机和所述主用物理机的工作状态；0041步骤201，虚拟化控制平台若判断获知所述第一虚拟机出现故障且所述主用物理机正常工作，则向所述主用物理机发送包括所述虚拟化文件的文件名称的启动指令，以供所述主用物理机用于在获取所述启动指令后部署第三虚拟机并将所述启动指令发送给所述第三虚拟机，以供所述第三虚拟机根据所述文件名称调用所述虚拟。
26、化文件作为主控节点与所述数据节点继续通信。0042本实施例提供的主控节点备份方法的具体处理流程可以参见上述图2所示的系统实施例，其实现原理和技术效果类似，此处不再赘述。0043本领域普通技术人员可以理解实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。0044最后应说明的是以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。说明书CN102346779ACN102346799A1/3页9图1图2说明书附图CN102346779ACN102346799A2/3页10图3图4说明书附图CN102346779ACN102346799A3/3页11图5说明书附图CN102346779A。