一种基于容器化技术的私有云存储系统技术领域
本发明涉及到云计算、docker容器技术领域，具体的说是一种基于容器化技术的私有云存储系统。
背景技术
随着移动设备的兴起，数据与日剧增，每天都会产生大量的数据。云计算为中小型企业或者个人提供数据的存储与计算服务，节省了存储计算成本。但是云计算带来便利的同时也存在一定的风险，用户一般将数据存储在公有云中，而公有云系统中多个用户共享计算资源，用户无法确切地知道可控的资源运行在何处，存储在公有云中的数据，有极大地风险被非法使用。
随着物联网进程的加快，每个人每天将产生大量的个人隐私数据，这些数据可能包括健康数据、家电数据和个人移动位置信息等等，人们会对这些数据的安全性更加关注，而公有云的劣势将无限放大。研究开发私有云系统将会从本质上对这个问题进行一定的缓解。私有云相比于传统的公有云有以下几点好处：
第一点，防止数据被窃取。公有云存储服务往往是和用户的某些平台账号绑定在一起的，或者与用户的某个邮箱绑定在一起的，一旦平台账号或邮箱被黑客获取，所有的数据就一览无余了；第二点，防止数据被主动泄漏。用户将数据托管在第三方的云平台上，无法保证云服务提供商不把用户数据提供给其他人使用；第三点，防止数据遗失。2009年底微软的SIDEKICK事件，导致邮件服务器中断一周，而用户数据却未曾备份而丢失。
从以上几点可以看到，构建家庭私有云是非常必要的，能够保证自己的私人数据与其他互联网账号无关，不被搜索引擎索引，不被别人监视。用户部署的私有云能够保证服务器运行并做好数据备份。如果仅在家庭或公司内部使用可以部署在内网，安全系数更高。在私有云的环境下，用户的云端服务器再也不是云服务商所提供，而是用户拥有自己的服务器，用户可以使用手持终端与自己的私有云服务器随时随地通信。这种情况下，除了私有云服务器本身不可抗外力的因素，服务器与数据是百分之百安全的，用户只需要利用APP登录自己的云端服务器就可以实现私人数据的存储与重要数据的同步。但是，需购买价格昂贵的服务器，并需要持续投入维护成本，对于个人来说建立私有云服务器成本太大，不利于实现。
发明内容
本发明针对目前技术发展的需求和不足之处，提供一种基于容器化技术的私有云存储系统。
本发明所述一种基于容器化技术的私有云存储系统，解决上述技术问题采用的技术方案如下：所述一种基于容器化技术的私有云存储系统，以容器化技术docker为基础搭建私有云存储系统, 利用Docker容器技术扩充出计算存储节点，利用MooseFS文件系统实现对单机资源的有效利用，再结合Seafile云存储系统实现对松散资源的集中管理，加密存储；其系统架构主要包括数据存储层和服务提供层。
优选的，所述数据存储层使用MooseFS文件系统，主要由Master、Metalogger和Chunkserver这些部分组成。其中，master负责在整个系统中管理数据，是整个系统的维护者；Metalogger做master数据备份的节点；chunkserver负责存储MFS系统中的数据，用户数据按照算法被分成chunk，并分发到各个chunkserver上，这样就保证了数据的安全性。
优选的，所述服务提供层包括与用户交互的接口，主要使用Seafile服务端完成。
优选的，Seafile服务端主要由Httpserver、Seahub、Seafile 、Ccnet和Task Deamon模块组成；其中：Ccnet主要负责通信，是内部的RPC服务进程，连接其他几个组件；Seahub主要提供网页页面，供用户管理自己在服务器上的数据和账户信息；Httpserver主要负责网页端的文件上传与下载；Seafile是整个架构的核心，负责对原始文件的上传、下载和同步；Task Deamon主要处理后台邮件收发任务。
优选的，所述私有云存储系统采用Wandboard QuadARM开发板作为私有云的硬件运行环境。
本发明所述一种基于容器化技术的私有云存储系统与现有技术相比具有的有益效果是：本发明利用Docker容器技术将计算资源有效整合，扩充出计算存储节点，然后在此基础上利用MooseFS文件系统实现对单机资源的有效利用，实现对分块区域的高效使用，而且此系统也可与其他系统进行动态扩展，可以实现高的容错；然后再结合Seafile云存储系统实现对松散资源的集中管理，加密存储，解决了传统存储存在空间、加密和共享上的瓶颈；实现了私有云存储系统，保证了数据的隐私性，且易于扩展。
本系统可以实现小量级用户对数据存储的需求，而且便携，占用的面积较少；采用Docker技术，系统的可集成度很高，当用户需要添加某个应用时，可以直接创建一个Docker容器，直接运行，不用考虑兼容性的问题，极大地简化了部署服务的周期。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明所述一种基于容器化技术的私有云存储系统进一步详细说明。
本发明提出一种基于容器化技术的私有云存储系统，以最新的容器化技术docker为基础搭建私有云存储系统, 利用Docker容器技术将计算资源有效整合，扩充出计算存储节点，然后在此基础上利用MooseFS文件系统实现对单机资源的有效利用，实现对分块区域的高效使用，然后再结合Seafile云存储系统实现对松散资源的集中管理，加密存储，解决了传统存储存在空间、加密和共享上的瓶颈；实现了私有云存储系统，保证了数据的隐私性，且易于扩展，便于解决家庭、小型公司、个人环境中，数据存储的问题。
实施例：
本实施例所述一种基于容器化技术的私有云存储系统，主要用于数据的存储和管理，以Docker容器为计算存储节点，采用MooseFS文件系统构建分布式环境；其系统架构主要包括数据存储层和服务提供层，
以Docker容器为计算存储节点，构建分布式环境，采用的分布式文件系统为MooseFS。MooseFS是一款网络分布式文件系统。它把数据分散在多台服务器上，但对于用户来讲，看到的只是一个源。MFS像其他类unix文件系统一样，包含了层级结构（目录树），存储着文件属性（权限，最后访问和修改时间），可以创建特殊的文件（块设备、字符设备、管道和套接字），符号链接，硬链接。
所述数据存储层使用MooseFS文件系统，主要由Master、Metalogger和Chunkserver这些部分组成。其中，master负责在整个系统中管理数据，是整个系统的维护者；Metalogger做master数据备份的节点；chunkserver负责存储MFS系统中的数据，用户数据按照算法被分成chunk，并分发到各个chunkserver上，这样就保证了数据的安全性。在构建分布式环境时，首先在Docker容器上安装fuse，使用fuse编写MooseFS的客户端程序也就是加载MooseFS磁盘系统的命令，实现挂载MooseFS的服务器。
本实施例所述基于容器化技术的私有云存储系统中，在MooseFS文件系统下读取数据，其详细过程如下：首先应用程序向客户端发起访问请求，提交访问表；然后客户端将访问表转换成可以识别的形式，然后发给master节点；接下来master节点返回给客户端数据块句柄以及数据块的位置；客户端按照master节点提供的信息，发送数据块句柄以及数据读取范围到相应的chunkserver上；chunkserver将所请求的数据发回给客户端；最后客户端将数据拷贝到应用程序中。
写入数据到MooseFS文件系统，其详细过程如下：首先，应用程序发起写入数据的请求，将文件名与数据发送给客户端；接下来客户端将请求表(文件名，数据)转换成块句柄（文件名，块索引），然后发送给master节点；master节点将块句柄和各个备份的位置全部返回给客户端；然后客户端将数据写到所有待写Chunkserver的内部buffer中；客户端发送写指令到主备份Chunkserver，主备份Chunkserver按照一定的顺序依次从buffer中把数据写入到数据块中，主备份Chunkserver写入操作完成后，由主备份Chunkserver发送同样写操作指令给次备份Chunkserver执行写任务，次备份Chunkserver写入数据完成后，向主备份Chunkserver报告写入状态，然后主备份Chunkserver向客户端返回写入状态。如果以上任意一个Chunkserver写入失败，客户端会建议新的节点进行再次写入。
本实施例所述基于容器化技术的私有云存储系统中，所述服务提供层包括与用户交互的接口，主要使用Seafile服务端完成。Seafile服务端主要由Httpserver、Seahub、Seafile 、Ccnet和Task Deamon这几大模块组成；其中：Ccnet主要负责通信，是内部的RPC服务进程，连接其他几个组件；Seahub主要提供网页页面，供用户管理自己在服务器上的数据和账户信息；Httpserver主要负责网页端的文件上传与下载；Seafile是整个架构的核心，负责对原始文件的上传、下载和同步，是整个框架进行数据处理的实际执行者；Task Deamon主要处理后台邮件收发等任务。在模块的实现方面，Ccnet、Seafile和HttpServer这三个模块，主要使用C语言编写，架构上主要采用libevent事件循环与线程池处理异步任务。Seahub使用python Django框架实现，主要通过一个轻量级的python http服务器Gunicorn来提供网站支持服务，Seahub是作为Gunicorn一个进程来运行。Task Deamon主要采用python实现。
本实施例所述基于容器化技术的私有云存储系统中，采用Wandboard Quad作为私有云的硬件运行环境，Wandboard Quad是一块ARM开发板，支持SATA接口，可以将大容量廉价的硬盘接入开发板中做私有云系统的存储设备。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的权利要求书的且任何所属技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。