wfs分布式文件存储系统 版本0.0.2
wfs提供了分片支持,分片可以解决单个节点的资源限制问题
wfs -slavelist 查询目前的节点
wfs -addslave slave1:192.168.1.101:3434 增加分片 节点名slave1,地址:192.168.1.101:3434 wfs -addslave slave2:192.168.1.102:3435 增加分片 节点名slave2,地址:192.168.1.102:3435 wfs -removeslave slave1 删除分片slave1
每个wfs节点都可以单独提供服务,数据备份只需要rsync wfs下的data文件夹,备份数据放到任何wfs服务下 如:./wfs -filedata data 可以指定数据目录,便可以正常运行服务。 wfs本身不提供分片的数据备份,个人认为没有必要(实现数据备份也会带来数据一致性问题跟性能问题),这跟数据库分片还是有区别的,毕竟wfs简单来说只是键值的存储系统,做数据备份简单许多,直接拷贝wfs下的数据文件到另外一个wfs节点下,便可以直接提供服务,从这个角度上,借助第三方负载工具便可以搭建高可用服务
部分分片信息详细说明: 启动wfs ./wfs ./wfs --slavelist 可以看到 master 127.0.0.1:3434 10 1 master 是本节点固定名字 10代表权重(可调节,节点默认值为10) 1表示本节点时可用的(0时不可用) ./wfs -setweight master:5 修改master节点的权重为5
目前wfs存了几千万张图片(暂时手头只有这么多资源)。 
建议:如果要做数据多份备份时,为了减少master节点的压力,可以参照mysql中继器的做法,同步一份备份数据,其他备份再从这个备份数据做同步备份。 |