设为首页收藏本站

LUPA开源社区

 找回密码
 注册
文章 帖子 博客

六个开源的大数据文件系统推荐

2013-4-15 10:02| 发布者: joejoe0332| 查看: 1540| 评论: 0|原作者: Solidot |来自: Solidot

摘要:   大数据在今天吸引了大量关注,个人、企业和政府机构之间的互动创造了数据的海洋,通过有效识别、访问、筛选和分析其中部分数据能带来新的见解和益处。大数据需要大量的储存空间,先进的存储基础设施必不可少,需 ...

Lustre

  Lustre是一个大规模的、安全可靠的,具备高可用性的集群文件系统,它是由SUN公司开发和维护的。

  该项目主要的目的就是开发下一代的集群文件系统,可以支持超过10000个节点,数以PB的数据量存储系统。

GlusterFS

  GlusterFS 是一个集群的文件系统,支持 PB 级的数据量。GlusterFS 通过 RDMA 和 TCP/IP 方式将分布到不同服务器上的存储空间汇集成一个大的网络并行文件系统。

PVFS

  PVFS 是一个高性能、开源的并行文件系统,主要用于并行计算环境中的应用。特别为超大数量的客户端和服务器端设计。模块化结构设计,可轻松的添加新的硬件和算法支持。

  PVFS 侧重高性能访问大数据集,包含一个服务器进程和客户端开发库,完全基于用户级代码编写。

  特征:

  • 基于对象的设计思路
  • Optimized for regular strided access
  • 独立数据和元数据的存储
  • 优化的 MPI-IO 支持
  • 多种网络支持
  • 无状态的服务器
  • 用户级的实现方案
  • 系统级接口
  • 可在很多 Linux 版本上构建
  • 支持多数平台,包括 IA32, IA64, Opteron, PowerPC, Alpha, and MIPS

酷毙

雷人

鲜花

鸡蛋

漂亮
  • 快毕业了,没工作经验,
    找份工作好难啊?
    赶紧去人才芯片公司磨练吧!!

最新评论

关于LUPA|人才芯片工程|人才招聘|LUPA认证|LUPA教育|LUPA开源社区 ( 浙B2-20090187 浙公网安备 33010602006705号   

返回顶部