设为首页收藏本站

LUPA开源社区

 找回密码
 注册
文章 帖子 博客
LUPA开源社区 首页 业界资讯 软件追踪 查看内容

Tera 0.5.1发布,百度万亿量级数据库

2016-11-8 22:29| 发布者: joejoe0332| 查看: 665| 评论: 0|原作者: oschina|来自: oschina

摘要: 百度开源的万亿量级数据库Tera发布0.5.1版本。Tera简介Tera是一 个高性能、可伸缩的结构化数据存储系统,被设计用来管理搜索引擎万亿量级的超链与网页信息。为实现数据的实时分析与高效访问,我们使用按行键、列名和 ...

百度开源的万亿量级数据库Tera发布0.5.1版本。

Tera简介

Tera是一 个高性能、可伸缩的结构化数据存储系统,被设计用来管理搜索引擎万亿量级的超链与网页信息。为实现数据的实时分析与高效访问,我们使用按行键、列名和时间 戳全局排序的三维数据模型组织数据,使用多级Cache系统,充分利用新一代服务器硬件大内存、SSD盘和万兆网卡的性能优势,做到模型灵活的同时,实现 了高吞吐与水平扩展。

版本要点

  1. 将tera的key作为mysql的primary key支持seek

  2. 重构SDK头文件,重写大部分注释

  3. SDK成员变量命名风格统一为name_

  4. 支持SDK记录当前代码版本

  5. Python SDK支持用户自定义libtera_c.so的路径

  6. 支持扩展性更高的manifest格式

  7. 写manifest移出lock范围

  8. 增强原子计数器的准确度

  9. 支持table_cache的大小以size指定

  10. 增加cache的profile信息

  11. 提供通用的scheduler脚本(负载均衡)

  12. 增加tablet状态更新信息支持scheduler对游离tablet的判断

  13. 支持元信息的管理和只读权限分离

  14. 记录RPC请求的源ip和port

  15. 支持测试case的生成和运行分离

  16. 升级build脚本以及各个依赖版本

  17. 文档:增加SDK各模块文档、单行事务文档,更新onebox文档

问题修复

  1. 修复在gcc4下的编译问题

  2. 修复enable和disable过程中可能触发的bug

  3. 修复多线程负载均衡可能触发的问题

  4. 修复线程池1ms定时任务很不准确的问题

  5. 修复nexus sdk在lock返回时session id可能变化导致的问题

  6. 修复ttlkv表scan提前终止的bug

  7. 修复负载均衡过程中master内存变更触发的bug

项目开源主页https://github.com/baidu/tera


酷毙

雷人

鲜花

鸡蛋

漂亮
  • 快毕业了,没工作经验,
    找份工作好难啊?
    赶紧去人才芯片公司磨练吧!!

最新评论

关于LUPA|人才芯片工程|人才招聘|LUPA认证|LUPA教育|LUPA开源社区 ( 浙B2-20090187 浙公网安备 33010602006705号   

返回顶部