设为首页收藏本站

LUPA开源社区

 找回密码
 注册
文章 帖子 博客
LUPA开源社区 首页 业界资讯 软件追踪 查看内容

Tera 0.5.3发布,百度万亿量级数据库

2016-12-21 21:05| 发布者: joejoe0332| 查看: 485| 评论: 0|原作者: oschina|来自: oschina

摘要: 百度开源的万亿量级数据库Tera发布0.5.3版本。Tera简介Tera是一个高性能、可伸缩的结构化数据存储系统,被设计用来管理搜索引擎万亿量级的超链与网页信息。为实现数据的实时分析与高效访问,我们使用按行键、列名和 ...

百度开源的万亿量级数据库Tera发布0.5.3版本。

Tera简介

Tera是一个高性能、可伸缩的结构化数据存储系统,被设计用来管理搜索引擎万亿量级的超链与网页信息。为实现数据的实时分析与高效访问,我们使用按行键、列名和时间戳全局排序的三维数据模型组织数据,使用多级Cache系统,充分利用新一代服务器硬件大内存、SSD盘和万兆网卡的性能优势,做到模型灵活的同时,实现了高吞吐与水平扩展。

项目主页:点击查看

版本要点

  1. 将tera的key作为mysql的primary key支持seek

  2. 重构SDK头文件,重写大部分注释

  3. SDK成员变量命名风格统一为name_

  4. 支持SDK记录当前代码版本

  5. Python SDK支持用户自定义libtera_c.so的路径

  6. 支持扩展性更高的manifest格式

  7. 写manifest移出lock范围

  8. 增强原子计数器的准确度

  9. 支持table_cache的大小以size指定

  10. 增加cache的profile信息

  11. 提供通用的scheduler脚本(负载均衡)

  12. 增加tablet状态更新信息支持scheduler对游离tablet的判断

  13. 支持元信息的管理和只读权限分离

  14. 记录RPC请求的源ip和port

  15. 支持测试case的生成和运行分离

  16. 升级build脚本以及各个依赖版本

  17. 文档:增加SDK各模块文档、单行事务文档,更新onebox文档

问题修复

  1. 修复在gcc4下的编译问题

  2. 修复enable和disable过程中可能触发的bug

  3. 修复多线程负载均衡可能触发的问题

  4. 修复线程池1ms定时任务很不准确的问题

  5. 修复nexus sdk在lock返回时session id可能变化导致的问题

  6. 修复ttlkv表scan提前终止的bug

  7. 修复负载均衡过程中master内存变更触发的bug

  8. 修复文件系统sync失败但可能返回成功的问题

  9. 修复disable操作中某些tablet卸载后一直无法进入disable状态的问题

  10. 修复用户执行删除某行操作后可能无法在该行写入新数据的问题

  11. 修复分裂失败且TS宕机时,tablet处于Ready状态但实际并未加载的问题

  12. 修复合并失败后tablet永久处于OnMerge状态的问题

  13. 修复在zookeeper环境下master和tabletserver使用不同UUID的问题


酷毙

雷人

鲜花

鸡蛋

漂亮
  • 快毕业了,没工作经验,
    找份工作好难啊?
    赶紧去人才芯片公司磨练吧!!

最新评论

关于LUPA|人才芯片工程|人才招聘|LUPA认证|LUPA教育|LUPA开源社区 ( 浙B2-20090187 浙公网安备 33010602006705号   

返回顶部