日志收集工具 logpipe 0.9.0 已发布。更新如下: 0.9.0 2017-12-19 calvin * logpipe日志自动补充后缀".(24小时制钟点)",每天循环 0.8.0 2017-12-18 calvin * 再次修正了文件大小转档在长打开文件应用模式中的一个遗漏目标文件末尾的问题 * 输出描述字不可用时及时通知插件 0.7.0 2017-12-16 calvin * logpipe-input-file配置exec_before_rotating和exec_after_rotating命令中可以使用环境变量LOGPIPE_ROTATING_PATHNAME了 * 修正了文件大小转档在长打开文件应用模式中的一个遗漏目标文件末尾的问题 * start_for_full_dose改名为start_once_for_full_dose,装载参数改从环境变量中取,由logpipe --start-once-for-env "(key) (value)"导入 * 调整了一些日志的等级 0.6.0 2017-12-15 calvin * logpipe-input-file新增配置项exec_before_rotating,rotate_size,exec_after_rotating * logpipe命令行参数新增公共配置项机制--public-plugin-config-item-,logpipe-input-file新增配置项start_for_full_dose 0.5.0 2017-12-14 calvin * 重构设计,采用插件模型 0.4.0 2017-12-09 calvin * 新增配置参数comm.compress_algorithm用于压缩传输 0.3.0 2017-12-08 calvin * 新增配置参数rotate.file_rotate_max_size用于文件名转档功能 0.2.0 2017-12-05 calvin * 重构设计,抽象统一采集端、转发端和归集端 0.1.0 2017-12-02 calvin * 完成采集端基本功能 * 完成归集端基本功能 * 测试echo,mv,vi对客户端监控目录的反应 0.0.0 2017-11-26 calvin * 创建 logpipe是一个分布式、高可用的用于采集、传输、对接落地的日志工具,采用了插件风格的框架结构设计,支持多输入多输出按需配置组件用于流式日志收集架构,无第三方依赖。 logpipe概念朴实、使用方便、配置简练,没有如sink等一大堆新名词。 logpipe由若干个input、事件总线和若干个output组成。启动logpipe管理进程(monitor),派生一个工作进程(worker),监控工作进程崩溃则重启工作进程。工作进程装载配置加载若干个input插件和若干个output插件,进入事件循环,任一input插件产生消息后输出给所有output插件。 logpipe自带了4个插件(今后将开发更多插件),分别是:
使用者可根据自身需求,按照插件开发规范,开发定制插件,如IBMMQ输入插件、HDFS输出插件等。 logpipe配置采用JSON格式,层次分明,编写简洁,如示例: { "log" : { "log_file" : "/tmp/logpipe_case1_collector.log" , "log_level" : "INFO" } , "inputs" : [ { "plugin":"so/logpipe-input-file.so" , "path":"/home/calvin/log" , "compress_algorithm":"deflate" } ] , "outputs" : [ { "plugin":"so/logpipe-output-tcp.so" , "ip":"127.0.0.1" , "port":10101 } ] } |