WebMagic 0.6.0版本发布，Java爬虫框架

WebMagic 0.6.0 版本发布了。

此次更新主要是一些依赖包的升级和bugfix。

• #290 代理增加用户名密码认证 @hepan

• #194 重构代理池部分代码，支持自定义代理池 @EdwardsBean

• #314 修复低版本json-path依赖2.x的StringUtils导致报错的问题

• #380 升级fastjson 到1.2.21

• #301 修复JsonPath在注解模式不可用的问题 @Salon-sai

• #377 修复监控模块在URL带有端口时会报错的问题

• #400 修复FileCacheQueueScheduler的NullPointerException问题
  

• #407 为PhantomJSDownloader添加新的构造函数，支持phantomjs自定义命令 @jsbd

• #419 修复抓取https链接线程无法结束导致进程一直运行的问题 @cpaladin

• #374 升级HttpClient到4.5.2，修复一些安全问题

• #424 去掉Guava依赖

  因为Guava不同版本兼容性不好，经常导致demo无法运行，所以我最后决定去掉了Guava的依赖。如果使用了BloomFilterDuplicateRemover的用户，需要手动依赖Guava包。

• #426 去掉Avalon相关包

  Avalon是之前计划的一站式抓取平台。因为有个朋友基于WebMagic做了类似的实现Gather Platform，所以Avalon放弃了，转而支持这个项目。WebMagic核心会专注于做应用内的框架。

下载地址：

• webmagic-0.6.0-all.tar.gz

• Source code (zip)

• Source code (tar.gz)