设为首页收藏本站

LUPA开源社区

 找回密码
 注册
文章 帖子 博客
LUPA开源社区 首页 业界资讯 软件追踪 查看内容

风铃虫 1.3.0发布,修复若干bug

2020-5-13 13:56| 发布者: joejoe0332| 查看: 282| 评论: 0|原作者: oschina|来自: oschina

摘要: 风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。 本次版本是一个修复性版本,主要是为了解决与优化上一版中存 ...

风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。

本次版本是一个修复性版本,主要是为了解决与优化上一版中存在的一些问题,优化系统默认参数,并解决在运行过程中出现的线程安全问题。

本次更新内容如下:

  1. 修改默认请求超时时间为30秒
  2. 修改默认的线程数为单线程
  3. 解决java8中并行流引起的线程安全问题

本次更新特别感谢 @ supperfire 同学提出的宝贵意见,同时欢迎大家提出更多的使用意见,大家一起使用风铃虫变得更加完美。


酷毙

雷人

鲜花

鸡蛋

漂亮
  • 快毕业了,没工作经验,
    找份工作好难啊?
    赶紧去人才芯片公司磨练吧!!

最新评论

关于LUPA|人才芯片工程|人才招聘|LUPA认证|LUPA教育|LUPA开源社区 ( 浙B2-20090187 浙公网安备 33010602006705号   

返回顶部