设为首页收藏本站

LUPA开源社区

 找回密码
 注册
文章 帖子 博客
LUPA开源社区 首页 业界资讯 软件追踪 查看内容

风铃虫 2.1.0发布,支持多任务多线程

2020-6-15 16:23| 发布者: joejoe0332| 查看: 257| 评论: 0|原作者: oschina|来自: oschina

摘要: 风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。 本次更新内容如下: 1 解决了多任务多线程模式下引线程安全问 ...

风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。

本次更新内容如下:

1 解决了多任务多线程模式下引线程安全问题引起的数据异常问题
2 优化系统日志,统一系统日志格式,方便问题排查
3 优化内容页地址匹配逻辑
4 分离业务处理过程
5 优化事件监听接口
6 其他一些优化


酷毙

雷人

鲜花

鸡蛋

漂亮
  • 快毕业了,没工作经验,
    找份工作好难啊?
    赶紧去人才芯片公司磨练吧!!

最新评论

关于LUPA|人才芯片工程|人才招聘|LUPA认证|LUPA教育|LUPA开源社区 ( 浙B2-20090187 浙公网安备 33010602006705号   

返回顶部