设为首页收藏本站

LUPA开源社区

 找回密码
 注册
文章 帖子 博客
LUPA开源社区 首页 业界资讯 软件追踪 查看内容

风铃虫 2.2.0发布,优化任务停止机制

2020-6-29 21:37| 发布者: joejoe0332| 查看: 140| 评论: 0|原作者: oschina|来自: oschina

摘要: 风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。 本次更新内容如下: 1 修复测试接口中传入参数异常时不能正常 ...

风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。

本次更新内容如下:

1 修复测试接口中传入参数异常时不能正常工作的bug。

2 优化多任务多线程时的同步机制,能更加灵活扩展

3 优化任务状态监控机制

4 优化任务停止逻辑,停止逻辑更加合理

5 其他一些bug优化

风铃虫平台效果演示

1 配置基本信息

输入图片说明

配置链接爬取信息

配置链接爬取信息

配置站点信息  

配置站点信息

提取项配置

内容页配置

属性提取配置

属性提取配置


酷毙

雷人

鲜花

鸡蛋

漂亮
  • 快毕业了,没工作经验,
    找份工作好难啊?
    赶紧去人才芯片公司磨练吧!!

最新评论

关于LUPA|人才芯片工程|人才招聘|LUPA认证|LUPA教育|LUPA开源社区 ( 浙B2-20090187  

返回顶部