设为首页收藏本站

LUPA开源社区

 找回密码
 注册
文章 帖子 博客
LUPA开源社区 首页 业界资讯 软件追踪 查看内容

gecco 1.0.9发布,易用的轻量化爬虫

2016-4-13 22:19| 发布者: joejoe0332| 查看: 693| 评论: 0|原作者: oschina|来自: oschina

摘要: gecco 1.0.9发布了。1.0.9版本主要做了如下修改:1、@Image注解增加图片自动下载到本地的方法@Image(download="d:/gecco/jd/img")2、GeccoEngine改为线程方式,通过start()支持非阻塞方式运行3、支持debug模式,Gecc ...

gecco 1.0.9 发布了。

1.0.9版本主要做了如下修改:

1、@Image注解增加图片自动下载到本地的方法@Image(download="d:/gecco/jd/img")
2、GeccoEngine改为线程方式,通过start()支持非阻塞方式运行
3、支持debug模式,GeccoEngine.debug(true)
4、简化spring项目启动Gecco的方式,详细请查看(域名备案中):http://101.200.193.106/sysc-6/
5、文档有较大的完善,http://101.200.193.106/tag/sysc/
6、非循环模式等待执行完毕后释放httpclient、jmx等所有资源
7、修复demo中的bug

gecco是一款易用的轻量化网络爬虫。十分的容易上手。

主要特征:

  1. 简单易用,使用jquery风格的选择器抽取元素
    2.支持页面中的异步ajax请求
    3.支持页面中的javascript变量抽取
    4.利用Redis实现分布式抓取,参考gecco-redis
    5.支持结合Spring开发业务逻辑,参考gecco-spring
    6.支持htmlunit扩展,参考gecco-htmlunit
    7.支持插件扩展机制
    8.支持下载时UserAgent随机选取
    9.支持下载代理服务器随机选取


酷毙

雷人

鲜花

鸡蛋

漂亮
  • 快毕业了,没工作经验,
    找份工作好难啊?
    赶紧去人才芯片公司磨练吧!!

最新评论

关于LUPA|人才芯片工程|人才招聘|LUPA认证|LUPA教育|LUPA开源社区 ( 浙B2-20090187 浙公网安备 33010602006705号   

返回顶部