设为首页收藏本站

LUPA开源社区

 找回密码
 注册
文章 帖子 博客
网页爬虫框架 hispider

HiSpider is a fast and high performance spider with high speed

严格说只能是一个spider系统的框架, 没有细化需求, 目前只是能提取URL, URL排重, 异步DNS解析, 队列化任务, 支持N机分布式下载, 支持网站定向下载(需要配置hispiderd.ini whitelist).

特征和用法:

  • 基于unix/linux系统的开发
  • 异步DNS解析
  • URL排重
  • 支持HTTP 压缩编码传输 gzip/deflate
  • 字符集判断自动转换成UTF-8编码
  • 文档压缩存储
  • 支持多下载节点分布式下载
  • 支持网站定向下载(需要配置 hispiderd.ini whitelist )
  • 可通过 http://127.0.0.1:3721/ 查看下载情况统计,下载任务控制(可停止和恢复任务)
  • 依赖基本通信库libevbase 和 libsbase (安装的时候需要先安装这个两个库)

工作流程:

  • 从中心节点取URL(包括URL对应的任务号, IP和port,也可能需要自己解析)
  • 连接服务器发送请求
  • 等待数据头判断是否需要的数据(目前主要取text类型的数据)
  • 等待完成数据(有length头的直接等待说明长度的数据否则等待比较大的数字然后设置超时)
  • 数据完成或者超时, zlib压缩数据返回给中心服务器,数据可能包括自己解析DNS信息, 压缩后数据长度+压缩后数据, 如果出错就直接返回任务号以及相关信息
  • 中心服务器收到带有任务号的数据, 查看是否包括数据, 如果没有数据直接置任务号对应的状态为错误, 如果有数据提取数据种link 然后存储数据到文档文件.
  • 完成后返回一个新的任务.

关于LUPA|人才芯片工程|人才招聘|LUPA认证|LUPA教育|LUPA开源社区 ( 浙B2-20090187

返回顶部