vscrawler是一个适合应对爬虫封堵的抓取框架。 当前发布0.2.2版本，在0.2.2版中，我重新设计了资源管理队列，用来处理爬虫所需要的基础资源（账号、设备号，token）的分发、轮询、评分、封禁解禁。该队列使用了我之前设计的用来管理代理ip队列的smartProxyQueue队列https://gitee.com/virjar/proxyipcenter/blob/master/doc/client/design/SmartProxyQueue.md。 评分队列能够自动的根据各个资源的质量（通过feedback评分）调整资源的使用优先级，实现高质量资源高优先级使用，低质量资源低频使用。同时评分队列在存储层做了封装，提供ram和redis两套存储方案，可以隔离分布式环境下资源在多机隔离问题。 目前账号资源管理模块已经切换到该模型上面，使用UserManager2替代了之前的UserManager，并且测试使用正常。 另外一个值得高兴的是，本次版本是vscrawler首次在我所在公司内部使用，公司内部需求主要是在线抓取，但是也需要资源管理，session复用，代理切换，链式抽取等功能。本次发布的版本也因为公司需求做了部分适配，当然也发现了一些之前设计的漏洞，并且一并修复。 你可以在这里看到vscrawler的完整文档http://vscrawler.virjar.com/ 或者在这里看到项目完整源码：https://gitee.com/virjar/vscrawler 如果想参与vscrawler的设计讨论，可以通过邮箱:virjar@virjar.com和我取得联系。 |
