这篇文章主要介绍python分布式爬虫中的rules有什么用,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
爬虫在找寻数据的时候,如果都随意把找到的数据搬运回来,不仅我们的内存装不下,而且会搬回来很多重复的数据,我们也没有办法一个个的进行筛选。这时候我们需要给爬虫制定带回来数据的规则,防止重复数据的产生。这样我们再来谈rules就很好理解了,可以看成是给爬虫制定的规则合集。
在rules中包含一个或多个Rule对象,每个Rule对爬取网站的动作定义了特定操作。如果多个rule匹配了相同的链接,则根据规则在本集合中被定义的顺序,第一个会被使用。
class scrapy.spiders.Rule( link_extractor, callback = None, cb_kwargs = None, follow = None, process_links = None, process_request = None )
link_extractor:是一个Link Extractor对象,用于定义需要提取的链接(Link Extractor对象见下)。
callback: 从link_extractor中每获取到链接时,参数所指定的值作为回调函数,该回调函数接受一个response作为其第一个参数。
注意:当编写爬虫规则时,避免使用parse作为回调函数。由于CrawlSpider使用parse方法来实现其逻辑,如果覆盖了 parse方法,crawl spider将会运行失败。
follow:是一个布尔(boolean)值,指定了根据该规则从response提取的链接是否需要跟进。 如果callback为None,follow 默认设置为True ,否则默认为False。
process_links:指定该spider中哪个的函数将会被调用,从link_extractor中获取到链接列表时将会调用该函数。该方法主要用来过滤。
process_request:指定该spider中哪个的函数将会被调用, 该规则提取到每个request时都会调用该函数。 (用来过滤request)
有了rules给爬虫制定规范,我们就可以放心的把搜集数据的任务交给爬虫们了。
以上是“python分布式爬虫中的rules有什么用”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!
网站标题:python分布式爬虫中的rules有什么用-创新互联
标题网址:https://www.cdcxhl.com/article22/djhijc.html
成都网站建设公司_创新互联,为您提供网站制作、品牌网站建设、网站策划、软件开发、移动网站建设、微信小程序
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联