Python中Scrapy框架的简介-创新互联

创新互联www.cdcxhl.cn八线动态BGP香港云服务器提供商，新人活动买多久送多久，划算不套路！

创新互联公司是专业的上虞网站建设公司，上虞接单;提供成都网站建设、成都网站制作,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行上虞网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

小编给大家分享一下Python中Scrapy框架的简介，希望大家阅读完这篇文章后大所收获，下面让我们一起去探讨吧！

Scrapy 框架介绍

Scrapy 是一个基于 Twisted 的异步处理框架，是纯 Python 实现的爬虫框架，其架构清晰，模块之间的耦合程度低，可扩展性极强，可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松实现一个爬虫。

1. 架构介绍

首先我们来看下 Scrapy 框架的架构，如图 13-1 所示：

图 13-1 Scrapy 架构

它可以分为如下的几个部分。

Engine，引擎，用来处理整个系统的数据流处理，触发事务，是整个框架的核心。

Item，项目，它定义了爬取结果的数据结构，爬取的数据会被赋值成该对象。

Scheduler， 调度器，用来接受引擎发过来的请求并加入队列中，并在引擎再次请求的时候提供给引擎。

Downloader，下载器，用于下载网页内容，并将网页内容返回给蜘蛛。

Spiders，蜘蛛，其内定义了爬取的逻辑和网页的解析规则，它主要负责解析响应并生成提取结果和新的请求。

Item Pipeline，项目管道，负责处理由蜘蛛从网页中抽取的项目，它的主要任务是清洗、验证和存储数据。

Downloader Middlewares，下载器中间件，位于引擎和下载器之间的钩子框架，主要是处理引擎与下载器之间的请求及响应。

Spider Middlewares， 蜘蛛中间件，位于引擎和蜘蛛之间的钩子框架，主要工作是处理蜘蛛输入的响应和输出的结果及新的请求。

2. 数据流

Scrapy 中的数据流由引擎控制，其过程如下：

Engine 首先打开一个网站，找到处理该网站的 Spider 并向该 Spider 请求第一个要爬取的 URL。

Engine 从 Spider 中获取到第一个要爬取的 URL 并通过 Scheduler 以 Request 的形式调度。

Engine 向 Scheduler 请求下一个要爬取的 URL。

Scheduler 返回下一个要爬取的 URL 给 Engine，Engine 将 URL 通过 Downloader Middlewares 转发给 Downloader 下载。

一旦页面下载完毕， Downloader 生成一个该页面的 Response，并将其通过 Downloader Middlewares 发送给 Engine。

Engine 从下载器中接收到 Response 并通过 Spider Middlewares 发送给 Spider 处理。

Spider 处理 Response 并返回爬取到的 Item 及新的 Request 给 Engine。

Engine 将 Spider 返回的 Item 给 Item Pipeline，将新的 Request 给 Scheduler。

重复第二步到最后一步，直到 Scheduler 中没有更多的 Request，Engine 关闭该网站，爬取结束。

通过多个组件的相互协作、不同组件完成工作的不同、组件对异步处理的支持，Scrapy 大限度地利用了网络带宽，大大提高了数据爬取和处理的效率。

3. 项目结构

Scrapy 框架和 pyspider 不同，它是通过命令行来创建项目的，代码的编写还是需要 IDE。项目创建之后，项目文件结构如下所示：

scrapy.cfg
project/
    __init__.py
    items.py
    pipelines.py
    settings.py
    middlewares.py
    spiders/
        __init__.py
        spider1.py
        spider2.py
        ...

在此要将各个文件的功能描述如下：

scrapy.cfg：它是 Scrapy 项目的配置文件，其内定义了项目的配置文件路径、部署相关信息等内容。

items.py：它定义 Item 数据结构，所有的 Item 的定义都可以放这里。

pipelines.py：它定义 Item Pipeline 的实现，所有的 Item Pipeline 的实现都可以放这里。

settings.py：它定义项目的全局配置。

middlewares.py：它定义 Spider Middlewares 和 Downloader Middlewares 的实现。

spiders：其内包含一个个 Spider 的实现，每个 Spider 都有一个文件。

看完了这篇文章，相信你对Python中Scrapy框架的简介有了一定的了解，想了解更多相关知识，欢迎关注创新互联-成都网站建设公司行业资讯频道，感谢各位的阅读！

网站题目：Python中Scrapy框架的简介-创新互联
网页路径：https://www.cdcxhl.com/article42/hhihc.html

成都网站建设公司_创新互联，为您提供面包屑导航、手机网站建设、外贸建站、网站策划、微信公众号、网站营销

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联