Python爬虫如何抓取多个URL写入本地文件

这篇文章主要介绍了Python爬虫如何抓取多个URL写入本地文件的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇Python爬虫如何抓取多个URL写入本地文件文章都会有所收获,下面我们一起来看看吧。

成都创新互联专注于福山企业网站建设,响应式网站开发,成都商城网站开发。福山网站建设公司,为福山等地区提供建站服务。全流程按需开发网站,专业设计,全程项目跟踪,成都创新互联专业和态度为您提供的服务

1. Pycharm中运行Scrapy

windows环境下cmd中通过scrapy startproject 项目名,创建scrapy项目

修改Run…中的Script path为cmdline.py文件路径F:\programs\python\Lib\site-packages\scrapy\cmdline.py

Parameters为crawl 爬虫文件名

working directory为scrapy项目所在文件夹

每次执行该run命令即可运行scrapy

2.items.py

class Csdn02Item(scrapy.Item):

# define the fields for your item here like:

# name = scrapy.Field()

title = scrapy.Field()#标题

updatetime = scrapy.Field()#发表时间

readcount = scrapy.Field()#阅读数

author = scrapy.Field()#作者

ranking = scrapy.Field()#博客排名

curl = scrapy.Field()#博文链接

context = scrapy.Field()#博文内容

3.pipelines.py

Python爬虫如何抓取多个URL写入本地文件

4.自定义的爬虫代码mycsdn.py

Python爬虫如何抓取多个URL写入本地文件

关于“Python爬虫如何抓取多个URL写入本地文件”这篇文章的内容就介绍到这里,感谢各位的阅读!相信大家对“Python爬虫如何抓取多个URL写入本地文件”知识都有一定的了解,大家如果还想学习更多知识,欢迎关注创新互联行业资讯频道。

分享文章:Python爬虫如何抓取多个URL写入本地文件
本文地址:https://www.cdcxhl.com/article40/jocdho.html

成都网站建设公司_创新互联,为您提供品牌网站制作手机网站建设网站导航动态网站品牌网站建设全网营销推广

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

搜索引擎优化