写简单的爬虫都需要什么-创新互联

写爬虫都需要些什么呢,

A 要爬取的网址难度的大小 (选择谷歌对要爬取的网址源代码进行分析)

B 借用Python中的模块urllib与requests 对网址进行请求与访问
以requests为例:(requests模块的导入见:https://blog.51cto.com/13747953/2321389)
a 下载图片

在襄城等地区，都构建了全面的区域性战略布局，加强发展的系统性、市场前瞻性、产品创新能力，以专注、极致的服务理念，为客户提供网站制作、成都做网站 网站设计制作按需规划网站,公司网站建设,企业网站建设,品牌网站设计,成都全网营销推广,外贸网站建设,襄城网站建设费用合理。

import requests            

ret=requests.get('http://×××w.xiaohuar.com/d/file/20180724/40d83a6709eca21137dcdd80ee28c31b.jpg')
print(ret,type(ret))
print(ret.status_code)
print(ret.content)
with open(r'E:\text1\爬虫\text_png\p1.png','wb') as f:
    f.write(ret.content)

b 基本文字信息的获取

import requests
from urllib import request

# ret=requests.get('http://maoyan.com/board')
headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'

}
ret=request.Request('http://maoyan.com/board',headers=headers)
resp=request.urlopen(ret)
print(resp,type(resp))
print(resp.read().decode('utf-8'))

这里不用requests 模块是因为在请求的过程中返回了403的错误
猜想可能的原因是:网址的反爬虫机制发现了来自pycharm的请求;
所以可以用urllib(Python自带的模块)提供的request模块

结果如下:

C 如何从B-b中获取的文字数据中提取出自己想要的数据呢
a 分析数据的相同点

b 利用正则表达式与re模块

'<div class="item_t">(?:.*?)src="(?P<png>.*?)"(?:.*?)<span class="price">(?P<name>.*?)</span>(?:.*?)'
        '<a href="http://www.xiaohuar.com/" class="img_album_btn">(?P<place>.*?)</a>', re.S)

'<div class="item_t">  # 匹配开始的标志
(?:.*?)      # 匹配任意的字符,但用?取消了分组优先显示和贪婪匹配
src="(?P<png>.*?)"    # 要获取的数据优先显示,并?P<名字>命名了
(?:.*?)
<span class="price">
(?P<name>.*?)
</span>
(?:.*?)
''<a href="http://www.xiaohuar.com/" class="img_album_btn">
(?P<place>.*?)
</a>'
,re.S      # 声明 . 可以匹配任意的字符
)

俩个实例:
1爬取简单的文字信息:https://blog.51cto.com/13747953/2321800
2爬取图片: https://blog.51cto.com/13747953/2321803
(程序猿很无聊多多指教交流)

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

新闻标题：写简单的爬虫都需要什么-创新互联
链接地址：https://www.cdcxhl.com/article34/johse.html

成都网站建设公司_创新互联，为您提供全网营销推广、外贸网站建设、服务器托管、网站制作、搜索引擎优化、网站营销

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联