这篇文章主要介绍使用sleep间隔进行python反爬虫的方法,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
创新互联公司专注为客户提供全方位的互联网综合服务,包含不限于成都网站制作、网站建设、蕲春网络推广、小程序开发、蕲春网络营销、蕲春企业策划、蕲春品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;创新互联公司为所有大学生创业者提供蕲春建站搭建服务,24小时服务热线:028-86922220,官方网址:www.cdcxhl.com
步骤
要利用headers拉动请求,模拟成浏览器去访问网站,跳过最简单的反爬虫机制。
获取网页内容,保存在一个字符串content中。
构造正则表达式,从content中匹配关键词pattern获取下载链接。需要注意的是,网页中的关键词出现了两遍(如下图),所以我们要利用set()函数清除重复元素。
第三步是遍历set之后的结果,下载链接。
设置time.sleep(t),无sleep间隔的话,网站认定这种行为是攻击,所以我们隔一段时间下载一个,反反爬虫。
具体代码
import urllib.request# url request import re # regular expression import os # dirs import time ''' url 下载网址 pattern 正则化的匹配关键词 Directory 下载目录 ''' def BatchDownload(url,pattern,Directory): # 拉动请求,模拟成浏览器去访问网站->跳过反爬虫机制 headers = {'User-Agent', 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36'} opener = urllib.request.build_opener() opener.addheaders = [headers] # 获取网页内容 content = opener.open(url).read().decode('utf8') # 构造正则表达式,从content中匹配关键词pattern raw_hrefs = re.findall(pattern, content, 0) # set函数消除重复元素 hset = set(raw_hrefs) # 下载链接 for href in hset: # 之所以if else 是为了区别只有一个链接的特别情况 if(len(hset)>1): link = url + href[0] filename = os.path.join(Directory, href[0]) print("正在下载",filename) urllib.request.urlretrieve(link, filename) print("成功下载!") else: link = url +href filename = os.path.join(Directory, href) print("正在下载",filename) urllib.request.urlretrieve(link, filename) print("成功下载!") # 无sleep间隔,网站认定这种行为是攻击,反反爬虫 time.sleep(1) #BatchDownload('https://www1.ncdc.noaa.gov/pub/data/swdi/stormevents/csvfiles/', # '(Storm-Data-Export-Format.docx)', # 'E:\stormevents\csvfiles') #BatchDownload('https://www1.ncdc.noaa.gov/pub/data/swdi/stormevents/csvfiles/', # '(Storm-Data-Export-Format.pdf)', # 'E:\stormevents\csvfiles') #BatchDownload('https://www1.ncdc.noaa.gov/pub/data/swdi/stormevents/csvfiles/', # '(StormEvents_details-ftp_v1.0_d(\d*)_c(\d*).csv.gz)', # 'E:\stormevents\csvfiles') #BatchDownload('https://www1.ncdc.noaa.gov/pub/data/swdi/stormevents/csvfiles/', # '(StormEvents_fatalities-ftp_v1.0_d(\d*)_c(\d*).csv.gz)', # 'E:\stormevents\csvfiles') #BatchDownload('https://www1.ncdc.noaa.gov/pub/data/swdi/stormevents/csvfiles/', # '(StormEvents_locations-ftp_v1.0_d(\d*)_c(\d*).csv.gz)', # 'E:\stormevents\csvfiles') #BatchDownload('https://www1.ncdc.noaa.gov/pub/data/swdi/stormevents/csvfiles/legacy/', # '(ugc_areas.csv)', # 'E:\stormevents\csvfiles\legacy') #BatchDownload('https://www1.ncdc.noaa.gov/pub/data/swdi/stormevents/csvfiles/', # '(ugc_areas.csv)', # 'E:\stormevents\csvfiles')
结果展示
以上是“使用sleep间隔进行python反爬虫的方法”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!
当前题目:使用sleep间隔进行python反爬虫的方法
路径分享:https://www.cdcxhl.com/article26/ghpdcg.html
成都网站建设公司_创新互联,为您提供动态网站、网站内链、面包屑导航、服务器托管、建站公司、ChatGPT
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联