对于爬虫中部分网站设置了请求次数过多后会封杀ip,现在模拟浏览器进行爬虫,也就是说让服务器认识到访问他的是真正的浏览器而不是机器操作
简单的直接添加请求头,将浏览器的信息在请求数据时传入:
打开浏览器--打开开发者模式--请求任意网站
如下图:找到请求的的名字,打开后查看headers栏,找到User-Agent,复制。然后添加到请求头中
代码如下:
import requests url = 'https://www.baidu.com' headers ={ 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/65.0.3325.181 Safari/537.36' } rq = requests.get(url=url, headers=headers) print(rq.text)
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
当前文章:Python反爬虫伪装浏览器进行爬虫-创新互联
网站地址:https://www.cdcxhl.com/article28/dpdgcp.html
成都网站建设公司_创新互联,为您提供用户体验、外贸网站建设、网站改版、ChatGPT、企业网站制作、网站设计
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联