selenium+python设置爬虫代理IP的方法-创新互联

1. 背景

创新互联公司网站建设十年坚持，服务企业网站设计、响应式网站建设等网站建设服务。上1000+企业的合作经验，帮助我们为服务企业不断提升价值。为企业建设开发网站和维护，主推个性化定制型网站设计

在使用selenium浏览器渲染技术，爬取网站信息时，一般来说，速度是很慢的。而且一般需要用到这种技术爬取的网站，反爬技术都比较厉害，对IP的访问频率应该有相当的限制。所以，如果想提升selenium抓取数据的速度，可以从两个方面出发：

第一，提高抓取频率，出现验证信息时进行破解，一般是验证码或者用户登录。

第二，使用多线程 + 代理IP，这种方式，需要电脑有足够的内存和充足稳定的代理IP 。

2. 为chrome设置代理IP

from selenium import webdriver
chromeOptions = webdriver.ChromeOptions()

# 设置代理
chromeOptions.add_argument("--proxy-server=http://202.20.16.82:10152")
# 一定要注意，=两边不能有空格，不能是这样--proxy-server = http://202.20.16.82:10152
browser = webdriver.Chrome(chrome_options = chromeOptions)

# 查看本机ip，查看代理是否起作用
browser.get("http://httpbin.org/ip")
print(browser.page_source)

# 退出，清除浏览器缓存
browser.quit()

本文题目：selenium+python设置爬虫代理IP的方法-创新互联
网页网址：https://www.cdcxhl.com/article10/epego.html

成都网站建设公司_创新互联，为您提供微信小程序、网页设计公司、企业建站、网站内链、全网营销推广、建站公司

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容