python爬虫简单的添加代理以及编写进行访问的实现代码

python爬虫简单的添加代理以及编写进行访问的实现代码，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

10多年的三台网站建设经验，针对设计、前端、开发、售后、文案、推广等六对一服务，响应快，48小时及时工作处理。营销型网站的优势是能够根据用户设备显示端的尺寸不同，自动调整三台建站的显示方式，使网站能够适用不同显示终端，在浏览器中调整网站的宽度，无论在任何一种浏览器上浏览网站，都能展现优雅布局与设计，从而大程度地提升浏览体验。创新互联建站从事“三台网站设计”,“三台网站推广”以来，每个客户项目都认真落实执行。

在使用python对网页进行多次快速爬取的时候,访问次数过于频繁,服务器不会考虑User-Agent的信息,会直接把你视为爬虫,从而过滤掉,拒绝你的访问,在这种时候就需要设置代理,我们可以给proxies属性设置一个代理的IP地址,代码如下:

<?php
 // 要访问的目标页面
 $url = "http://httpbin.org/ip";
 $urls = "https://httpbin.org/ip";
 
 // 代理服务器
 define("PROXY_SERVER", "tcp://t.16yun.cn:31111");
 
 // 隧道身份信息
 define("PROXY_USER", "16YUN123");
 define("PROXY_PASS", "123456");
 
 $proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS);
 
 // 设置 Proxy tunnel
 $tunnel = rand(1,10000);
 
 $headers = implode("\r\n", [
 "Proxy-Authorization: Basic {$proxyAuth}",
 "Proxy-Tunnel: ${tunnel}",
 ]);
 $sniServer = parse_url($urls, PHP_URL_HOST);
 $options = [
 "http" => [
 "proxy" => PROXY_SERVER,
 "header" => $headers,
 "method" => "GET",
 'request_fulluri' => true,
 ],
 'ssl' => array(
 'SNI_enabled' => true, // Disable SNI for https over http proxies
 'SNI_server_name' => $sniServer
 )
 ];
 print($url);
 $context = stream_context_create($options);
 $result = file_get_contents($url, false, $context);
 var_dump($result);
 
 // 访问 HTTPS 页面
 print($urls);
 $context = stream_context_create($options);
 $result = file_get_contents($urls, false, $context);
 var_dump($result);?>

在代码中的目标网站是检测代理是否访问成功，如果访问成功就会返回代理ip，如果代理返回

异常有可能是代理的配置没有正确，那就需要对配置的代理信息进行检查。

关于python爬虫简单的添加代理以及编写进行访问的实现代码问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注创新互联行业资讯频道了解更多相关知识。

当前标题：python爬虫简单的添加代理以及编写进行访问的实现代码
网页链接：https://www.cdcxhl.com/article28/jiecjp.html

成都网站建设公司_创新互联，为您提供动态网站、网站建设、云服务器、服务器托管、标签优化、建站公司

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联