python爬虫之request怎么定义headers-创新互联

了解python爬虫之request怎么定义headers？这个问题可能是我们日常学习或工作经常见到的。希望通过这个问题能让你收获颇深。下面是小编给大家带来的参考内容，让我们一起来看看吧！

目前成都创新互联已为千余家的企业提供了网站建设、域名、网络空间、成都网站托管、企业网站设计、镇远网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。

对于写爬虫来讲，模拟浏览器是发请求的时候做的最多的事情了，最常见的模拟浏览器无非就是伪装headers：

In [23]: url = 'http://xlzd.me'
 
In [24]: headers = {'User-Agent': 'my custom user agent', 'Cookie': 'haha'}
 
In [25]: requests.get(url, headers=headers)

拓展：

怎样取出HTTP response里面的内容呢？

In [7]: r = requests.get('http://xlzd.me')
 
In [8]: r.encoding
Out[8]: 'UTF-8'
 
In [9]: r.headers
Out[9]: {'Content-Encoding': 'gzip', 'Transfer-Encoding': 'chunked', 'Vary': 'Accept-Encoding', 'Server': 'nginx', 'Connection': 'keep-alive', 'Date': 'Fri, 11 Dec 2015 06:42:31 GMT', 'Content-Type': 'text/html; charset=UTF-8', 'X-Pingback': 'http://xlzd.me/action/xmlrpc'}
 
In [10]: r.cookies
Out[10]: <RequestsCookieJar[]>
 
In [11]: r.text
Out[11]: u'<!DOCTYPE HTML>\n<html>\n\t<hea......

requests会自动对响应内容编码，所以就可以通过r.text取出响应文本了。对于别等响应内容（文件、图片、...），则可以通过r.content取出来。对于json内容，也可以通过r.json()来取。

感谢各位的阅读！看完上述内容，你们对python爬虫之request怎么定义headers大概了解了吗？希望文章内容对大家有所帮助。如果想了解更多相关文章内容，欢迎关注创新互联行业资讯频道。

分享名称：python爬虫之request怎么定义headers-创新互联
文章链接：https://www.cdcxhl.com/article40/csoheo.html

成都网站建设公司_创新互联，为您提供外贸网站建设、品牌网站制作、Google、做网站、网页设计公司、品牌网站设计

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容