这期内容当中小编将会给大家带来有关怎么用python获取百度热榜链接,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。
创新互联是一家专业提供赞皇企业网站建设,专注与成都网站建设、成都网站设计、H5建站、小程序制作等业务。10年已为赞皇众多企业、政府机构等服务。创新互联专业网络公司优惠进行中。目标网址:
https://www.baidu.com/
要获取的内容:
链接分析:
从下图可以看出只需要获取关键字,再构建就可以了。
完整代码:
import requests import pprint import re import urllib.parse url = 'https://www.baidu.com/' headers = { 'Host': 'www.baidu.com', 'Referer': 'https://www.baidu.com/', 'User-Agent': 你的User-Agent, 'Cookie': 你的Cookie } response = requests.get(url, headers=headers).content.decode('utf-8') # 获取关键字 pat = '"pure_title": "(.*?)"' keyword = re.findall(pat, response, re.S) print(len(keyword)) for hot_word in keyword: # 汉字不符合url标准,所以这里需要进行url编码 i = urllib.parse.quote(hot_word, encoding='utf-8', errors='replace') # url构建 link = f'https://www.baidu.com/s?cl=3&tn=baidutop10&fr=top1000&wd={i}&rsv_idx=2&rsv_dl=fyb_n_homepage&hisfilter=1' print(link)
你会发现结果很长:
但其实关键字后面的几个参数是可以去掉的,这样url就没有那么长了。
上述就是小编为大家分享的怎么用python获取百度热榜链接了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注创新互联-成都网站建设公司行业资讯频道。
本文名称:怎么用python获取百度热榜链接-创新互联
网站路径:https://www.cdcxhl.com/article14/ccgpge.html
成都网站建设公司_创新互联,为您提供品牌网站设计、全网营销推广、手机网站建设、面包屑导航、静态网站、品牌网站建设
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联