创新互联Python教程：python中如何使用XPath爬取小说

说明

创新互联坚持“要么做到，要么别承诺”的工作理念，服务领域包括：成都网站建设、网站设计、企业官网、英文网站、手机端网站、网站推广等服务，满足客户于互联网时代的登封网站设计、移动媒体设计的需求，帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴！

XPath是一种在XML文档中搜索信息的语言。

过程

1、获得浏览器中的标题和作者测试。

2、在浏览器安装xpath插件:

3、在html中找到book-mid-info:

4、找到我们想得到小说的名字、作者

即//div[@class='book-mid-info']/h4/a/txt()

实例

# 作者：
# 开发时间：2021/4/8/0008 8:24
 
import requests
from lxml import etree
url="https://www.qidian.com/rank/yuepiao"
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'}
#发送请求
resp=requests.get(url,headers)
e=etree.HTML(resp.text) #类型转换，把str转变为class 'lxml.etree._ELement
print(type(e))
names=e.xpath('//div[@class="book-mid-info"]/h4/a/text()')
authors=e.xpath('//p[@class="author"]/a[1]/text()')
print(names)
print(authors)
#名称和作者对应
for name,authors in zip(names,authors):
    print(name,":",authors)

以上就是python中使用XPath爬取小说的方法，希望对大家有所帮助。更多Python学习指路：创新互联Python教程

本文教程操作环境：windows7系统、Python 3.9.1，DELL G3电脑。

本文名称：创新互联Python教程：python中如何使用XPath爬取小说
标题URL：http://www.csdahua.cn/qtweb/news0/252050.html

网站建设、网络推广公司-快上网，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 快上网