Python3怎么爬取英雄联盟所有英雄皮肤

这篇文章将为大家详细讲解有关Python3怎么爬取英雄联盟所有英雄皮肤,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。

创新互联自2013年起,先为玉田等服务建站,玉田等地企业,进行企业商务咨询服务。为玉田企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

打开英雄联盟官网,点击游戏资料,继续按F12,按F5刷新,就会发现有一个champion.js文件,复制这个js文件的地址.和王者荣耀不同,这个是js而王者是json比较好处理。js中有英雄的编号和名字,将keys中的数据拿出来

Python3怎么爬取英雄联盟所有英雄皮肤

通过requests的get方法获取到响应的内容,pat_js是正则的规则,compile函数将包含的正则表达式的字符串创建模式对象,直接调用findall方法。返回的就是匹配的字串以列表的形式显示。eval将其转换为字典

def path_js(url_js):

    res_js = requests.get(url_js, verify= False).content

    html_js = res_js.decode("gbk")

    pat_js = r'"keys":(.*?),"data"'

    enc = re.compile(pat_js)

    list_js = enc.findall(html_js)

    dict_js = eval(list_js[0])

    print(dict_js)

Python3怎么爬取英雄联盟所有英雄皮肤

--------------------------------------------------------------------------------------------------------

在页面中点开英雄资料,没有英雄的皮肤url,需要右键,在新标签页打开,获取到连接http://ossweb-img.qq.com/images/lol/web201310/skin/big266000.jpg

根据获取到的链接分析,big后前三个数字代表英雄的编号,后三个代表皮肤的个数,根据此来拼接获取皮肤图片的链接。每个英雄的皮肤不超过20个,以此来循环获取拼接。(获取的链接会有大量的没有响应的链接)

def path_url(dict_js):

    pic_list = []

    for key in dict_js:

        for i in range(20):

            xuhao = str(i)

            if len(xuhao) == 1:

                num_houxu = "00" + xuhao

            elif len(xuhao) == 2:

                num_houxu = "0" + xuhao

            numStr = key + num_houxu

            url = r'http://ossweb-img.qq.com/images/lol/web201310/skin/big' + numStr + '.jpg'

            pic_list.append(url)

    print(pic_list)

    return pic_list

Python3怎么爬取英雄联盟所有英雄皮肤

链接获取到之后,开始根据链接来下载皮肤

先生成文件的保存路径

'''

根据字典的value值获取英雄名字,将其作为文件名和保存路径

'''

def name_pic(dict_js, path):

    list_filePath = []

    for name in dict_js.values():

        for i in range(20):

            file_path = path + name + str(i) + '.jpg'

            list_filePath.append(file_path)

    print(list_filePath)

    return list_filePath

Python3怎么爬取英雄联盟所有英雄皮肤

接下来就是下载图片,将图片写入文件。(解决大量没有响应的链接)还是通过requests的get方法获取 响应,如果响应的text的内容是404,则结束本次循环,如果不是则将该图片写入文件保存。这样就不会下载大量的不能打开的空图片

def writing(url_list, list_filePath):

    try:

        for i in range(len(url_list)):

            res = requests.get(url_list[i], verify=False)

            if '404 page not found' in res.text:

                print("该英雄皮肤下载完毕"), i

                continue

            with open(list_filePath[i], "wb") as f:

                f.write(res.content)

    except Exception as e:

        print("下载图片出错,%s" % (e))

        return False

Python3怎么爬取英雄联盟所有英雄皮肤

Python3怎么爬取英雄联盟所有英雄皮肤

获取到996个皮肤

至此,皮肤获取完毕。当然还可以优化,可以尝试使用多线程改进该程序,图片太多,单线程过慢。还有皮肤链接的生成问题,考虑是否有更好的解决办法,不会去生成大量无用的链接。程序会去请求这些无用的链接,造成大量资源浪费。

关于Python3怎么爬取英雄联盟所有英雄皮肤就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。

网站名称:Python3怎么爬取英雄联盟所有英雄皮肤
网站路径:https://www.cdcxhl.com/article4/pospoe.html

成都网站建设公司_创新互联,为您提供做网站网站导航全网营销推广域名注册标签优化小程序开发

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

外贸网站制作