使用python怎么将爬取的网页内容转换为PDF文件-创新互联

本文章向大家介绍使用python怎么将爬取的网页内容转换为PDF文件的基本知识点总结和需要注意事项，具有一定的参考价值，需要的朋友可以参考一下。

成都创新互联，为您提供成都网站建设、成都网站制作、网站营销推广、网站开发设计，对服务成都木屋等多个行业拥有丰富的网站建设及推广经验。成都创新互联网站建设公司成立于2013年,提供专业网站制作报价服务,我们深知市场的竞争激烈，认真对待每位客户，为客户提供赏心悦目的作品。与客户共同发展进步，是我们永远的责任！

Python主要用来做什么

Python主要应用于：1、Web开发；2、数据科学研究；3、网络爬虫；4、嵌入式应用开发；5、游戏开发；6、桌面应用开发。

# coding=utf-8 
import os 
import re 
import time 
import pdfkit 
import requests 
from bs4 import BeautifulSoup 
from PyPDF2 import PdfFileMerger
import sys
reload(sys)
sys.setdefaultencoding('utf8')

html_template = """ 
<!DOCTYPE html> 
<html lang="en"> 
<head> 
  <meta charset="UTF-8"> 
</head> 
<body> 
{content} 
</body> 
</html> 

""" 

#----------------------------------------------------------------------
def parse_url_to_html(url, name): 
  """ 
  解析URL，返回HTML内容 
  :param url:解析的url 
  :param name: 保存的html文件名 
  :return: html 
  """ 
  try: 
    response = requests.get(url) 
    soup = BeautifulSoup(response.content, 'html.parser') 
    # 正文 
    body = soup.find_all(class_="x-wiki-content")[0] 
    # 标题 
    title = soup.find('h5').get_text() 

    # 标题加入到正文的最前面，居中显示 
    center_tag = soup.new_tag("center") 
    title_tag = soup.new_tag('h2') 
    title_tag.string = title 
    center_tag.insert(1, title_tag) 
    body.insert(1, center_tag) 
    html = str(body) 
    # body中的img标签的src相对路径的改成绝对路径 
    pattern = "(<img .*?src=\")(.*?)(\")" 

    def func(m): 
      if not m.group(3).startswith("http"): 
        rtn = m.group(1) + "http://www.liaoxuefeng.com" + m.group(2) + m.group(3) 
        return rtn 
      else: 
        return m.group(1)+m.group(2)+m.group(3) 
    html = re.compile(pattern).sub(func, html) 
    html = html_template.format(content=html) 
    html = html.encode("utf-8") 
    with open(name, 'wb') as f: 
      f.write(html) 
    return name 

  except Exception as e:
    print "解析错误！"

#----------------------------------------------------------------------
def get_url_list(): 
  """ 
  获取所有URL目录列表 
  :return: 
  """ 
  response = requests.get("http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000") 
  soup = BeautifulSoup(response.content, "html.parser") 
  menu_tag = soup.find_all(class_="uk-nav uk-nav-side")[1] 
  urls = [] 
  for li in menu_tag.find_all("li"): 
    url = "http://www.liaoxuefeng.com" + li.a.get('href') 
    urls.append(url) 
  return urls 

#----------------------------------------------------------------------
def save_pdf(htmls, file_name): 
  """ 
  把所有html文件保存到pdf文件 
  :param htmls: html文件列表 
  :param file_name: pdf文件名 
  :return: 
  """ 
  options = { 
    'page-size': 'Letter', 
    'margin-top': '0.75in', 
    'margin-right': '0.75in', 
    'margin-bottom': '0.75in', 
    'margin-left': '0.75in', 
    'encoding': "UTF-8", 
    'custom-header': [ 
      ('Accept-Encoding', 'gzip') 
    ], 
    'cookie': [ 
      ('cookie-name1', 'cookie-value1'), 
      ('cookie-name2', 'cookie-value2'), 
    ], 
    'outline-depth': 10, 
  } 
  pdfkit.from_file(htmls, file_name, options=options) 

#----------------------------------------------------------------------
def main(): 
  start = time.time() 
  file_name = u"liaoxuefeng_Python3_tutorial" 
  urls = get_url_list() 
  for index, url in enumerate(urls):
    parse_url_to_html(url, str(index) + ".html") 
  htmls =[] 
  pdfs =[] 
  for i in range(0,124): 
    htmls.append(str(i)+'.html') 
    pdfs.append(file_name+str(i)+'.pdf') 

    save_pdf(str(i)+'.html', file_name+str(i)+'.pdf') 

    print u"转换完成第"+str(i)+'个html' 

  merger = PdfFileMerger() 
  for pdf in pdfs:
    merger.append(open(pdf,'rb'))
    print u"合并完成第"+str(i)+'个pdf'+pdf 

  output = open(u"廖雪峰Python_all.pdf", "wb") 
  merger.write(output) 

  print u"输出PDF成功！" 

  for html in htmls: 
    os.remove(html) 
    print u"删除临时文件"+html 

  for pdf in pdfs: 
    os.remove(pdf) 
    print u"删除临时文件"+pdf 

  total_time = time.time() - start 
  print(u"总共耗时：%f 秒" % total_time)

#----------------------------------------------------------------------
def changeDir(dir_name):
  """
  目录切换
  """
  if not os.path.exists(dir_name):
    os.mkdir(dir_name)

  os.chdir(dir_name)
#----------------------------------------------------------------------
if __name__ == '__main__':
  #存放文件的路径
  dir_name = '/home/Python/Html'  
  changeDir(dir_name)
  main()

以上就是小编为大家带来的使用python怎么将爬取的网页内容转换为PDF文件的全部内容了，希望大家多多支持创新互联成都网站设计公司！

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

分享文章：使用python怎么将爬取的网页内容转换为PDF文件-创新互联
转载来源：https://www.cdcxhl.com/article18/eesdp.html

成都网站建设公司_创新互联，为您提供营销型网站建设、网站设计公司、网站改版、自适应网站、品牌网站建设、微信公众号

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容