Python爬虫抓取智联招聘（基础版）

对于每个上班族来说，总要经历几次换工作，如何在网上挑到心仪的工作？如何提前为心仪工作的面试做准备？今天我们来抓取智联招聘的招聘信息，助你换工作成功！

创新互联专注于企业成都全网营销推广、网站重做改版、吐鲁番网站定制设计、自适应品牌网站建设、H5高端网站建设、成都做商城网站、集团公司官网建设、外贸网站制作、高端网站制作、响应式网页设计等建站业务，价格优惠性价比高，为吐鲁番等各大城市提供网站开发制作服务。

运行平台： Windows

Python版本： Python3.6

IDE： Sublime Text

其他工具：  Chrome浏览器

1、网页分析

1.1 分析请求地址

以北京海淀区的python工程师为例进行网页分析。打开智联招聘首页，选择北京地区，在搜索框输入"python工程师"，点击"搜工作"：

接下来跳转到搜索结果页面，按"F12"打开开发者工具，然后在"热门地区"栏选择"海淀"，我们看一下地址栏：

由地址栏后半部分searchresult.ashx?jl=北京&kw=python工程师&sm=0&isfilter=1&p=1&re=2005可以看出，我们要自己构造地址了。接下来要对开发者工具进行分析，按照如图所示步骤找到我们需要的数据：Request Headers和Query String Parameters ：

构造请求地址：

 
 
 
      
  
  
  1. paras = {  
    2.   
  
  
  2.    'jl': '北京',                # 搜索城市  
    3.   
  
  
  3.    'kw': 'python工程师',        # 搜索关键词   
    4.   
  
  
  4.    'isadv': 0,                    # 是否打开更详细搜索选项  
    5.   
  
  
  5.    'isfilter': 1,                # 是否对结果过滤  
    6.   
  
  
  6.    'p': 1,                        # 页数  
    7.   
  
  
  7.    're': 2005                    # region的缩写，地区，2005代表海淀  
    8.   
  
  
  8. }   
    9.   
  
  
  9.  
    10.   
  
  
  10. url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?' + urlencode(paras) 
    11.

请求头：

 
 
 
      
  
  
  1. headers = {  
    2.   
  
  
  2.    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',  
    3.   
  
  
  3.    'Host': 'sou.zhaopin.com',  
    4.   
  
  
  4.    'Referer': 'https://www.zhaopin.com/',  
    5.   
  
  
  5.    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',  
    6.   
  
  
  6.    'Accept-Encoding': 'gzip, deflate, br',  
    7.   
  
  
  7.    'Accept-Language': 'zh-CN,zh;q=0.9' 
    8.   
  
  
  8.  } 
    9.

1.2 分析有用数据

接下来我们要分析有用数据，从搜索结果中我们需要的数据有：职位名称、公司名称、公司详情页地址、职位月薪：

通过网页元素定位找到这几项在HTML文件中的位置，如下图所示：

用正则表达式对这四项内容进行提取：

 
 
 
      
  
  
  1. # 正则表达式进行解析  
    2.   
  
  
  2. pattern = re.compile('(.*?).*?'        # 匹配职位信息  
    3.   
  
  
  3.    '(.*?).*?'     # 匹配公司网址和公司名称  
    4.   
  
  
  4.    '(.*?)', re.S)                                # 匹配月薪      
    5.   
  
  
  5.  
    6.   
  
  
  6.  
    7.   
  
  
  7. # 匹配所有符合条件的内容  
    8.   
  
  
  8. items = re.findall(pattern, html) 
    9.

注意：解析出来的部分职位名称带有标签，如下图所示：

那么在解析之后要对该数据进行处理剔除标签，用如下代码实现：

 
 
 
      
  
  
  1. for item in items:  
    2.   
  
  
  2.    job_name = item[0]  
    3.   
  
  
  3.    job_name = job_name.replace('', '')  
    4.   
  
  
  4.    job_name = job_name.replace('', '')  
    5.   
  
  
  5.    yield {  
    6.   
  
  
  6.        'job': job_name,  
    7.   
  
  
  7.        'website': item[1],  
    8.   
  
  
  8.        'company': item[2],  
    9.   
  
  
  9.        'salary': item[3]  
    10.   
  
  
  10.    } 
    11.

2、写入文件

我们获取到的数据每个职位的信息项都相同，可以写到数据库中，但是本文选择了csv文件，以下为百度百科解释：

逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。

由于python内置了csv文件操作的库函数，所以很方便：

 
 
 
      
  
  
  1. import csv  
    2.   
  
  
  2. def write_csv_headers(path, headers):  
    3.   
  
  
  3.    '''  
    4.   
  
  
  4.    写入表头  
    5.   
  
  
  5.    '''  
    6.   
  
  
  6.    with open(path, 'a', encoding='gb18030', newline='') as f:  
    7.   
  
  
  7.        f_csv = csv.DictWriter(f, headers)  
    8.   
  
  
  8.        f_csv.writeheader()  
    9.   
  
  
  9.  
    10.   
  
  
  10. def write_csv_rows(path, headers, rows):  
    11.   
  
  
  11.    '''  
    12.   
  
  
  12.    写入行  
    13.   
  
  
  13.    '''  
    14.   
  
  
  14.    with open(path, 'a', encoding='gb18030', newline='') as f: 
    15.   
  
  
  15.        f_csv = csv.DictWriter(f, headers)  
    16.   
  
  
  16.        f_csv.writerows(rows) 
    17.

3、进度显示

要想找到理想工作，一定要对更多的职位进行筛选，那么我们抓取的数据量一定很大，几十页、几百页甚至几千页，那么我们要掌握抓取进度心里才能更加踏实啊，所以要加入进度条显示功能。

本文选择tqdm 进行进度显示，来看一下酷炫结果（图片来源网络）：

执行以下命令进行安装：pip install tqdm。

简单示例：

 
 
 
      
  
  
  1. from tqdm import tqdm  
    2.   
  
  
  2. from time import sleep   
    3.   
  
  
  3. for i in tqdm(range(1000)):  
    4.   
  
  
  4.    sleep(0.01)
    5.

4、完整代码

以上是所有功能的分析，如下为完整代码：

 
 
 
      
  
  
  1. #-*- coding: utf-8 -*-  
    2.   
  
  
  2. import re  
    3.   
  
  
  3. import csv  
    4.   
  
  
  4. import requests  
    5.   
  
  
  5. from tqdm import tqdm  
    6.   
  
  
  6. from urllib.parse import urlencode  
    7.   
  
  
  7. from requests.exceptions import RequestException  
    8.   
  
  
  8.  
    9.   
  
  
  9. def get_one_page(city, keyword, region, page):  
    10.   
  
  
  10.    '''  
    11.   
  
  
  11.    获取网页html内容并返回  
    12.   
  
  
  12.    '''  
    13.   
  
  
  13.    paras = {  
    14.   
  
  
  14.        'jl': city,         # 搜索城市  
    15.   
  
  
  15.        'kw': keyword,      # 搜索关键词   
    16.   
  
  
  16.        'isadv': 0,         # 是否打开更详细搜索选项  
    17.   
  
  
  17.        'isfilter': 1,      # 是否对结果过滤  
    18.   
  
  
  18.        'p': page,          # 页数  
    19.   
  
  
  19.        're': region        # region的缩写，地区，2005代表海淀 
    20.   
  
  
  20.    }  
    21.   
  
  
  21.  
    22.   
  
  
  22.    headers = {  
    23.   
  
  
  23.        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',  
    24.   
  
  
  24.        'Host': 'sou.zhaopin.com',  
    25.   
  
  
  25.        'Referer': 'https://www.zhaopin.com/',  
    26.   
  
  
  26.        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',  
    27.   
  
  
  27.        'Accept-Encoding': 'gzip, deflate, br',  
    28.   
  
  
  28.        'Accept-Language': 'zh-CN,zh;q=0.9'  
    29.   
  
  
  29.    }  
    30.   
  
  
  30.  
    31.   
  
  
  31.    url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?' + urlencode(paras)  
    32.   
  
  
  32.    try:  
    33.   
  
  
  33.        # 获取网页内容，返回html数据  
    34.   
  
  
  34.        response = requests.get(url, headers=headers)  
    35.   
  
  
  35.        # 通过状态码判断是否获取成功  
    36.   
  
  
  36.        if response.status_code == 200:  
    37.   
  
  
  37.            return response.text  
    38.   
  
  
  38.        return None  
    39.   
  
  
  39.    except RequestException as e:  
    40.   
  
  
  40.        return None   
    41.   
  
  
  41.  
    42.   
  
  
  42. def parse_one_page(html):  
    43.   
  
  
  43.    '''  
    44.   
  
  
  44.    解析HTML代码，提取有用信息并返回  
    45.   
  
  
  45.    '''  
    46.   
  
  
  46.    # 正则表达式进行解析  
    47.   
  
  
  47.    pattern = re.compile('(.*?).*?'        # 匹配职位信息  
    48.   
  
  
  48.        '(.*?).*?'     # 匹配公司网址和公司名称  
    49.   
  
  
  49.        '(.*?)', re.S)                                # 匹配月薪        
    50.   
  
  
  50.   
    51.   
  
  
  51.    # 匹配所有符合条件的内容  
    52.   
  
  
  52.    items = re.findall(pattern, html)      
    53.   
  
  
  53.  
    54.   
  
  
  54.    for item in items:  
    55.   
  
  
  55.        job_name = item[0]  
    56.   
  
  
  56.        job_name = job_name.replace('', '')  
    57.   
  
  
  57.        job_name = job_name.replace('', '')  
    58.   
  
  
  58.        yield {  
    59.   
  
  
  59.            'job': job_name,  
    60.   
  
  
  60.            'website': item[1],  
    61.   
  
  
  61.            'company': item[2],  
    62.   
  
  
  62.            'salary': item[3]  
    63.   
  
  
  63.        }  
    64.   
  
  
  64.  
    65.   
  
  
  65. def write_csv_file(path, headers, rows):  
    66.   
  
  
  66.    '''  
    67.   
  
  
  67.    将表头和行写入csv文件  
    68.   
  
  
  68.    '''  
    69.   
  
  
  69.    # 加入encoding防止中文写入报错  
    70.   
  
  
  70.    # newline参数防止每写入一行都多一个空行  
    71.   
  
  
  71.    with open(path, 'a', encoding='gb18030', newline='') as f:  
    72.   
  
  
  72.        f_csv = csv.DictWriter(f, headers)  
    73.   
  
  
  73.        f_csv.writeheader()  
    74.   
  
  
  74.        f_csv.writerows(rows)  
    75.   
  
  
  75.  
    76.   
  
  
  76. def write_csv_headers(path, headers):  
    77.   
  
  
  77.    '''  
    78.   
  
  
  78.    写入表头  
    79.   
  
  
  79.    '''  
    80.   
  
  
  80.    with open(path, 'a', encoding='gb18030', newline='') as f:  
    81.   
  
  
  81.        f_csv = csv.DictWriter(f, headers)  
    82.   
  
  
  82.        f_csv.writeheader()  
    83.   
  
  
  83.  
    84.   
  
  
  84. def write_csv_rows(path, headers, rows):  
    85.   
  
  
  85.    '''  
    86.   
  
  
  86.    写入行  
    87.   
  
  
  87.    '''  
    88.   
  
  
  88.    with open(path, 'a', encoding='gb18030', newline='') as f:  
    89.   
  
  
  89.        f_csv = csv.DictWriter(f, headers)  
    90.   
  
  
  90.        f_csv.writerows(rows)  
    91.   
  
  
  91.  
    92.   
  
  
  92. def main(city, keyword, region, pages):  
    93.   
  
  
  93.    '''  
    94.   
  
  
  94.    主函数  
    95.   
  
  
  95.    '''  
    96.   
  
  
  96.    filename = 'zl_' + city + '_' + keyword + '.csv'  
    97.   
  
  
  97.    headers = ['job', 'website', 'company', 'salary']  
    98.   
  
  
  98.    write_csv_headers(filename, headers)  
    99.   
  
  
  99.    for i in tqdm(range(pages)):  
    100.   
  
  
  100.        '''  
    101.   
  
  
  101.        获取该页中所有职位信息，写入csv文件  
    102.   
  
  
  102.        '''  
    103.   
  
  
  103.        jobs = []  
    104.   
  
  
  104.        html = get_one_page(city, keyword, region, i)  
    105.   
  
  
  105.        items = parse_one_page(html)  
    106.   
  
  
  106.        for item in items:  
    107.   
  
  
  107.            jobs.append(item)  
    108.   
  
  
  108.        write_csv_rows(filename, headers, jobs)   
    109.   
  
  
  109.  
    110.   
  
  
  110. if __name__ == '__main__':  
    111.   
  
  
  111.    main('北京', 'python工程师', 2005, 10) 
    112.

上面代码执行效果如图所示：

执行完成后会在py同级文件夹下会生成名为：zl_北京_python工程师.csv的文件，打开之后效果如下：

网页题目：Python爬虫抓取智联招聘（基础版）
URL标题：http://www.csdahua.cn/qtweb/news10/17110.html

网站建设、网络推广公司-快上网，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 快上网

成都快上网为您推荐相关内容

自适应网站知识

分类信息网站

成都微信开发　　 　营山产后护理　　 　软文平台　　 　宜宾网站设计　　 　响应式报价　　 　微信网站开发　　 　微信小程序开发　　 　不锈钢防护栏　　 　沃尔沃电机组维修　　 　成都网站设计　　 　绵阳托管服务器　　 　网站制作　　 　帛金家居　　 　发光字制作　　 　成都网站维护　　 　南充机房托管　　 　四川盐亭做网站　　 　广元双南建站　　 　成都网络公司　　 　网站建设公司