日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間：8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
Python爬蟲抓取智聯(lián)招聘（基礎(chǔ)版）

對(duì)于每個(gè)上班族來說，總要經(jīng)歷幾次換工作，如何在網(wǎng)上挑到心儀的工作？如何提前為心儀工作的面試做準(zhǔn)備？今天我們來抓取智聯(lián)招聘的招聘信息，助你換工作成功！

創(chuàng)新互聯(lián)專注于企業(yè)成都全網(wǎng)營銷推廣、網(wǎng)站重做改版、吐魯番網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、H5高端網(wǎng)站建設(shè)、成都做商城網(wǎng)站、集團(tuán)公司官網(wǎng)建設(shè)、外貿(mào)網(wǎng)站制作、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性價(jià)比高，為吐魯番等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

運(yùn)行平臺(tái)： Windows

Python版本： Python3.6

IDE： Sublime Text

其他工具：  Chrome瀏覽器

1、網(wǎng)頁分析

1.1 分析請(qǐng)求地址

以北京海淀區(qū)的python工程師為例進(jìn)行網(wǎng)頁分析。打開智聯(lián)招聘首頁，選擇北京地區(qū)，在搜索框輸入"python工程師"，點(diǎn)擊"搜工作"：

接下來跳轉(zhuǎn)到搜索結(jié)果頁面，按"F12"打開開發(fā)者工具，然后在"熱門地區(qū)"欄選擇"海淀"，我們看一下地址欄：

由地址欄后半部分searchresult.ashx?jl=北京&kw=python工程師&sm=0&isfilter=1&p=1&re=2005可以看出，我們要自己構(gòu)造地址了。接下來要對(duì)開發(fā)者工具進(jìn)行分析，按照如圖所示步驟找到我們需要的數(shù)據(jù)：Request Headers和Query String Parameters ：

構(gòu)造請(qǐng)求地址：

 
 
 
      
  
  
  1. paras = {  
    2.   
  
  
  2.    'jl': '北京',                # 搜索城市  
    3.   
  
  
  3.    'kw': 'python工程師',        # 搜索關(guān)鍵詞   
    4.   
  
  
  4.    'isadv': 0,                    # 是否打開更詳細(xì)搜索選項(xiàng)  
    5.   
  
  
  5.    'isfilter': 1,                # 是否對(duì)結(jié)果過濾  
    6.   
  
  
  6.    'p': 1,                        # 頁數(shù)  
    7.   
  
  
  7.    're': 2005                    # region的縮寫，地區(qū)，2005代表海淀  
    8.   
  
  
  8. }   
    9.   
  
  
  9.  
    10.   
  
  
  10. url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?' + urlencode(paras) 
    11.

請(qǐng)求頭：

 
 
 
      
  
  
  1. headers = {  
    2.   
  
  
  2.    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',  
    3.   
  
  
  3.    'Host': 'sou.zhaopin.com',  
    4.   
  
  
  4.    'Referer': 'https://www.zhaopin.com/',  
    5.   
  
  
  5.    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',  
    6.   
  
  
  6.    'Accept-Encoding': 'gzip, deflate, br',  
    7.   
  
  
  7.    'Accept-Language': 'zh-CN,zh;q=0.9' 
    8.   
  
  
  8.  } 
    9.

1.2 分析有用數(shù)據(jù)

接下來我們要分析有用數(shù)據(jù)，從搜索結(jié)果中我們需要的數(shù)據(jù)有：職位名稱、公司名稱、公司詳情頁地址、職位月薪：

通過網(wǎng)頁元素定位找到這幾項(xiàng)在HTML文件中的位置，如下圖所示：

用正則表達(dá)式對(duì)這四項(xiàng)內(nèi)容進(jìn)行提?。?/p>

 
 
 
      
  
  
  1. # 正則表達(dá)式進(jìn)行解析  
    2.   
  
  
  2. pattern = re.compile('(.*?).*?'        # 匹配職位信息  
    3.   
  
  
  3.    '(.*?).*?'     # 匹配公司網(wǎng)址和公司名稱  
    4.   
  
  
  4.    '(.*?)', re.S)                                # 匹配月薪      
    5.   
  
  
  5.  
    6.   
  
  
  6.  
    7.   
  
  
  7. # 匹配所有符合條件的內(nèi)容  
    8.   
  
  
  8. items = re.findall(pattern, html) 
    9.

注意：解析出來的部分職位名稱帶有標(biāo)簽，如下圖所示：

那么在解析之后要對(duì)該數(shù)據(jù)進(jìn)行處理剔除標(biāo)簽，用如下代碼實(shí)現(xiàn)：

 
 
 
      
  
  
  1. for item in items:  
    2.   
  
  
  2.    job_name = item[0]  
    3.   
  
  
  3.    job_name = job_name.replace('', '')  
    4.   
  
  
  4.    job_name = job_name.replace('', '')  
    5.   
  
  
  5.    yield {  
    6.   
  
  
  6.        'job': job_name,  
    7.   
  
  
  7.        'website': item[1],  
    8.   
  
  
  8.        'company': item[2],  
    9.   
  
  
  9.        'salary': item[3]  
    10.   
  
  
  10.    } 
    11.

2、寫入文件

我們獲取到的數(shù)據(jù)每個(gè)職位的信息項(xiàng)都相同，可以寫到數(shù)據(jù)庫中，但是本文選擇了csv文件，以下為百度百科解釋：

逗號(hào)分隔值（Comma-Separated Values，CSV，有時(shí)也稱為字符分隔值，因?yàn)榉指糇址部梢圆皇嵌禾?hào)），其文件以純文本形式存儲(chǔ)表格數(shù)據(jù)（數(shù)字和文本）。純文本意味著該文件是一個(gè)字符序列，不含必須像二進(jìn)制數(shù)字那樣被解讀的數(shù)據(jù)。

由于python內(nèi)置了csv文件操作的庫函數(shù)，所以很方便：

 
 
 
      
  
  
  1. import csv  
    2.   
  
  
  2. def write_csv_headers(path, headers):  
    3.   
  
  
  3.    '''  
    4.   
  
  
  4.    寫入表頭  
    5.   
  
  
  5.    '''  
    6.   
  
  
  6.    with open(path, 'a', encoding='gb18030', newline='') as f:  
    7.   
  
  
  7.        f_csv = csv.DictWriter(f, headers)  
    8.   
  
  
  8.        f_csv.writeheader()  
    9.   
  
  
  9.  
    10.   
  
  
  10. def write_csv_rows(path, headers, rows):  
    11.   
  
  
  11.    '''  
    12.   
  
  
  12.    寫入行  
    13.   
  
  
  13.    '''  
    14.   
  
  
  14.    with open(path, 'a', encoding='gb18030', newline='') as f: 
    15.   
  
  
  15.        f_csv = csv.DictWriter(f, headers)  
    16.   
  
  
  16.        f_csv.writerows(rows) 
    17.

3、進(jìn)度顯示

要想找到理想工作，一定要對(duì)更多的職位進(jìn)行篩選，那么我們抓取的數(shù)據(jù)量一定很大，幾十頁、幾百頁甚至幾千頁，那么我們要掌握抓取進(jìn)度心里才能更加踏實(shí)啊，所以要加入進(jìn)度條顯示功能。

本文選擇tqdm 進(jìn)行進(jìn)度顯示，來看一下酷炫結(jié)果（圖片來源網(wǎng)絡(luò)）：

執(zhí)行以下命令進(jìn)行安裝：pip install tqdm。

簡單示例：

 
 
 
      
  
  
  1. from tqdm import tqdm  
    2.   
  
  
  2. from time import sleep   
    3.   
  
  
  3. for i in tqdm(range(1000)):  
    4.   
  
  
  4.    sleep(0.01)
    5.

4、完整代碼

以上是所有功能的分析，如下為完整代碼：

 
 
 
      
  
  
  1. #-*- coding: utf-8 -*-  
    2.   
  
  
  2. import re  
    3.   
  
  
  3. import csv  
    4.   
  
  
  4. import requests  
    5.   
  
  
  5. from tqdm import tqdm  
    6.   
  
  
  6. from urllib.parse import urlencode  
    7.   
  
  
  7. from requests.exceptions import RequestException  
    8.   
  
  
  8.  
    9.   
  
  
  9. def get_one_page(city, keyword, region, page):  
    10.   
  
  
  10.    '''  
    11.   
  
  
  11.    獲取網(wǎng)頁html內(nèi)容并返回  
    12.   
  
  
  12.    '''  
    13.   
  
  
  13.    paras = {  
    14.   
  
  
  14.        'jl': city,         # 搜索城市  
    15.   
  
  
  15.        'kw': keyword,      # 搜索關(guān)鍵詞   
    16.   
  
  
  16.        'isadv': 0,         # 是否打開更詳細(xì)搜索選項(xiàng)  
    17.   
  
  
  17.        'isfilter': 1,      # 是否對(duì)結(jié)果過濾  
    18.   
  
  
  18.        'p': page,          # 頁數(shù)  
    19.   
  
  
  19.        're': region        # region的縮寫，地區(qū)，2005代表海淀 
    20.   
  
  
  20.    }  
    21.   
  
  
  21.  
    22.   
  
  
  22.    headers = {  
    23.   
  
  
  23.        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',  
    24.   
  
  
  24.        'Host': 'sou.zhaopin.com',  
    25.   
  
  
  25.        'Referer': 'https://www.zhaopin.com/',  
    26.   
  
  
  26.        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',  
    27.   
  
  
  27.        'Accept-Encoding': 'gzip, deflate, br',  
    28.   
  
  
  28.        'Accept-Language': 'zh-CN,zh;q=0.9'  
    29.   
  
  
  29.    }  
    30.   
  
  
  30.  
    31.   
  
  
  31.    url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?' + urlencode(paras)  
    32.   
  
  
  32.    try:  
    33.   
  
  
  33.        # 獲取網(wǎng)頁內(nèi)容，返回html數(shù)據(jù)  
    34.   
  
  
  34.        response = requests.get(url, headers=headers)  
    35.   
  
  
  35.        # 通過狀態(tài)碼判斷是否獲取成功  
    36.   
  
  
  36.        if response.status_code == 200:  
    37.   
  
  
  37.            return response.text  
    38.   
  
  
  38.        return None  
    39.   
  
  
  39.    except RequestException as e:  
    40.   
  
  
  40.        return None   
    41.   
  
  
  41.  
    42.   
  
  
  42. def parse_one_page(html):  
    43.   
  
  
  43.    '''  
    44.   
  
  
  44.    解析HTML代碼，提取有用信息并返回  
    45.   
  
  
  45.    '''  
    46.   
  
  
  46.    # 正則表達(dá)式進(jìn)行解析  
    47.   
  
  
  47.    pattern = re.compile('(.*?).*?'        # 匹配職位信息  
    48.   
  
  
  48.        '(.*?).*?'     # 匹配公司網(wǎng)址和公司名稱  
    49.   
  
  
  49.        '(.*?)', re.S)                                # 匹配月薪        
    50.   
  
  
  50.   
    51.   
  
  
  51.    # 匹配所有符合條件的內(nèi)容  
    52.   
  
  
  52.    items = re.findall(pattern, html)      
    53.   
  
  
  53.  
    54.   
  
  
  54.    for item in items:  
    55.   
  
  
  55.        job_name = item[0]  
    56.   
  
  
  56.        job_name = job_name.replace('', '')  
    57.   
  
  
  57.        job_name = job_name.replace('', '')  
    58.   
  
  
  58.        yield {  
    59.   
  
  
  59.            'job': job_name,  
    60.   
  
  
  60.            'website': item[1],  
    61.   
  
  
  61.            'company': item[2],  
    62.   
  
  
  62.            'salary': item[3]  
    63.   
  
  
  63.        }  
    64.   
  
  
  64.  
    65.   
  
  
  65. def write_csv_file(path, headers, rows):  
    66.   
  
  
  66.    '''  
    67.   
  
  
  67.    將表頭和行寫入csv文件  
    68.   
  
  
  68.    '''  
    69.   
  
  
  69.    # 加入encoding防止中文寫入報(bào)錯(cuò)  
    70.   
  
  
  70.    # newline參數(shù)防止每寫入一行都多一個(gè)空行  
    71.   
  
  
  71.    with open(path, 'a', encoding='gb18030', newline='') as f:  
    72.   
  
  
  72.        f_csv = csv.DictWriter(f, headers)  
    73.   
  
  
  73.        f_csv.writeheader()  
    74.   
  
  
  74.        f_csv.writerows(rows)  
    75.   
  
  
  75.  
    76.   
  
  
  76. def write_csv_headers(path, headers):  
    77.   
  
  
  77.    '''  
    78.   
  
  
  78.    寫入表頭  
    79.   
  
  
  79.    '''  
    80.   
  
  
  80.    with open(path, 'a', encoding='gb18030', newline='') as f:  
    81.   
  
  
  81.        f_csv = csv.DictWriter(f, headers)  
    82.   
  
  
  82.        f_csv.writeheader()  
    83.   
  
  
  83.  
    84.   
  
  
  84. def write_csv_rows(path, headers, rows):  
    85.   
  
  
  85.    '''  
    86.   
  
  
  86.    寫入行  
    87.   
  
  
  87.    '''  
    88.   
  
  
  88.    with open(path, 'a', encoding='gb18030', newline='') as f:  
    89.   
  
  
  89.        f_csv = csv.DictWriter(f, headers)  
    90.   
  
  
  90.        f_csv.writerows(rows)  
    91.   
  
  
  91.  
    92.   
  
  
  92. def main(city, keyword, region, pages):  
    93.   
  
  
  93.    '''  
    94.   
  
  
  94.    主函數(shù)  
    95.   
  
  
  95.    '''  
    96.   
  
  
  96.    filename = 'zl_' + city + '_' + keyword + '.csv'  
    97.   
  
  
  97.    headers = ['job', 'website', 'company', 'salary']  
    98.   
  
  
  98.    write_csv_headers(filename, headers)  
    99.   
  
  
  99.    for i in tqdm(range(pages)):  
    100.   
  
  
  100.        '''  
    101.   
  
  
  101.        獲取該頁中所有職位信息，寫入csv文件  
    102.   
  
  
  102.        '''  
    103.   
  
  
  103.        jobs = []  
    104.   
  
  
  104.        html = get_one_page(city, keyword, region, i)  
    105.   
  
  
  105.        items = parse_one_page(html)  
    106.   
  
  
  106.        for item in items:  
    107.   
  
  
  107.            jobs.append(item)  
    108.   
  
  
  108.        write_csv_rows(filename, headers, jobs)   
    109.   
  
  
  109.  
    110.   
  
  
  110. if __name__ == '__main__':  
    111.   
  
  
  111.    main('北京', 'python工程師', 2005, 10) 
    112.

上面代碼執(zhí)行效果如圖所示：

執(zhí)行完成后會(huì)在py同級(jí)文件夾下會(huì)生成名為：zl_北京_python工程師.csv的文件，打開之后效果如下：


網(wǎng)站欄目：Python爬蟲抓取智聯(lián)招聘（基礎(chǔ)版）
文章鏈接：http://www.dlmjj.cn/article/cciijoj.html