日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務時間:8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
實例詳解python之requests模塊

本篇文章給大家?guī)砹岁P(guān)于python的相關(guān)知識,其中主要介紹了requests模塊的相關(guān)問題,Requests模塊是一個用于網(wǎng)絡(luò)請求的模塊,主要用來模擬瀏覽器發(fā)請求,希望對大家有幫助。

推薦學習:python學習教程

Requests模塊是一個用于網(wǎng)絡(luò)請求的模塊,主要用來模擬瀏覽器發(fā)請求。其實類似的模塊有很多,比如urllib,urllib2,httplib,httplib2,他們基本都提供相似的功能。但是這些模塊都復雜而且差不多過時了,requests模塊簡單強大高效,使得其在眾多網(wǎng)絡(luò)請求模塊中脫引而出。

環(huán)境安裝:pip install requests

使用流程:

  • 指定url
  • 基于requests模塊發(fā)送請求
  • 獲取響應對象中的數(shù)據(jù)值
  • 持久化存儲(不是必須的)

案例:爬取百度首頁的數(shù)據(jù)

#1. 導包
import requests
#2. 指定url
url = "https://www.baidu.com"
#3. 使用GET方法發(fā)送請求,該方法會返回一個響應對象
response = requests.get(url=url)
#4. 獲取響應數(shù)據(jù)
print(response.status_code)  # 打印狀態(tài)碼
print(response.url)          # 打印請求url
print(response.headers)      # 打印響應頭頭信息
print(response.text)         #以文本形式打印網(wǎng)頁源碼

#保存數(shù)據(jù)
response.encoding = 'utf-8'  #指定編碼格式,不然打開亂碼
text = response.text
with open('./2.html','w',encoding='utf-8') as f:
    f.write(text)

解決requests請求的數(shù)據(jù)中文亂碼問題——》requests請求返回內(nèi)容 中文亂碼問題

requests請求方法

上面的案例requests發(fā)送了一個GET請求方法,除此之外還有其他的請求方法。最常用的就是GET和POST方法。

且在指定方法發(fā)送請求的時候,有時候還需要在請求方法括號中requests.get(url=url, xx = xx)指定一些參數(shù),如下。先了解一下

方法

參數(shù)名字

HTTP頭部

headers

GET參數(shù)

params

POST參數(shù)

data

文件

files

Cookies

cookies

重定向處理

allow_ redirects = False/True

超時

timeout

證書驗證

verify = False/True

工作流(延遲下載)

stream=False/ True

事件掛鉤

hooks=dict(response=)

身份驗證

auth=

代理

proxies=

requests響應對象屬性

在上面爬取百度首頁時,response = requests.get(url=url)其返回的是一個響應對象,而如果我們想要獲取具體的數(shù)據(jù)比如響應碼或者網(wǎng)頁源碼時,就需要通過指定響應對象的屬性進行獲取。如response.status_code獲取響應碼


網(wǎng)頁名稱:實例詳解python之requests模塊
本文地址:http://www.dlmjj.cn/article/dhdjpgo.html