建站
咨詢
售后
建站咨詢
新聞中心
小編給大家分享一下python爬下來的數(shù)據(jù)如何保存，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！
python數(shù)據(jù)爬下來保存在本地，一般是文件或數(shù)據(jù)庫中，但是文件形式相比要更加簡單，如果只是自己寫爬蟲玩，可以用文件形式來保存數(shù)據(jù)。
#coding=utf-8
import urllib.request
import re
import os
'''
Urllib 模塊提供了讀取web頁面數(shù)據(jù)的接口，我們可以像讀取本地文件一樣讀取www和ftp上的數(shù)據(jù)
urlopen 方法用來打開一個(gè)url
read方法 用于讀取Url上的數(shù)據(jù)
'''
def getHtml(url):
page = urllib.request.urlopen(url);
html = page.read();
return html;
def getImg(html):
imglist = re.findall('img src="(http.*?)"',html)
return imglist
html = getHtml("https://www.zhihu.com/question/34378366").decode("utf-8");
imagesUrl = getImg(html);
if os.path.exists("D:/imags") == False:
os.mkdir("D:/imags");
count = 0;
for url in imagesUrl:
print(url)
if(url.find('.') != -1):
name = url[url.find('.',len(url) - 5):];
bytes = urllib.request.urlopen(url);
f = open("D:/imags/"+str(count)+name, 'wb');
f.write(bytes.read());
f.flush();
f.close();
count+=1;經(jīng)測試，基本功能還是可以實(shí)現(xiàn)的。花的較多的時(shí)間就是正則匹配哪里，因?yàn)樽约簩φ齽t表達(dá)式也不是非常熟悉。所以還是花了點(diǎn)時(shí)間。
注：上面的程序基于 python 3.5。python3 和 python2 還是有些區(qū)別的。我剛開始看基礎(chǔ)語法的時(shí)候就栽了一些坑里。
以上是python爬下來的數(shù)據(jù)如何保存的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)成都網(wǎng)站設(shè)計(jì)公司行業(yè)資訊頻道！
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
文章題目：python爬下來的數(shù)據(jù)如何保存-創(chuàng)新互聯(lián)
網(wǎng)站鏈接：http://www.dlmjj.cn/article/isejp.html
