建站
咨詢
售后
建站咨詢
新聞中心
常用的表格數(shù)據(jù)存儲文件格式——CSV，Microsoft Excel，Google Excel 。
成都創(chuàng)新互聯(lián)公司2013年開創(chuàng)至今，是專業(yè)互聯(lián)網(wǎng)技術服務公司，擁有項目成都網(wǎng)站制作、成都做網(wǎng)站網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元淶水做網(wǎng)站,已為上家服務,為淶水各地企業(yè)和個人服務,聯(lián)系電話:18982081108
Python通常稱為粘合語言。這個名稱歸因于人們逐漸開發(fā)出的大量接口庫和特征，也得益于廣泛的使用和良好的開源社區(qū)。這些接口庫和特征能直接訪問不同的文件格式，還可以訪問數(shù)據(jù)源如數(shù)據(jù)庫、網(wǎng)頁和各種API。
本文的學習內(nèi)容：
從谷歌表格中提取數(shù)據(jù)
- 從CSV文件中提取數(shù)據(jù)
- 從Excel文件中提取數(shù)據(jù)
本文適用于以下讀者：
- Python初學者
- 必須定期處理數(shù)據(jù)的人員
由于本文附有代碼，建議處在開發(fā)環(huán)境之下(建議使用JupyterNotebook / Lab)，并建立一個新的筆記本。
源代碼和文件：https://github.com/FBosler/Medium-Data-Extraction
解決方法
本文將帶你進入一個虛構但卻可能異常熟悉的場景。你可以結合不同的數(shù)據(jù)來源去創(chuàng)建報告或進行分析。
注意!!!下面的示例和數(shù)據(jù)純屬虛構。
假設，你的任務是搞清楚如何提高銷售團隊的業(yè)績。假設潛在的客戶有相當自發(fā)的需求。這種情況發(fā)生時，銷售團隊將訂單導入系統(tǒng)。然后，銷售代表們會在訂單交付時安排一個會議。具體日期有時在交付期之前，有時在交付期之后。你的銷售代表有一筆費用預算，會在開會期間支付餐費。他們負責報銷這筆費用，并將發(fā)票交給會計團隊處理。在潛在客戶決定是否要接受報價后，銷售代表會跟蹤訂單是否達成。
可使用以下三個資料來源進行分析:
- 100,000 份訂單 (Google表格)
- 約50,000張餐費發(fā)票(Excel文件)
- 負責公司及銷售代表名單(CVS文件)
獲取谷歌表格數(shù)據(jù)
訪問谷歌表格是這三種方法中最復雜的，因為你需要在使用谷歌表格API前設置一些證書。理論上，你可以獲取一個公開可用的谷歌表(即提取源HTML代碼)但必須使用Beautiful Soup之類的工具進行大量數(shù)據(jù)操作，才能將HTML轉儲轉換為有用的內(nèi)容。我確實嘗試過，但是結果很糟糕，不值得一試。所以，API就是如此。此外，還將使用gspread無縫轉換數(shù)據(jù)分析DataFrame。
獲取OAuth2證書
前往谷歌開發(fā)人員控制臺，創(chuàng)建一個新項目(或選擇現(xiàn)有的項目)。點擊“創(chuàng)建項目”。如果公司使用谷歌郵件，可將其更改為私人帳戶，以避免潛在的權限沖突。
為項目命名(名稱無關緊要，此處將其命名為媒體數(shù)據(jù)提取)。
點擊APIs & Services ，前往library。
啟用谷歌Sheets API。單擊結果，并在如下頁面上單擊啟用 API。
創(chuàng)建一個服務帳戶和密鑰文件。服務帳戶是用于程序訪問的專用帳戶，訪問權限有限。服務帳戶可以而且應該通過有盡可能多的特定權限項目進行設置，當前的任務也需要如此。
創(chuàng)建JSON(另一種文件格式)密鑰文件。在角色上，選擇“Project -> Viewer”。
如果還沒有在前面的步驟中設置角色請立即設置。
注意：設置為“Viewer”會存在一些限制。如果希望以編程方式創(chuàng)建谷歌表格，則必須選擇不同的設置。
然后，私有JSON密鑰文件就可以下載或自動下載了。建議將該文件重命名為'Medium_Data_Extraction_Key，并將文件移動到JupyterNotebook文件夾中，以便與下面的示例無縫銜接。JSON文件包含最近創(chuàng)建的服務帳戶證書。
非常好，就要成功了。
下載數(shù)據(jù)
首先，必須下載并安裝其他軟件包，在筆記本中運行以下命令。
!pip install gspread
!pip install oauth2client
其次，如果還沒有移動密鑰文件的話，必須確保將之前創(chuàng)建的JSON密鑰文件移動到目前運行的木星筆記本(Jupyternotebook)文件夾中。或者，可以指定一個不同的GOOGLE_KEY_FILE路徑。
- from oauth2client.service_account import ServiceAccountCredentials
- import gspread
- import pandas as pd
- scope = [
- 'https://www.googleapis.com/auth/spreadsheets',
- ]
- GOOGLE_KEY_FILE='Medium_Data_Extraction_Key.json'
- credentials = ServiceAccountCredentials.from_json_keyfile_name(GOOGLE_KEY_FILE, scope)
- gc = gspread.authorize(credentials)
- wokbook_key ='10HX66PbcGDvx6QKM8DC9_zCGp1TD_CZhovGUbtu_M6Y'
- workbook = gc.open_by_key(wokbook_key)
- sheet = workbook.get_worksheet(0)
- values = sheet.get_all_values()
- sales_data = pd.DataFrame(values[1:],columns=values[0])
- WORKBOOK_KEY是為本章內(nèi)容準備的谷歌表格的工作簿id。
- WORKBOOK_KEY = '10HX66PbcGDvx6QKM8DC9_zCGp1TD_CZhovGUbtu_M6Y'
這份工作簿是公開的，如果想下載不同的數(shù)據(jù)，需要更改WORKBOOK_KEY。URL有問題的話，id通?？梢栽诠雀璞砀竦淖詈髢蓚€反斜杠之間找到。
獲取CSV數(shù)據(jù)
可以從repo以傳統(tǒng)方式下載CSV數(shù)據(jù)，也可以使用以下代碼片段進行下載。同樣地，可能需要在筆記本上安裝并運行缺失的請求包：
- !pip install requests
- import requests
- url ='https://raw.githubusercontent.com/FBosler/Medium-Data-Extraction/master/sales_team.csv'
- res = requests.get(url, allow_redirects=True)
- withopen('sales_team.csv','wb') asfile:
- file.write(res.content)
- sales_team = pd.read_csv('sales_team.csv')
CSV數(shù)據(jù)的美妙之處在于Python /panda可以立即進行處理。Excel則需要額外的庫。
獲取Excel數(shù)據(jù)
在開始之前，很可能還要安裝openpyxl和xlrd，這能讓Pandas也可以打開Excel表。
!pip install openpyxl
!pip install xlrd
完成這些步驟之后，可以相同的方式獲得Excel數(shù)據(jù)，并將其加載到另一個DataFrame中。
- url ='https://github.com/FBosler/Medium-Data-Extraction/blob/master/invoices.xlsx?raw=true'
- res = requests.get(url, allow_redirects=True)
- withopen('invoices.xlsx','wb') asfile:
- file.write(res.content)
- invoices = pd.read_excel('invoices.xlsx')
大功告成!已經(jīng)創(chuàng)建了三個不同的Pandas數(shù)據(jù)幀，并且可以在同一個Jupyter notebook中進行訪問:
- sales_data
- sales_team
- invoices
網(wǎng)頁題目：代碼詳解：使用Python從不同表格中提取數(shù)據(jù)
網(wǎng)站地址：http://www.dlmjj.cn/article/djcddec.html
