日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間：8:30-17:00
你可能遇到了下面的問(wèn)題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷(xiāo)解決方案
Python處理大數(shù)據(jù)的2個(gè)神奇操作

Python有個(gè)處理大數(shù)據(jù)的庫(kù)，結(jié)合x(chóng)lrd庫(kù)，在做一些大數(shù)據(jù)的處理統(tǒng)計(jì)工作的時(shí)候很好用，譬如做性能測(cè)試，你的結(jié)果數(shù)據(jù)如何統(tǒng)計(jì)，python有個(gè)庫(kù)pandas，這個(gè)就很擅長(zhǎng)做這個(gè)工作，這里就講2個(gè)pandas的騷操作。 pandas中g(shù)roupby、Grouper和agg函數(shù)的使用。這2個(gè)函數(shù)作用類(lèi)似，都是對(duì)數(shù)據(jù)集中的一類(lèi)屬性進(jìn)行聚合操作，比如統(tǒng)計(jì)一個(gè)用戶在每個(gè)月內(nèi)的全部花銷(xiāo)，統(tǒng)計(jì)某個(gè)屬性的最大、最小、累和、平均等數(shù)值。

統(tǒng)計(jì)“ext price”這個(gè)屬性在每個(gè)月的累和(sum)值

 
 
 
    
  
  
  
  1. import pandas as pd 
    2.   
  
  
  2. import collections 
    3.   
  
  
  3. df = pd.read_excel("D:/Download/chrome/sample-salesv3.xlsx") 
    4.   
  
  
  4. #print (df.head(10)) 
    5.   
  
  
  5. df["date"] = pd.to_datetime(df["date"]) 
    6.   
  
  
  6. # print (df.head(10)) 
    7.   
  
  
  7. df1 = df.set_index("date").resample("M")['ext price'].sum() 
    8.   
  
  
  8. # print(df1.head())  
    9.

統(tǒng)計(jì)每個(gè)用戶每個(gè)月"ext price"這個(gè)屬性的sum值，利用Grouper

 
 
 
    
  
  
  
  1. df2 = df.groupby(["name",pd.Grouper(key = "date",freq="M")])["ext price"] 
    2.   
  
  
  2. print(df2.head(10))  
    3.

Agg

agg函數(shù)，它提供基于列的聚合操作。而groupby可以看做是基于行，或者說(shuō)index的聚合操作。

從實(shí)現(xiàn)上看，groupby返回的是一個(gè)DataFrameGroupBy結(jié)構(gòu)，這個(gè)結(jié)構(gòu)必須調(diào)用聚合函數(shù)(如sum)之后，才會(huì)得到結(jié)構(gòu)為Series的數(shù)據(jù)結(jié)果。

而agg是DataFrame的直接方法，返回的也是一個(gè)DataFrame。當(dāng)然，很多功能用sum、mean等等也可以實(shí)現(xiàn)。但是agg更加簡(jiǎn)潔, 而且傳給它的函數(shù)可以是字符串，也可以自定義，參數(shù)是column對(duì)應(yīng)的子DataFrame

獲取"ext price","quantity","unit price"3列的各自的累計(jì)值和均值

 
 
 
    
  
  
  
  1. df3 = df[["ext price","quantity","unit price"]].agg(["sum","mean"]) 
    2.   
  
  
  2. print(df3.head())  
    3.

可以針對(duì)不同的列使用不同的聚合函數(shù)

 
 
 
    
  
  
  
  1. df4 = df.agg({"ext price":["sum","mean"],"quantity":["sum","mean"],"unit price":["mean"]}) 
    2.   
  
  
  2. print(df4.head())  
    3.

也可以自定義函數(shù)，比如，統(tǒng)計(jì)sku中，購(gòu)買(mǎi)次數(shù)最多的產(chǎn)品編號(hào)，通過(guò)lambda表達(dá)式來(lái)做。

 
 
 
    
  
  
  
  1. #統(tǒng)計(jì)sku中，購(gòu)買(mǎi)次數(shù)最多的產(chǎn)品編號(hào) 
    2.   
  
  
  2. get_max = lambda x:x.value_counts(dropna=False).index[0] 
    3.   
  
  
  3. get_max.__name__ = "most frequent" 
    4.   
  
  
  4. df5 = df.agg({"ext price":["sum","mean"], 
    5.   
  
  
  5.  "quantity":["sum","mean"], 
    6.   
  
  
  6.  "unit price":["mean"], 
    7.   
  
  
  7.  "sku":[get_max] 
    8.   
  
  
  8.  }) 
    9.   
  
  
  9. print(df5)  
    10.

如果希望輸出的列按照某個(gè)順序排列，可以使用collections的OrderedDict

 
 
 
    
  
  
  
  1. agg_dict = { 
    2.   
  
  
  2.  "ext price":["sum","mean"], 
    3.   
  
  
  3.  "quantity":["sum","mean"], 
    4.   
  
  
  4.  "unit price":["mean"], 
    5.   
  
  
  5.  "sku":[get_max] 
    6.   
  
  
  6. } 
    7.   
  
  
  7. #按照列名的長(zhǎng)度排序。OrderedDict的順序是跟插入順序一致的 
    8.   
  
  
  8. df6 = df.agg(collections.OrderedDict(sorted(agg_dict.items(),key=lambda x:len(x[0])))) 
    9.   
  
  
  9. print(df6)  
    10.

源數(shù)據(jù)的鏈接：https://github.com/chris1610/pbpython/tree/master/data


本文名稱：Python處理大數(shù)據(jù)的2個(gè)神奇操作
網(wǎng)站路徑：http://www.dlmjj.cn/article/cddggoc.html