建站
咨詢
售后
建站咨詢
新聞中心
相對于「 基于詞典的分析 」，「 基于機器學習 」的就不需要大量標注的詞典，但是需要大量標記的數(shù)據(jù)，比如：
創(chuàng)新互聯(lián)主要從事網(wǎng)站設計、網(wǎng)站制作、網(wǎng)頁設計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務。立足成都服務宜都,10多年網(wǎng)站建設經(jīng)驗,價格優(yōu)惠、服務專業(yè),歡迎來電咨詢建站服務:13518219792
還是下面這句話，如果它的標簽是：
服務質(zhì)量 - 中 （共有三個級別，好、中、差）
╮(╯-╰)╭，其是機器學習，通過大量已經(jīng)標簽的數(shù)據(jù)訓練出一個模型，
然后你在輸入一條評論，來判斷標簽級別
寧馨的點評 國慶活動，用62開頭的信用卡可以6.2元買一個印有銀聯(lián)卡標記的冰淇淋， 有香草，巧克力和抹茶三種口味可選，我選的是香草口味，味道很濃郁。 另外任意消費都可以10元買兩個馬卡龍，個頭雖不是很大，但很好吃，不是很甜的那種，不會覺得膩。 標簽：服務質(zhì)量 - 中
樸素貝葉斯
1、貝葉斯定理
假設對于某個數(shù)據(jù)集，隨機變量C表示樣本為C類的概率，F(xiàn)1表示測試樣本某特征出現(xiàn)的概率，套用基本貝葉斯公式，則如下所示：
上式表示對于某個樣本，特征F1出現(xiàn)時，該樣本被分為C類的條件概率。那么如何用上式來對測試樣本分類呢？
舉例來說，有個測試樣本，其特征F1出現(xiàn)了（F1=1），那么就計算P(C=0|F1=1)和P(C=1|F1=1)的概率值。前者大，則該樣本被認為是0類；后者大，則分為1類。
對該公示，有幾個概念需要熟知：
先驗概率（Prior）。P(C)是C的先驗概率，可以從已有的訓練集中計算分為C類的樣本占所有樣本的比重得出。
證據(jù)（Evidence）。即上式P(F1)，表示對于某測試樣本，特征F1出現(xiàn)的概率。同樣可以從訓練集中F1特征對應樣本所占總樣本的比例得出。
似然（likelihood）。即上式P(F1|C)，表示如果知道一個樣本分為C類，那么他的特征為F1的概率是多少。
對于多個特征而言，貝葉斯公式可以擴展如下：
分子中存在一大串似然值。當特征很多的時候，這些似然值的計算是極其痛苦的。現(xiàn)在該怎么辦？
2、樸素的概念
為了簡化計算，樸素貝葉斯算法做了一假設：“樸素的認為各個特征相互獨立”。這么一來，上式的分子就簡化成了：
P(C)P(F1|C)P(F2|C)...P(Fn|C)。
這樣簡化過后，計算起來就方便多了。
這個假設是認為各個特征之間是獨立的，看上去確實是個很不科學的假設。因為很多情況下，各個特征之間是緊密聯(lián)系的。然而在樸素貝葉斯的大量應用實踐實際表明其工作的相當好。
其次，由于樸素貝葉斯的工作原理是計算P(C=0|F1...Fn)和P(C=1|F1...Fn)，并取最大值的那個作為其分類。而二者的分母是一模一樣的。因此，我們又可以省略分母計算，從而進一步簡化計算過程。
另外，貝葉斯公式推導能夠成立有個重要前期，就是各個證據(jù)（evidence）不能為0。也即對于任意特征Fx，P(Fx)不能為0。而顯示某些特征未出現(xiàn)在測試集中的情況是可以發(fā)生的。因此實現(xiàn)上通常要做一些小的處理，例如把所有計數(shù)進行+1（加法平滑 additive smoothing，又叫拉普拉斯平滑 Laplace smothing）。而如果通過增加一個大于 0 的可調(diào)參數(shù) alpha 進行平滑，就叫 Lidstone 平滑。
基于樸素貝葉斯的情感分類
原始數(shù)據(jù)集，只抽了10條
讀數(shù)據(jù)
讀取excel文件，用的pandas庫的DataFrame的數(shù)據(jù)類型
分詞
對每個評論分詞，分詞的同時去除停用詞，得到如下詞表
每個列表是與評論一一對應的
統(tǒng)計
這里統(tǒng)計什么呢？統(tǒng)計兩種數(shù)據(jù)
1. 評論級別的次數(shù)
這里有三個級別分別對應 c0 → 好 2 c1 → 中 3 c2 → 差 5
2. 每個詞在句子中出現(xiàn)的次數(shù)
得到一個字典數(shù)據(jù) evalation [2, 5, 3] 半價 [0, 5, 0] 劃算 [1, 1, 0] 不錯 [0, 2, 0] ········· 不滿 [0, 1, 0] 重要 [0, 1, 0] 清楚 [0, 1, 0] 具體 [0, 1, 0] 每個詞(特征)后的 list坐標位：0，1，2分別對應好，中，差
以上工作完成之后，就是把模型訓練好了，只不過數(shù)據(jù)越多越準確
測試
比如輸入一個句子
世紀聯(lián)華(百聯(lián)西郊購物中心店)的點評 一個號稱國際大都市，收銀處的人服務態(tài)度差到極點。銀聯(lián)活動30-10，還不可以連單。
得到結(jié)果
c2-差
分享標題：詳解基于樸素貝葉斯的情感分析及Python實現(xiàn)
本文鏈接：http://www.dlmjj.cn/article/djehjph.html
