建站
咨詢
售后
建站咨詢
新聞中心
線性回歸是機器學(xué)習(xí)中的概念，線性回歸預(yù)測算法一般用以解決“使用已知樣本對未知公式參數(shù)的估計”類問題。
10年積累的網(wǎng)站設(shè)計制作、成都網(wǎng)站設(shè)計經(jīng)驗，可以快速應(yīng)對客戶對網(wǎng)站的新想法和需求。提供各種問題對應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識你，你也不認(rèn)識我。但先網(wǎng)站設(shè)計制作后付款的網(wǎng)站建設(shè)流程，更有丹陽免費網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。
舉個栗子：
商家賣鞋，可利用歷史上每個季度鞋的定價x與銷量y，來預(yù)估“定價與銷量的關(guān)系”(y=ax+b)，以輔助對鞋子進行***定價。
一、幾個基本概念
回歸(regression)：用已知樣本對未知公式參數(shù)的估計。Y=f(X1, X2, X3)，這里回歸函數(shù)f(X1, X2, X3)可能是任意函數(shù)。
線性回歸(linear regression)：回歸的一種，回歸函數(shù)是一次函數(shù)，例如：
- Y=f(X1, X2, X3)=aX1 + bX2 + cX3 + d
其中X1，X2，X3是訓(xùn)練樣本集中樣本的各個維度(feature)，a，b，c，d是模型的未知參數(shù)。
邏輯回歸(logistic regression)：將Y歸一化到[0, 1]區(qū)間。
總而言之，邏輯回歸是線性回歸的一種，線性回歸是回歸的一種。
二、線性回歸模型經(jīng)常是有效的
1. 線性回歸有什么用?
答：線性回歸的預(yù)測模型雖然是一元線性方程，但現(xiàn)實中很多應(yīng)用場景符合這個模型。
例如例子中商品的定價x與商品的銷量y之間的關(guān)系。一般來說價格越貴則銷量越低，價格越便宜則銷量越高，于是就能夠用y=ax+b這個評估模型來***化商家的收益：收益=定價*銷量=x*y=x*(ax+b)
2. 什么場景適用于線性回歸?
答：很多應(yīng)用場景不能夠使用線性回歸模型來進行預(yù)測，例如，月份和平均氣溫，平均氣溫并不隨著月份的增長呈線性增長或下降的趨勢。它常用于：
- 預(yù)測或分類，用于分類問題時，需要設(shè)定閾值區(qū)間，并提前知曉閾值區(qū)間與類別的對應(yīng)關(guān)系
- 線性問題，可以有多個維度(feature)
三、如何求解線性回歸中的維度參數(shù)?
在已知樣本集set的時候，如果根據(jù)樣本集得到Y(jié)=f(X1,X2,X3,…)=aX1+bX2+cX3+…中的未知參數(shù)a，b，c呢?
這得先介紹最小二乘法，以及梯度下降法。
1. 什么是最小二乘法?
答：最小二乘法適用于任意多維度的線性回歸參數(shù)求解，它可求解出一組***a，b，c解，使得對于樣本集set中的每一個樣本data，用Y=f(X1,X2,X3,…)來預(yù)測樣本，預(yù)測值與實際值的方差最小。
畫外音：方差是我們常見的估值函數(shù)(cost function)，用來評估回歸出來的預(yù)測函數(shù)效果。
2. 什么是梯度下降法?
答：最小二乘法實際上只定義了估值函數(shù)是方差，真正求解a，b，c的方法是梯度下降法，這是一個枚舉型的求解算法，其算法步驟如下：
(1)使用隨機的a0, b0, c0作為初始值
(2)分別求解***a, b, c…，對于每個維度參數(shù)的求解，步驟為(以a為例)：
- 設(shè)定a范圍的***值與最小值
- 設(shè)定a計算的梯度步長(這就是它叫梯度下降法的原因)
- 固定其他維度參數(shù)
- 計算a的所有取值中，使得估值函數(shù)最小的那個a即為所求
數(shù)學(xué)上可以證明：
(1)上述算法是可以收斂的(顯而易見)
(2)分別求出a，b，c的***值，組合起來就是整體的***值(沒這么明顯了)，這個結(jié)論是很重要的，假設(shè)樣本個數(shù)為n，計算a，b，c的算法復(fù)雜度都是線性的O(m)，這個結(jié)論讓算法的整體復(fù)雜度是n*O(m) +n*O(m) + n*O(m)，而不是[n*O(m) ]*[n*O(m)]*[n*O(m)]的關(guān)系。
畫外音：計算機非常適合干這個事情，確定范圍和梯度后，這是一個線性復(fù)雜度的算法。
四、再來個栗子說明
已知過去4個季度銷量與價格的數(shù)據(jù)樣本集為：
- 價格x為10時，銷量y為80
- 價格x為20時，銷量y為70
- 價格x為30時，銷量y為60
- 價格x為40時，銷量y為65
假設(shè)銷量y與價格x是線性關(guān)系：
- y=ax +b
- 假設(shè)a的范圍為[-2, 2]，a的梯度為1
- 假設(shè)b的范圍為[80, 120]，b的梯度為10
畫外音：計算機計算的時候，范圍會很大，梯度精度會很細(xì)。
求解***a和b的過程為：
(1)設(shè)a0=-2，b0=80，從最邊緣開始求解
a. 先求***a，固定b=80不動，a從-2到2梯度遞增，求***a的解
可以看到，a=-1時方差最小，故a=-1是***解。
b. 再求***b，固定2.1求出的***a=-1，b從80到120梯度遞增，求***b的解
可以看到，b=90時方差最小，故b=90是***解。
(3)得到***解a=-1，b=90，于是得到定價與銷量的關(guān)系是：y=-x+90
(4)最終得到
- 收益=定價*銷量=x*y=x*(-x+90)
于是，當(dāng)價格定在45元時，整體收益能夠***化。
五、總結(jié)
- 邏輯回歸是線性回歸的一種，線性回歸是回歸的一種
- 線性回歸可以用在預(yù)測或分類，多維度(feature)線性問題求解上
- 可以用最小二乘法，梯度下降法求解線性預(yù)測函數(shù)的系數(shù)
- 梯度下降法的核心步驟是：設(shè)置系數(shù)范圍，設(shè)定系數(shù)梯度，固定其他系數(shù)，對某一個系數(shù)窮舉求方差最小***解
希望這一分鐘，對線性回歸預(yù)測有了一點點了解。
【本文為專欄作者“58沈劍”原創(chuàng)稿件，轉(zhuǎn)載請聯(lián)系原作者】
文章題目：秒懂“線性回歸預(yù)測”
文章路徑：http://www.dlmjj.cn/article/dphopjg.html
