简单线性回归.ppt

《简单线性回归.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第一章1-1第10章簡單線性迴歸：最小平方法第一章2本章綜覽變異數分析不適合用來說明當某變數變動一單位時，另一變數變動的情形。本章將介紹另一種方法：迴歸分析(regressionanalysis)。迴歸分析:以數學和統計方法來確認一組變數中的系統性部分，並依此解釋過去的現象和預測未來。介紹單一變數的簡單線性迴歸模型(simplelinearregressionmodel)、最小平方法及其代數性質、衡量迴歸模型好壞的配適度指標等。第一章3簡單線性迴歸模型簡單線性迴歸模型：利用一個線性模型來捕捉{(Xi,Yi),i

2、=1,..,n}這組雙變量隨機變數中Yi的系統性部分g(Xi)。利用條件均數：E(Y

3、X)=g(X)=α+βX，其中α，β為未知參數，需要我們去估計。可以將Y表示為Y=α+βX+U,其中U代表不能由α+βX所描述的Y行為，亦即Y與線性模型之間的誤差。第一章4簡單線性迴歸模型迴歸模型中的變數Y稱作應變數(dependentvariable或regressand)變數X稱作解釋變數(explanatoryvariable或regressor)。參數α和β稱作迴歸係數(regressioncoefficient)。α:

4、截距項，β:斜率。線性迴歸中的「線性」二字是指模型為參數(而非變數)的線性函數。α+βX2,α+βlogX是線性迴歸模型。α+Xβ不是線性迴歸模型。第一章5最小平方法估計迴歸係數最常用的方法之一就是普通最小平方(ordinaryleastsquares)，又簡稱為最小平方法。最小平方法的「認定條件」是：Xi,i=1,2,…,n之值不為常數。除了上述認定條件之外，本章亦不對(Xi,Yi)的隨機機制作任何限制。第一章6最小平方法找α和β使模型誤差Ui的平方和極小。採用誤差平方和是為了避免正負誤差之間互相抵銷。目標函數

5、如下：最小平方法所找的就是使誤差平方和(或其平均)最小的那條直線。如果目標函數改變(如Ui的絕對值之和)，就會產生不同的迴歸線。第一章7簡單線性迴歸模型YX可能的迴歸線誤差誤差第一章8最小平方法為使目標函數之值最小，必須解出以下的一階條件(firstordercondition)。這兩個一階條件又稱作標準方程式(normalequations)。第一章9最小平方法可從標準方程式中求出α和β的解，稱作最小平方估計式(ordinaryleastsquaresestimator，簡稱OLSestimator)，一般以若

6、Xi為常數，，則根本無法計算，這是為什麼需要「認定條件」的原因。第一章10最小平方法將最小平方估計式代入設定的線性模型就可得到一條截距為，斜率為的直線，稱作估計的迴歸線(estimatedregressionline)。斜率係數估計式衡量X的邊際效果：當X變動一單位時，估計的迴歸線會預測應變數Y將變動個單位。截距係數則表示當X為0時，估計的迴歸線所預測的應變數Y。將樣本中的變數Xi代入估計的迴歸線，即可求得估計的應變數。第一章11最小平方法應變數Yi與估計所得到的應變數之間的差距稱為最小平方法的第i個殘差(res

7、idual)。估計的應變數之實現值稱為配適值(fittedvalue)，殘差的實現值稱為殘差值(residualvalue)。第一章12最小平方法的代數性質在Yi=α+βXi+Ui的典型模型設定下，最小平方法的殘差具有以下三種性質：以上的三條式子為一階條件的結果。在典型模型設定下，給定一組樣本觀察值之後，估計的迴歸線必然通過這一點。第一章13簡單線性迴歸模型之比較第一章14配適度的衡量不同的解釋變數可能都適合描述應變數Y的系統性部分。如果可以衡量迴歸線的配適度(goodnessoffit)，就可以選擇配適度較高的

8、迴歸線來描述應變數的系統性部分。所以配適度的衡量指標就可以作為比較不同迴歸模型的基準。例如：用坪數來解釋房價的配適度比用房間數來解釋房價的配適度高時，則前者是比較好的模型。第一章15配適度的衡量--平方和的分解以下為不受資料衡量單位影響的配適度指標的推導過程:上式中第一項稱為總平方和(TSS)，第二項為迴歸平方和(RSS)，第三項為殘差平方和(ESS)。第一章16配適度的衡量--平方和總平方和:應變數Yi在樣本平均數周圍之總變動量。迴歸平方和:估計的應變數Yi在其樣本平均數周圍之總變動量，也就是迴歸模型所能描述的

9、變動量。殘差平方和:最小平方法殘差的總變動量，即是迴歸模型無法捕捉的變動量。第一章17配適度的衡量--自由度由於總平方和的計算中用到了樣本平均數，等於在資料中加了一個限制條件，故總平方和的自由度為n-1。殘差來自最小平方法，必須服從兩條標準方程式的規範，因此損失了兩個自由度，故殘差平方和的自由度為n-2。總平方和自由度與殘差平方和自由度之差即為迴歸平方和之自由度，此處為1