最小二乘估計法的數學依據是什麼

A. 最小二乘法的原理是什麼怎麼使用

最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。

在我們研究兩個變數（x,y）之間的相互關系時，通常可以得到一系列成對的數據（x1,y1.x2,y2... xm,ym）；將這些數據描繪在x -y直角坐標系中，若發現這些點在一條直線附近，可以令這條直線方程如（式1-1）。

最小時，可用函數 φ 對a0、a1求偏導數，令這兩個偏導數等於零。

∑2(a0 + a1*Xi - Yi）=0（式1-4)

∑2Xi（a0 +a1*Xi - Yi）=0（式1-5)

亦即：

na0 + （∑Xi ) a1 = ∑Yi （式1-6)

（∑Xi ) a0 + （∑Xi^2 ) a1 = ∑（Xi*Yi) （式1-7)

得到的兩個關於a0、 a1為未知數的兩個方程組，解這兩個方程組得出：

a0 = （∑Yi) / n - a1（∑Xi) / n （式1-8)

a1 = [n∑(Xi Yi) - （∑Xi ∑Yi)] / (n∑Xi^2 -∑Xi∑Xi)（式1-9)

這時把a0、a1代入（式1-1）中， 此時的(式1-1）就是我們回歸的一元線性方程即：數學模型。

在回歸過程中，回歸的關聯式不可能全部通過每個回歸數據點（x1,y1. x2,y2...xm,ym），為了判斷關聯式的好壞，可藉助相關系數「R」，統計量「F」，剩餘標准偏差「S」進行判斷；「R」越趨近於 1 越好；「F」的絕對值越大越好；「S」越趨近於 0 越好。

R = [∑XiYi - m （∑Xi / m）（∑Yi / m)]/ SQR{[∑Xi2 - m （∑Xi / m)2][∑Yi2 - m （∑Yi / m)2]} （式1-10) *

在（式1-10）中，m為樣本容量，即實驗次數；Xi、Yi分別為任意一組實驗數據X、Y的數值。

B. 最小二乘法的原理是什麼

y和x的關系擬合為線性關系，所有的樣本點都在這條直線周圍，每個點都與此直線有一定的距離，所有的距離平方和，求其最小的時候相應的該直線的斜率，即最小二乘估計。

C. 什麼是最小二乘法及其原理

最小二乘法（又稱最小平方法）是一種數學優化技術。

它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。

最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。

原理：

在我們研究兩個變數（x,y）之間的相互關系時，通常可以得到一系列成對的數據（x1,y1.x2,y2... xm,ym）；將這些數據描繪在x -y直角坐標系中，若發現這些點在一條直線附近，可以令這條直線方程如（式1-1）。

最小時，可用函數 φ 對a0、a1求偏導數，令這兩個偏導數等於零。

∑2(a0 + a1*Xi - Yi）=0（式1-4)

∑2Xi（a0 +a1*Xi - Yi）=0（式1-5)

亦即：na0 + （∑Xi ) a1 = ∑Yi （式1-6)

（∑Xi ) a0 + （∑Xi^2 ) a1 = ∑（Xi*Yi) （式1-7)

得到的兩個關於a0、 a1為未知數的兩個方程組，解這兩個方程組得出：

a0 = （∑Yi) / n - a1（∑Xi) / n （式1-8)

a1 = [n∑(Xi Yi) - （∑Xi ∑Yi)] / (n∑Xi^2 -∑Xi∑Xi)（式1-9)

這時把a0、a1代入（式1-1）中， 此時的(式1-1）就是我們回歸的一元線性方程即：數學模型。

在回歸過程中，回歸的關聯式不可能全部通過每個回歸數據點（x1,y1. x2,y2...xm,ym），為了判斷關聯式的好壞，可藉助相關系數「R」，統計量「F」，剩餘標准偏差「S」進行判斷；「R」越趨近於 1 越好；「F」的絕對值越大越好；「S」越趨近於 0 越好。

R = [∑XiYi - m （∑Xi / m）（∑Yi / m)]/ SQR{[∑Xi2 - m （∑Xi / m)2][∑Yi2 - m （∑Yi / m)2]} （式1-10) *

在（式1-10）中，m為樣本容量，即實驗次數；Xi、Yi分別為任意一組實驗數據X、Y的數值。

D. 最小二乘法原理及應用

最小二乘法是一種數學優化技術，它通過最小化誤差的平方和找到一組數據的最佳函數匹配。
最小二乘法是用最簡的方法求得一些絕對不可知的真值，而令誤差平方之和為最小。
最小二乘法通常用於曲線擬合。很多其他的優化問題也可通過最小化能量或最大化熵用最小二乘形式表達。
比如從最簡單的一次函數y=kx+b講起
已知坐標軸上有些點(1.1,2.0),(2.1,3.2),(3,4.0),(4,6),(5.1,6.0),求經過這些點的圖象的一次函數關系式.
當然這條直線不可能經過每一個點,我們只要做到5個點到這條直線的距離的平方和最小即可,這這就需要用到最小二乘法的思想.然後就用線性擬合來求.講起來一大堆。

E. 最小二乘法計算公式是什麼

最小二乘法公式是一個數學的公式，在數學上稱為曲線擬合，此處所講最小二乘法，專指線性回歸方程！最小二乘法公式為a=y(平均)-b*x（平均）。

最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。

(5)最小二乘估計法的數學依據是什麼擴展閱讀：

普通最小二乘估計量具有上述三特性：

1、線性特性

所謂線性特性，是指估計量分別是樣本觀測值的線性函數，亦即估計量和觀測值的線性組合。

2、無偏性

無偏性，是指參數估計量的期望值分別等於總體真實參數。

3、最小方差性

所謂最小方差性，是指估計量與用其它方法求得的估計量比較，其方差最小，即最佳。最小方差性又稱有效性。這一性質就是著名的高斯一馬爾可夫（ Gauss-Markov）定理。這個定理闡明了普通最小二乘估計量與用其它方法求得的任何線性無偏估計量相比，它是最佳的。

F. 最小二乘法的原理是什麼的

最小二乘大約是1795年高斯在他那星體運動軌道預報工作中提出的[1]。後來，最小二乘法就成了估計理論的奠基石。由於最小二乘法結構簡單，編製程序也不困難，所以它頗受人們重視，應用相當廣泛。
如用標准符號，最小二乘估計可被表示為：
ax=b
(2-43)
上式中的解是最小化
，通過下式中的偽逆可求得：
a'ax=a'b
(2-44)
(a'a)^(-1)a'ax=(a'a)^(-1)a'b
(2-45)
由於
(a'a)^-1a'a=i
(2-46)
所以有
x=(a'a)^(-1)a'b
(2-47)
此即最小二乘的一次完成演算法，現代的遞推演算法，更適用於計算機的在線辨識。
最小二乘是一種最基本的辨識方法，但它具有兩方面的缺陷[1]：一是當模型雜訊是有色雜訊時，最小二乘估計不是無偏、一致估計；二是隨著數據的增長，將出現所謂的「數據飽和」現象。針對這兩個問題，出現了相應的辨識演算法，如遺忘因子法、限定記憶法、偏差補償法、增廣最小二乘、廣義最小二乘、輔助變數法、二步法及多級最小二乘法等。

G. 最小二乘法原則

普通最小二乘法（Ordinary Least Square，簡稱OLS），是應用最多的參數估計方法，也是從最小二乘原理出發的其他估計方法的基礎。
在已經獲得樣本觀測值 （i=1,2,…,n）的情況下（見圖2.2.1中的散點），假如模型（2.2.1）的參數估計量已經求得到，為 和 ，並且是最合理的參數估計量，那麼直線方程（見圖2.2.1中的直線）
i=1,2,…,n (2.2.2)
應該能夠最好地擬合樣本數據。其中 為被解釋變數的估計值，它是由參數估計量和解釋變數的觀測值計算得到的。那麼，被解釋變數的估計值與觀測值應該在總體上最為接近，判斷的標準是二者之差的平方和最小。

(2.2.3)
為什麼用平方和？因為二者之差可正可負，簡單求和可能將很大的誤差抵消掉，只有平方和才能反映二者在總體上的接近程度。這就是最小二乘原則。那麼，就可以從最小二乘原則和樣本觀測值出發，求得參數估計量。
由於

是 、 的二次函數並且非負，所以其極小值總是存在的。根據羅彼塔法則，當Q對 、 的一階偏導數為0時，Q達到最小。即
(2.2.4)

容易推得特徵方程：

解得：
（2.2.5）
所以有： （2.2.6）
於是得到了符合最小二乘原則的參數估計量。
為減少計算工作量，許多教科書介紹了採用樣本值的離差形式的參數估計量的計算公式。由於現在計量經濟學計算機軟體被普遍採用，計算工作量已經不是什麼問題。但離差形式的計算公式在其他方面也有應用，故在此寫出有關公式，不作詳細說明。記

（2.2.6）的參數估計量可以寫成
(2.2.7)
至此，完成了模型估計的第一項任務。下面進行模型估計的第二項任務，即求隨機誤差項方差的估計量。記 為第i個樣本觀測點的殘差，即被解釋變數的估計值與觀測值之差。則隨機誤差項方差的估計量為
(2.2.8)
在關於 的無偏性的證明中，將給出（2.2.8）的推導過程，有興趣的讀者可以參考有關資料。
在結束普通最小二乘估計的時候，需要交代一個重要的概念，即「估計量」和「估計值」的區別。由（2.2.6）給出的參數估計結果是由一個具體樣本資料計算出來的，它是一個「估計值」，或者「點估計」，是參數估計量 和 的一個具體數值；但從另一個角度，僅僅把（2.2.6）看成 和 的一個表達式，那麼，則是 的函數，而 是隨機變數，所以 和 也是隨機變數，在這個角度上，稱之為「估計量」。在本章後續內容中，有時把 和 作為隨機變數，有時又把 和 作為確定的數值，道理就在於此。