mai mici Pătrate Ordinare de regresie (OLS)

Ecuații pentru cele mai mici Pătrate Ordinare de regresie

mai mici Pătrate Ordinare de regresie (OLS) este mai frecvent numit regresie liniară (simplă sau multiplă, în funcție de numărul de variabile explicative).

În cazul unui model cu variabile explicative p, modelul de regresie OLS scrie:

Y = β0 + Σj = 1..,p ßjXj + ε

în cazul în care Y este variabila dependentă, β0, este de interceptare a modelului, X j corespunde j față variabilă explicativă a modelului (j= 1 p), iar e este eroarea aleatorie cu așteptările 0 și varianță σ2.în cazul în care există n observații, estimarea valorii prezise a variabilei dependente Y pentru observația a i-a este dată de:

yi = β0 + Σj=1..p ßjXij

metoda OLS corespunde minimizării sumei diferențelor pătrate dintre valorile observate și cele prezise., Această minimizare conduce la următoarele estimatorii parametrilor din model:

în cazul în care β este vectorul estimatorilor de ßi parametrii, X este matricea variabilelor explicative precedată de un vector de 1s, y este vectorul celor n valori observate ale variabilei dependente, p* este numărul de variabile explicative la care se adauga 1 dacă interceptarea nu este fixă, la internet este greutatea ith observare, și W este suma wi greutăți, iar D este o matrice cu wi greutăți pe diagonală.,

vectorul de valorile prezise poate fi scris după cum urmează:

y = X (X’ DX)-1 X ‘Dy

Limitare de cele mai mici Pătrate Ordinare de regresie

limitări de regresie OLS vin din constrângere de inversiune a X’ X matrice: este necesar ca rangul matricei este p+1, și unele probleme numerice pot apărea dacă matricea nu este bine s-au comportat., XLSTAT utilizează algoritmi din cauza Dempster (1969), care permit eludarea acestor două probleme: dacă matricea de rang egal cu q unde q este strict mai mic decât p+1, unele variabile sunt eliminate din model, fie pentru că acestea sunt constante sau pentru că aparțin unui bloc de coliniare variabile.

selecție variabilă în regresia OLS

o selecție automată a variabilelor este efectuată dacă utilizatorul selectează un număr prea mare de variabile în comparație cu numărul de observații. Limita teoretică este n-1, deoarece cu valori mai mari matricea X ‘ X devine non-inversibilă.,cu toate acestea, ștergerea unora dintre variabile poate să nu fie optimă: în unele cazuri s-ar putea să nu adăugăm o variabilă modelului, deoarece este aproape coliniară la alte variabile sau la un bloc de variabile, dar ar putea fi mai relevant să eliminăm o variabilă care este deja în model și la noua variabilă.din acest motiv ,și, de asemenea, pentru a gestiona cazurile în care există o mulțime de variabile explicative, au fost dezvoltate alte metode.

predicție

regresia liniară este adesea folosită pentru a prezice valorile ieșirilor pentru eșantioane noi., XLSTAT vă permite să caracterizați calitatea modelului de predicție înainte de a merge ahaed și să-l utilizați pentru utilizare predictivă.