pienimmän Neliösumman regressio (OLS)

Yhtälöt pienimmän Neliösumman regressio

Tavallinen pienimmän Neliösumman regressio (OLS) on yleisesti nimetty lineaarinen regressio (yksinkertainen tai useita riippuen määrä selittäviä muuttujia).

kyseessä on malli, jossa p selittäviä muuttujia, OLS regressio malli kirjoittaa:

Y = β0 + Σj=1..,p ßjXj + ε

missä Y on riippuva muuttuja, β0, on siepata malli, X j vastaa jth selittävä muuttuja malli (j= 1 p), ja e on satunnainen virhe odotusarvo 0 ja varianssi σ2.

tapauksessa, jossa on n havainnot, arviointi ennustettu arvo riippuvainen muuttuja Y i: s havainto on annettu:

yi = β0 + Σj=1..p ßjXij

OLS-menetelmä vastaa minimoi summan neliö eroja havaittujen ja ennustettujen arvojen., Tämä minimointi johtaa seuraavat estimaattoreita parametrit malli:

missä β on vektori estimaattoreita parametrit ßi, X on matriisi selittävät muuttujat edeltää vektori 1s, y on vektori n havaitut arvot riippuva muuttuja, p* on useita selittäviä muuttujia, joihin lisäämme 1, jos kohtaamiseen ei ole kiinteä, wi on paino i: s havainto, ja W on summa wi painoja, ja D on matriisi, jossa wi painot sen lävistäjä.,

vektori ennustetut arvot voidaan kirjoittaa seuraavasti:

y = X (X’ DX)-1 X ’Dy

rajoitettu pienimmän Neliösumman regressio

rajoitukset OLS regressio tulevat rajoite käänteismuunnos X’ X-matriisin: se edellyttää, että sijoitus matriisi on p+1, ja joitakin numeerisia ongelmia voi syntyä, jos matriisi ei ole hyvin käyttäytyviä., XLSTAT käyttää algoritmeja, koska Dempster (1969), joiden avulla kiertää nämä kaksi asiaa: jos matriisi listalla on yhtä kuin q, missä q on ehdottomasti pienempi kuin p+1, joitakin muuttujia poistetaan mallista, joko koska ne ovat jatkuvasti tai koska he kuuluvat lohkon collinear muuttujia.

Muuttujan valinta OLS regressio

automaattinen valinta muuttujien suoritetaan, jos käyttäjä valitsee liian suuri määrä muuttujia verrattuna havaintojen määrä. Teoreettinen raja on n-1, sillä suuremmilla arvoilla X ’ X-matriisi muuttuu Ei-invertoitavaksi.,

poistaminen joitakin muuttujia voi kuitenkin olla optimaalinen: joissakin tapauksissa emme ehkä lisätä muuttujan malli, koska se on lähes samalla suoralla joitakin muita muuttujia tai estää muuttujia, mutta se saattaa olla että se olisi enemmän merkitystä poistaa muuttuja, joka on jo malli ja uusi muuttuja.

tästä syystä, ja myös voidakseen käsitellä tapauksia, joissa on paljon selittäviä muuttujia, muita menetelmiä on kehitetty.

ennustetta

lineaarista regressiota käytetään usein uusien näytteiden tuotosten arvojen ennustamiseen., XLSTATIN avulla voit luonnehtia ennustemallin laatua ennen kuin menet ahaediin ja käytät sitä ennakoivaan käyttöön.