rendes legkisebb négyzetek regresszió (OLS)

egyenletek a rendes legkisebb négyzetek regresszió

rendes legkisebb négyzetek regresszió (OLS) gyakrabban nevezik lineáris regresszió (egyszerű vagy többszörös számától függően magyarázó változók).

p magyarázó változókkal rendelkező modell esetén az OLS regressziós modell írja:

Y = β0 + Σj=1..,p ßjXj + ε

ahol Y a függő változó, β0, a modell metszete, X j a modell JTH magyarázó változójának felel meg (j= 1-P), e pedig a 0-as várakozással és σ2 varianciával rendelkező véletlen hiba.

abban az esetben, ha n megfigyelések vannak, az Y függő változó becsült értékének becslését az I. megfigyelésre a következők adják:

Yi = β0 + Σj=1..p ßjXij

az OLS-módszer a megfigyelt és az előre jelzett értékek közötti négyzetkülönbségek összegének minimalizálását jelenti., Ez a minimalizálás a modell paramétereinek következő becsléseihez vezet:

ahol β a ß paraméterek becslőinek vektorja, X a magyarázó változók mátrixa, amelyet 1s vektor előz meg, y a függő változó n megfigyelt értékeinek vektora, p* a magyarázó változók száma, amelyhez hozzáadunk 1 ha az elfogó nincs rögzítve, wi az I. megfigyelés súlya, W pedig a wi súlyok összege,D pedig egy mátrix, amelynek átlója a wi súlyokkal rendelkezik.,

A vektor a becsült értékeket lehet írni, a következőképpen:

y = X (X’ DX)-1 X ‘Dy

a Korlátozás a Közönséges Legkisebb Négyzetek regressziós

A korlátozások a OLS regressziós jött a kényszer az inverzió az X’ X mátrix: szükséges, hogy a rangsorban a mátrix p+1, néhány numerikus problémák merülhetnek fel, ha a mátrix nem jól viselkedett., Az XLSTAT a Dempster (1969) miatt algoritmusokat használ, amelyek lehetővé teszik e két probléma megkerülését: ha a mátrix rang megegyezik a q-val, ahol a q szigorúan alacsonyabb, mint a p+1, akkor néhány változót eltávolítanak a modellből, akár azért, mert állandóak, akár azért, mert a kollineáris változók egy blokkjához tartoznak.

változó kiválasztása az OLS regresszióban

a változók automatikus kiválasztása akkor történik, ha a felhasználó túl nagy számú változót választ ki a megfigyelések számához képest. Az elméleti határérték n-1, mivel nagyobb értékeknél az X ‘ X mátrix nem fordíthatóvá válik.,

egyes változók törlése azonban nem lehet optimális: egyes esetekben előfordulhat, hogy nem adunk hozzá változót a modellhez, mert szinte egybeesik más változókkal vagy változók blokkjával, de lehet, hogy relevánsabb lenne egy olyan változó eltávolítása, amely már szerepel a modellben és az új változóban.

ezért, valamint annak érdekében, hogy kezelni lehessen azokat az eseteket, amikor sok magyarázó változó létezik, más módszereket fejlesztettek ki.

becslés

a lineáris regressziót gyakran használják az új minták kimenetek értékeinek előrejelzésére., XLSTAT lehetővé teszi, hogy jellemezze a minősége a modell jóslás, mielőtt elmész ahaed használja prediktív használatra.