metoda nejmenších Čtverců regrese (OLS)

Rovnice pro běžná metoda nejmenších Čtverců, regresní

metoda nejmenších Čtverců regrese (OLS) je více obyčejně jménem lineární regrese (jednoduchá nebo více v závislosti na počtu vysvětlujících proměnných).

v případě modelu s proměnnými P, MODEL OLS regresní zapíše:

Y = β0 + Σj=1..,p ßjXj + ε

, kde Y je závislá proměnná, β0 je intercept modelu, X j odpovídá j-té vysvětlující proměnné modelu (j= 1 až p), a e je náhodná chyba s očekáváním 0 a rozptyl σ2.

v případě pozorování n je odhad předpokládané hodnoty závislé proměnné Y pro pozorování ith dán:

yi = β0 + Σj=1..p ßjXij

metoda OLS odpovídá minimalizaci součtu čtvercových rozdílů mezi pozorovanými a předpokládanými hodnotami., Tato minimalizace vede k následující odhady parametrů modelu:

kde β je vektor odhadů z ßi parametrů, X je matice vysvětlujících proměnných předchází vektor 1s, y je vektor n pozorovaných hodnot závislá proměnná,* p je počet vysvětlujících proměnných, na které jsme přidat 1 pokud intercept není stanovena, wi je váha i-tého pozorování, a W je součet wi hmotnosti, a D je matice s wi závaží na její diagonále.,

vektor předpokládané hodnoty lze zapsat takto:

y = X (X‘ DX)-1 X ‚Dy

Omezení Běžných nejmenších Čtverců regrese

omezení OLS regrese pochází z omezení inverze X‘ X matice: je nutné, že hodnost matice je p+1, a některé numerické problémy mohou nastat v případě, že matice není dobře vychovaný., XLSTAT používá algoritmy vzhledem k Dempster (1969), které umožňují obcházení tyto dvě otázky: je-li hodnost matice se rovná q, kde q je přísně nižší než p+1, některé proměnné jsou odstraněny z modelu, protože jsou buď konstantní, nebo proto, že patří do bloku kolineárních proměnných.

Variabilní výběr v OLS regrese

automatický výběr proměnných je provedena, pokud uživatel vybere příliš vysoký počet proměnných ve srovnání s počtem pozorování. Teoretický limit je n-1, stejně jako u větších hodnot se matice X ‚ X stává neinvertovatelnou.,

mazání některých proměnných, mohou však není optimální: v některých případech můžeme přidat proměnnou do modelu, protože to je téměř kolineární na nějaké jiné proměnné nebo do bloku proměnných, ale to by mohlo být, že by bylo více relevantní odstranit proměnnou, která je již v modelu a do nové proměnné.

z tohoto důvodu a také za účelem zvládnutí případů, kdy existuje mnoho vysvětlujících proměnných, byly vyvinuty další metody.

predikce

lineární regrese se často používá k predikci hodnot výstupů pro nové vzorky., XLSTAT vám umožní charakterizovat kvalitu modelu pro predikci, než půjdete ahaed a použít jej pro prediktivní použití.