Almindelig Mindste Kvadraters regression (OLS)

Ligninger for Almindelig Mindste Kvadraters regression

Almindelig Mindste Kvadraters regression (OLS) er mere almindeligt navn lineær regression (enkel eller flere, afhængigt af antallet af forklarende variabler).

i tilfælde af en model med p forklarende variabler, OLS regression model skriver:

Y =00 +jj = 1..,p ßjXj + ε

hvor Y er den afhængige variabel, β0, er skæringspunktet af den model, X j, svarer til den jth forklarende variabel i modellen (j= 1-p), og e er den tilfældige fejl med forventning 0 og varians σ2.

i det tilfælde, hvor der er n-observationer, estimeres den forudsagte værdi af den afhængige variabel Y for ith-observationen ved:

yi =00 +jj = 1..P ßj .ij

OLS-metoden svarer til at minimere summen af firkantede forskelle mellem de observerede og forudsagte værdier., Denne minimering fører til følgende estimatorer af modellens parametre:

hvor β er en vektor af estimatorer af ßi parametre, X er en matrix af forklarende variabler, der indledes med en vektor af 1s, y er en vektor af n observerede værdier af den afhængige variabel, s* er antallet af forklarende variabler, som vi tilføje 1, hvis skæringen er ikke fast, wi er vægten af den i ‘ te observation, og W er summen af wi-vægte, og D er en matrix med wi-vægte på sin diagonal.,

en vektor af de forudsagte værdier kan skrives som følger:

y = X (X, DX)-1 X’Dy

Begrænsning af Almindelig Mindste Kvadraters regression

De begrænsninger af OLS regression kommer fra den begrænsning af inversion af X ‘ X matrix: det er et krav, at den rang af matrix er p+1, og nogle numeriske problemer kan opstå, hvis matrix er ikke opførte sig godt., XLSTAT benytter algoritmer på grund af Dempster (1969), der tillader at omgå disse to spørgsmål: hvis matrix rang lig med q, hvor q er strengt lavere end p+1, nogle variabler, der er fjernet fra modellen, fordi de enten er konstant eller fordi de hører til en blok af collinear variabler.

Variabelvalg i OLS-regressionen

udføres et automatisk valg af variablerne, hvis brugeren vælger et for højt antal variabler sammenlignet med antallet af observationer. Den teoretiske grænse er n-1, Da greater ‘ Matri-Matri .en med større værdier bliver ikke-inverterbar.,

sletning af nogle af de variabler, kan dog ikke være optimal: i nogle tilfælde kan vi ikke tilføje en variabel til modellen, fordi det er næsten collinear til nogle andre variabler eller til en gruppe af variabler, men det kan være, at det ville være mere relevant at fjerne en variabel, der allerede er i modellen, og at den nye variabel.

af den grund, og også for at håndtere de tilfælde, hvor der er mange forklarende variabler, er andre metoder blevet udviklet.

forudsigelse

lineær regression bruges ofte til at forudsige Udgangenes værdier for nye prøver., XLSTAT giver dig mulighed for at karakterisere kvaliteten af modellen til forudsigelse, før du går ahaed og bruge den til forudsigelig brug.