Ordinário dos mínimos Quadrados regressão (OLS)

Equações para o processo de mínimos Quadrados regressão

Ordinário dos mínimos Quadrados regressão (OLS) é mais comumente chamado de regressão linear (simples ou múltipla, dependendo do número de variáveis explicativas).

no caso de um modelo com variáveis explicativas p, o modelo de regressão OLS escreve:

Y = β0 + Σj=1..,p ßjXj + ε

onde Y é a variável dependente, β0 é o intercepto do modelo, X j corresponde ao jth variável explicativa do modelo (j= 1 a p), e e é o erro aleatório com a expectativa de 0 e variância σ2.

no caso de existirem observações em n, A estimativa do valor previsto da variável dependente Y para a observação I é dada por:

yi = β0 + Σj=1..p ßjXij

O método OLS corresponde a minimizar a soma das diferenças quadradas entre os valores observados e previstos., Esta minimização leva aos seguintes estimadores dos parâmetros do modelo:

, onde β é o vetor de estimadores do ßi parâmetros, X é a matriz das variáveis explicativas precedido por um vetor de 1s, y é o vector dos n valores observados da variável dependente, p* é o número de variáveis explicativas para a qual vamos adicionar 1 se a interseção não é fixo, wi é o peso da i-ésima observação, e W é a soma dos pesos wi, e D é uma matriz com os pesos wi, em sua diagonal.,

O vetor dos valores previstos pode ser escrito da seguinte forma:

y = X (X’ DX)-1 X’Dy

Limitação do processo de mínimos Quadrados regressão

As limitações da regressão OLS vir a partir da restrição da inversão do X X matriz: é necessário que o posto da matriz é p+1, e alguns problemas numéricos podem surgir se a matriz não é bem comportado., XLSTAT usa algoritmos devido a Dempster (1969) que permitem burlar a estas duas questões: se a matriz de classificação é igual a q, onde q é estritamente menor do que p+1, algumas variáveis são removidas do modelo, porque eles são constantes, ou porque pertencem a um bloco de variáveis colineares.

seleção variável na regressão OLS

uma seleção automática das variáveis é realizada se o usuário seleciona um número muito elevado de variáveis em comparação com o número de observações. O limite teórico é n-1, como com valores maiores a matriz X’X torna-se não-invertível.,

A exclusão de algumas variáveis pode, no entanto, não ser a ideal: em alguns casos, não podemos adicionar uma variável para o modelo, pois ele é quase collinear para algumas outras variáveis ou para um bloco de variáveis, mas pode ser que seria mais relevante para remover uma variável que já está no modelo e para a nova variável.

Por essa razão, e também a fim de lidar com os casos em que há um monte de variáveis explicativas, outros métodos foram desenvolvidos.

a previsão

regressão Linear é frequentemente utilizada para prever os valores das saídas para novas amostras., O XLSTAT permite-lhe caracterizar a qualidade do modelo para a previsão antes de O usar para o uso preditivo.