최소 제곱법(OLS)

방정식에 대한 일반 최소 제곱법

최소 제곱법(OLS)을 더 일반적으로 지명 선형 회귀분석(단순하거나 여러의 수에 따라 설명변수).

p 설명 변수가있는 모델의 경우 OLS 회귀 모델은 다음과 같이 씁니다.

Y=β0+Σj=1..,p ßjXj+ε

여기서 Y 는 종속 변수 인 β0 이고 모델의 절편이며 X j 는 모델의 j 번째 설명 변수(j=1~p)에 해당하며 e 는 기대 0 과 분산 σ2 를 갖는 무작위 오차 입니다.

경우에있다 n 관찰,의 추정은 예측의 가치가 종속변수 Y i 번째 관찰에 의해 제공됩니다.

이순신=β0+Σj=1..P ßjXij

OLS 방법은 관찰 된 값과 예측 된 값 사이의 제곱 차이의 합을 최소화하는 데 해당합니다., 이 최소화는 다음과 같은 평가의 매개 변수 model:

어디 β 은 벡터의 추정기의 ßi 매개 변수 X 매트릭스의 설명변수 앞에는 벡터의 1s,y 은 벡터의 관찰된 값의 종속변수,p*수의 설명변수는 1 개를 추가하면 차단이 고정되지 않은,무선의 중량이 ith 관찰 W 의 합 wi 무게,D 는 매트릭스 wi 에 무게의 대각선.,

벡터의 예측 값을 다음과 같이 작성할 수 있습니다:

y=X(X’DX)-1X’Dy

제한의 적어도 일반 사각형 회귀분석

의 제한은 OLS 회귀분석에서 온 제약 조건의 반전의 X X matrix:그것은 필요한 순위의 행렬은 p+1, 일부 숫자 문제가 발생할 수 있습니다 매트릭스가 잘 되지 않 행동했습니다., XLSTAT 알고리즘을 사용으로 인해 뎀(1969)할 수 있는 우회 이러한 두 가지 문제가:는 경우 매트릭스 순위가 같 q q 은 엄격하게 보다 낮은 p+1,일부 변수가 제거되는 모델에서 하나 때문에 그들은 일정하기 때문에 또는 그들이 속한 블록의 선적 변수입니다.

Variable 에서 선택 OLS 회귀

는 자동 선택의 변수이 수행된 경우에는 사용자가 선택하는 너무 높은 변수의 수와 비교 관찰. 이론적 인 한계는 n-1 이며,더 큰 값과 마찬가지로 X’X 행렬은 반전 할 수 없게됩니다.,

삭제의 일부 변수가 있지만 최적화되지 않:어떤 경우에도 추가하지 변수 모델 때문에 그것은 거의 동일 선상하여 다른 변수 또는 블록의 변수이지만,그것은 될 수 있는 것에 더 관련 변수들을 제거하는 것은 이미 모델에 새로운 변수입니다.그 이유 때문에 설명 변수가 많은 경우를 처리하기 위해 다른 방법이 개발되었습니다.

예측

선형 회귀분석은 자주 사용하는 예측하는 출력 값에 대한 새로운 샘플입니다., XLSTAT 당신이 ahaed 가서 예측 사용을 위해 사용하기 전에 예측을위한 모델의 품질을 특성화 할 수 있습니다.