通常最小二乗回帰(OLS)

通常最小二乗回帰の方程式

通常最小二乗回帰(OLS)は、より一般的に線形回帰(説明変数の数に応じて単純または多重)と呼ばれます。

pの説明変数を持つモデルの場合、OLS回帰モデルは次のように書きます。

Y=β0+Βj=1。.,pβjxj+γ

ここで、Yは従属変数β0、モデルの切片、X jはモデルのj番目の説明変数(j=1からp)に対応し、eは期待値0と分散σ2を持つランダム誤差です。

n個の観測値がある場合、i番目の観測値に対する従属変数Yの予測値の推定は、次のように与えられます。

yi=β0+Βj=1。.pθjxij

OLS法は、観測値と予測値の間の二乗差の和を最小化することに対応します。,

ここで、βはσiパラメータの推定量のベクトル、Xは1sのベクトルが先行する説明変数の行列、yは従属変数のn個の観測値のベクトル、p*は切片が固定されていない場合に1を加算する説明変数の数、wiはi番目の観測値の重み、Wはwi重みの合計、Dはwi重みを対角線上に持つ行列である。,

予測値のベクトルは次のように書くことができます。

y=X(X’DX)-1X’Dy

通常の最小二乗回帰の制限

OLS回帰の制限は、x’X行列の反転の制約から来ています。行列の階数がp+1であることが必要であり、行列がうまく動作しない場合にはいくつかの数値問題が発生する可能性があります。, XLSTATは、Dempster(1969)によるアルゴリズムを使用して、これら二つの問題を回避することができます：行列のランクがqに等しく、qがp+1より厳密に低い場合、いくつかの変数は、それらが定数であるか、または共線変数のブロックに属するために、モデルから削除されます。

OLS回帰における変数選択

ユーザーが観測値の数と比較して多すぎる変数を選択した場合、変数の自動選択が実行されます。 理論上の限界はn-1であり、値が大きいほどX’X行列は可逆ではなくなります。,

しかし、いくつかの変数の削除は最適ではないかもしれません：いくつかのケースでは、他の変数や変数のブロックにほとんど同一線上にあるため、モデルに変数を追加しないかもしれませんが、すでにモデル内にある変数と新しい変数を削除する方が関連性があるかもしれません。

そのため、また、説明変数が多い場合にも対応するために、他の方法が開発されています。

予測

線形回帰は、多くの場合、新しいサンプルの出力値を予測するために使用されます。, XLSTATを使用すると、予測のためのモデルの品質を評価して、それを予測用に使用することができます。