重回帰分析 — いくつかの変数から予測する
勉強時間だけで予測したときと、睡眠時間も加えたとき。同じデータでも、勉強時間の係数が変わることがあります。
重回帰分析 — 複数の変数で予測する
説明変数が一つなら直線、二つなら3D空間の平面になります。まずは比較パネルで係数の変化を見てみましょう。ここでは架空のデータを使います。係数を因果効果と読めるかどうかは、別の検討が必要です。
- 相関が−0.5の設定で、二つのβ₁を見比べます。
- 相関の設定を0にしてみます。差は小さくなりやすいですが、標本によるばらつきは残ります。
- 相関を+0.5にすると、差の向きはどう変わるでしょうか。再生成して確かめてみます。
- R²も比較します。同じデータへの当てはまりは、変数を加えても悪くなりません。未知のデータでの予測がよくなるとは限りません。
▶ 単回帰 vs 重回帰 — β₁が変わる瞬間
- Step 1: 3Dグラフをドラッグして回転。半透明の面が回帰平面——データ点がこの面に沿って並んでいる。
- Step 2: 勉強時間のスライダーを動かす → 予測点が平面の「x₁方向」に移動。傾き = β₁。
- Step 3: 睡眠時間も動かす → 「x₂方向」に移動。傾き = β₂。2つの変数それぞれの貢献が見える。
- Step 4: 再サンプリングを数回押す → β₁, β₂, R²が毎回少し変わる。推定値にも「ばらつき」がある。
// 変数を加えると、なぜ係数が変わる?
上のパネルは、勉強時間と睡眠時間に相関を持たせた架空のデータです。成績は「40 + 3 × 勉強時間 + 2 × 睡眠時間 + ノイズ」で作っています。
勉強時間だけで予測すると、勉強時間と一緒に変わる睡眠時間の分も、一本の傾きに含まれます。負の相関がある設定では、単回帰の係数は、生成に使った3より小さくなる傾向があります。
重回帰の偏回帰係数は、ほかの説明変数を同じ値にそろえたときの、予測値の差を表します。睡眠時間を加えると、勉強時間の係数が生成に使った3に近づく様子を見られます。ただし、標本やノイズによって値は変わります。
変数を加えれば因果関係が分かる、ということではありません。現実のデータで因果効果と読むには、交絡要因の選び方や測定、モデルの仮定を別に検討する必要があります。
相関の設定を0にすると、二つの係数は近づきやすくなります。有限の標本なので、完全に一致するとは限りません。
// ここで使われる公式
各パーツの役割
・β₀(切片):すべての変数が0のときの予測値。ベースライン
・β₁x₁:「x₂ を固定したまま x₁ が1増えたら y がいくつ変わるか」× x₁ の値
・β₂x₂:同様に「x₁ を固定したまま x₂ が1増えたら」の貢献分
単回帰との違い
・単回帰のβ₁:x₁だけから予測するときの傾き
・重回帰のβ₁:モデル上でx₂を同じ値にそろえたときの、x₁に対する傾き
・生成時の相関を0にすると二つの係数は近づきやすいが、標本による差は残る
幾何的イメージ
・2変数なら予測面は平面(3Dグラフの半透明の面)。データ点と平面の成績方向の差(残差)の二乗和が最小になる傾きを選ぶ
// 手を動かしてみよう — 具体例
架空の30人の成績を予測する計算例です。以下の値は説明用で、上のパネルとは連動しません。
① まず平均を確認
勉強時間の平均 = 5.0h、睡眠時間の平均 = 7.0h、点数の平均 = 65点
勉強と睡眠の相関 r = −0.45(たくさん勉強するほど睡眠が短い)
② 単回帰 y ~ x₁(勉強時間だけ)
β₁ = +2.4 点/h、R² = 0.32
→ 勉強時間が1時間長いと、予測値は2.4点高い
③ 重回帰 y ~ x₁ + x₂(睡眠時間を追加)
β₁ = +3.1 点/h、β₂ = +2.0 点/h、R² = 0.57
→ 同じ睡眠時間で比べるモデルでは、勉強時間の係数は3.1
④ なぜ変わった?
この例では、勉強時間と睡眠時間に負の相関がある。
睡眠時間も含めて予測することで、勉強時間の係数が変わった。
この違いだけから、勉強や睡眠の因果効果を決めることはできない。
⑤ 予測してみる
β₀ は ȳ − β₁x̄₁ − β₂x̄₂ = 65 − 3.1×5 − 2.0×7 = 35.5 と決まる(OLS回帰は必ず平均点を通る)。
勉強6h・睡眠7hの学生 → ŷ = 35.5 + 3.1×6 + 2.0×7 = 35.5 + 18.6 + 14.0 = 68.1点
β₀ は「勉強0h・睡眠0hの仮想スコア」で、ここでは直感的な意味を持たない(外挿に注意)。
// よくある誤解
「勉強時間(0〜10時間)」と「睡眠時間(4〜10時間)」ではスケールが違う。係数の大きさを比べるには標準化偏回帰係数(どちらも標準偏差1に揃えた係数)を使う必要がある。
R² は変数を増やせば必ず上がるが、自由度調整済み R² は下がることがある。不要な変数はノイズを増やして推定を不安定にする。上のシミュレーションで、係数がほぼ0の変数があるなら、それは不要かもしれない。
「勉強時間」と「図書館にいた時間」のように強く相関する2変数を同時に入れると、個々の係数がガタつく(片方の符号が逆転することも)。VIF > 10 が危険信号。
// よく出会う形
重回帰のまわりでは、係数の解釈と検定の対比が同じ形で繰り返し顔を出します。
- 偏回帰係数の絵:β₁ = 3 のとき、「x₂ を固定したまま x₁ を1増やすと y が平均3増える」という形に読める。「他の変数を止める」という条件付きが、いつもこの絵に張り付いている
- 単回帰と重回帰でβ₁がずれる場面:説明変数同士が相関していると、変数を加える前後で傾きが変わる。相関の設定をゼロにすると、両者は近づきやすい
- R² と自由度調整済み R² の対比:変数を足したときに、R² は必ず上がるが、調整済みは下がることがある。「下がったら、その変数は分の悪い追加だった」という形がここに現れる
- F検定と t検定の役割分担:F検定は「すべての偏回帰係数 = 0」を一括で見る形、t検定は「個別に 0 か」を見る形。モデル全体と個別係数で問いが分かれている
- 多重共線性のシグナル:VIF > 10 が目安として顔を出し、係数がガタつく場面の前触れになる