メインコンテンツへスキップ

重回帰分析 — いくつかの変数から予測する

勉強時間だけで予測したときと、睡眠時間も加えたとき。同じデータでも、勉強時間の係数が変わることがあります。

M2 / 重回帰分析

重回帰分析 — 複数の変数で予測する

勉強時間だけで成績を予測したときと、睡眠時間も加えたとき。同じデータでも、勉強時間の係数が変わることがあります。重回帰で、複数の説明変数を一緒に扱ってみます。

説明変数が一つなら直線、二つなら3D空間の平面になります。まずは比較パネルで係数の変化を見てみましょう。ここでは架空のデータを使います。係数を因果効果と読めるかどうかは、別の検討が必要です。

実験ガイド — 係数の変化を見る
  1. 相関が−0.5の設定で、二つのβ₁を見比べます。
  2. 相関の設定を0にしてみます。差は小さくなりやすいですが、標本によるばらつきは残ります。
  3. 相関を+0.5にすると、差の向きはどう変わるでしょうか。再生成して確かめてみます。
  4. R²も比較します。同じデータへの当てはまりは、変数を加えても悪くなりません。未知のデータでの予測がよくなるとは限りません。

▶ 単回帰 vs 重回帰 — β₁が変わる瞬間

同じデータで「勉強時間だけ」と「勉強+睡眠」で回帰する。相関スライダーで、説明変数どうしの関係を変えてみよう。
単回帰 β₁ —
重回帰 β₁ —
係数の差 —
単回帰 R² —
重回帰 R² —
実験ガイド — 3Dで回帰平面を体感する
  1. Step 1: 3Dグラフをドラッグして回転。半透明の面が回帰平面——データ点がこの面に沿って並んでいる。
  2. Step 2: 勉強時間のスライダーを動かす → 予測点が平面の「x₁方向」に移動。傾き = β₁。
  3. Step 3: 睡眠時間も動かす → 「x₂方向」に移動。傾き = β₂。2つの変数それぞれの貢献が見える。
  4. Step 4: 再サンプリングを数回押す → β₁, β₂, R²が毎回少し変わる。推定値にも「ばらつき」がある。
—
β̂₁(勉強1hあたり)—
β̂₂(睡眠1hあたり)—
R²—

// 変数を加えると、なぜ係数が変わる?

上のパネルは、勉強時間と睡眠時間に相関を持たせた架空のデータです。成績は「40 + 3 × 勉強時間 + 2 × 睡眠時間 + ノイズ」で作っています。

勉強時間だけで予測すると、勉強時間と一緒に変わる睡眠時間の分も、一本の傾きに含まれます。負の相関がある設定では、単回帰の係数は、生成に使った3より小さくなる傾向があります。

重回帰の偏回帰係数は、ほかの説明変数を同じ値にそろえたときの、予測値の差を表します。睡眠時間を加えると、勉強時間の係数が生成に使った3に近づく様子を見られます。ただし、標本やノイズによって値は変わります。

変数を加えれば因果関係が分かる、ということではありません。現実のデータで因果効果と読むには、交絡要因の選び方や測定、モデルの仮定を別に検討する必要があります。

相関の設定を0にすると、二つの係数は近づきやすくなります。有限の標本なので、完全に一致するとは限りません。

// ここで使われる公式

各パーツの役割
・β₀(切片):すべての変数が0のときの予測値。ベースライン
・β₁x₁:「x₂ を固定したまま x₁ が1増えたら y がいくつ変わるか」× x₁ の値
・β₂x₂:同様に「x₁ を固定したまま x₂ が1増えたら」の貢献分

単回帰との違い
・単回帰のβ₁:x₁だけから予測するときの傾き
・重回帰のβ₁:モデル上でx₂を同じ値にそろえたときの、x₁に対する傾き
・生成時の相関を0にすると二つの係数は近づきやすいが、標本による差は残る

幾何的イメージ
・2変数なら予測面は平面(3Dグラフの半透明の面)。データ点と平面の成績方向の差(残差)の二乗和が最小になる傾きを選ぶ

// 手を動かしてみよう — 具体例

架空の30人の成績を予測する計算例です。以下の値は説明用で、上のパネルとは連動しません。

① まず平均を確認
 勉強時間の平均 = 5.0h、睡眠時間の平均 = 7.0h、点数の平均 = 65点
 勉強と睡眠の相関 r = −0.45(たくさん勉強するほど睡眠が短い)

② 単回帰 y ~ x₁(勉強時間だけ)
 β₁ = +2.4 点/h、R² = 0.32
 → 勉強時間が1時間長いと、予測値は2.4点高い

③ 重回帰 y ~ x₁ + x₂(睡眠時間を追加)
 β₁ = +3.1 点/h、β₂ = +2.0 点/h、R² = 0.57
 → 同じ睡眠時間で比べるモデルでは、勉強時間の係数は3.1

④ なぜ変わった?
 この例では、勉強時間と睡眠時間に負の相関がある。
 睡眠時間も含めて予測することで、勉強時間の係数が変わった。
 この違いだけから、勉強や睡眠の因果効果を決めることはできない。

⑤ 予測してみる
 β₀ は ȳ − β₁x̄₁ − β₂x̄₂ = 65 − 3.1×5 − 2.0×7 = 35.5 と決まる(OLS回帰は必ず平均点を通る)。
 勉強6h・睡眠7hの学生 → ŷ = 35.5 + 3.1×6 + 2.0×7 = 35.5 + 18.6 + 14.0 = 68.1点
 β₀ は「勉強0h・睡眠0hの仮想スコア」で、ここでは直感的な意味を持たない(外挿に注意)。

// よくある誤解

❌「偏回帰係数が大きい変数ほど重要」

「勉強時間(0〜10時間)」と「睡眠時間(4〜10時間)」ではスケールが違う。係数の大きさを比べるには標準化偏回帰係数(どちらも標準偏差1に揃えた係数)を使う必要がある。

❌「説明変数は多ければ多いほど良い」

R² は変数を増やせば必ず上がるが、自由度調整済み R² は下がることがある。不要な変数はノイズを増やして推定を不安定にする。上のシミュレーションで、係数がほぼ0の変数があるなら、それは不要かもしれない。

❌「多重共線性は気にしなくていい」

「勉強時間」と「図書館にいた時間」のように強く相関する2変数を同時に入れると、個々の係数がガタつく(片方の符号が逆転することも)。VIF > 10 が危険信号。

// よく出会う形

重回帰のまわりでは、係数の解釈と検定の対比が同じ形で繰り返し顔を出します。

  • 偏回帰係数の絵:β₁ = 3 のとき、「x₂ を固定したまま x₁ を1増やすと y が平均3増える」という形に読める。「他の変数を止める」という条件付きが、いつもこの絵に張り付いている
  • 単回帰と重回帰でβ₁がずれる場面:説明変数同士が相関していると、変数を加える前後で傾きが変わる。相関の設定をゼロにすると、両者は近づきやすい
  • R² と自由度調整済み R² の対比:変数を足したときに、R² は必ず上がるが、調整済みは下がることがある。「下がったら、その変数は分の悪い追加だった」という形がここに現れる
  • F検定と t検定の役割分担:F検定は「すべての偏回帰係数 = 0」を一括で見る形、t検定は「個別に 0 か」を見る形。モデル全体と個別係数で問いが分かれている
  • 多重共線性のシグナル:VIF > 10 が目安として顔を出し、係数がガタつく場面の前触れになる