線形回帰へようこそ！

こんにちは！CS1のシラバスの中でも、特に実用的で広く使われている章へようこそ。保険会社が契約者の年齢に基づいて自動車保険料をどのように決めているのか、あるいは経済学者が将来のインフレ率をどのように予測しているのか――そういった疑問を抱いたことがあるなら、それはまさに線形回帰（Linear Regression）について考えているのと同じことです。

この章では、単に「2つのものに関係があるかどうか」を調べるだけでなく、その関係を説明するための数学的モデルを構築します。統計学を少し難しく感じるかもしれませんが、大丈夫です。身近な例えと明快な論理を使って、ステップバイステップで紐解いていきましょう。それでは、さっそく始めていきましょう！

1. 線形回帰モデルとは？

線形回帰の核心は、データの散布図に「最もよく当てはまる」直線を見つけることにあります。ある変数（独立変数、\( x \)）を使って、別の変数（従属変数、\( Y \)）を予測します。

数式

単一の観測値に対する標準的なモデルは、次のように書けます。
\( Y_i = \alpha + \beta x_i + \epsilon_i \)

各要素を詳しく見ていきましょう：

  • \( Y_i \) （従属変数）： 予測したい対象です（例：保険金の支払額）。
  • \( x_i \) （独立変数／説明変数）： 手元にある情報です（例：車の経過年数）。
  • \( \alpha \) （切片）： \( x \) がゼロのときの \( Y \) の値です。
  • \( \beta \) （傾き）： \( x \) が1単位増えるごとに \( Y \) がどれだけ変化するかを表します。
  • \( \epsilon_i \) （誤差項）： 「ランダムなノイズ」です。現実世界のデータが完全に直線上に並ぶことはありません。誤差項は、実際の点と直線の間のズレを説明します。

例え話：ケーキを焼く場面を想像してください。ケーキの膨らみ（\( Y \)）は、使うベーキングパウダーの量（\( x \)）に依存します。切片（\( \alpha \)）はパウダーを入れる前の生地の高さ、傾き（\( \beta \)）はパウダー1グラムあたりの膨らみ具合、そして誤差（\( \epsilon \)）はオーブンの温度がわずかにずれるようなランダムな要因を表しています。

クイックレビュー：回帰の目的は、精度の高い予測ができるように \( \alpha \) と \( \beta \) の値を推定することです。

2. 必須の前提条件（LINE）

線形回帰モデルが有効で「統計的に健全」であるためには、4つの大きな前提条件が必要です。これは LINE という覚え方でマスターしましょう：

  • L - Linearity（線形性）： \( x \) と \( Y \) の関係は直線でなければなりません。
  • I - Independence（独立性）： 誤差項（\( \epsilon_i \)）は互いに独立している必要があります。一人の保険金請求が他人の請求に影響を与えてはいけません。
  • N - Normality（正規性）： 誤差は平均0の正規分布に従うと仮定します： \( \epsilon_i \sim N(0, \sigma^2) \)。
  • E - Equal Variance（等分散性）： 誤差の「ばらつき」は、すべての \( x \) の値に対して一定でなければなりません。

よくある間違い：学生の皆さんがよく忘れるのは、正規性の仮定が適用されるのは、元の \( x \) や \( Y \) の値ではなく、誤差（\( \epsilon \)）に対してであるという点です！

3. パラメータの推定：最小二乗法（OLS）

どうすれば「最高の」直線が見つかるのでしょうか？そこで使われるのが最小二乗法（Ordinary Least Squares, OLS）という手法です。

「最高の」直線とは、残差二乗和（SSE: Sum of Squared Errors）を最小にする直線のことです。誤差を二乗するのは、プラスとマイナスの距離を同じように扱い、大きく外れた値をより重くペナルティとして科すためです。

魔法の公式

微積分を用いることで、傾きと切片の推定量を導き出せます：

傾き（\( \hat{\beta} \)）：
\( \hat{\beta} = \frac{S_{xy}}{S_{xx}} \)
ここで \( S_{xy} = \sum (x_i - \bar{x})(y_i - \bar{y}) \)、\( S_{xx} = \sum (x_i - \bar{x})^2 \) です。

切片（\( \hat{\alpha} \)）：
\( \hat{\alpha} = \bar{y} - \hat{\beta}\bar{x} \)

豆知識：回帰直線は必ず平均値の点 \( (\bar{x}, \bar{y}) \) を通ります。もし計算した直線がデータの平均を通っていないなら、計算を見直してみましょう！

4. モデルの良さは？（適合度）

直線が引けたら、それが実際に役に立つものか確認する必要があります。そこで使うのが決定係数（Coefficient of Determination）、いわゆる \( R^2 \) です。

\( R^2 = \frac{SSR}{SST} \)

  • SST（全変動）： データが持つ合計のばらつき。
  • SSR（回帰による変動）： モデルによって説明できたばらつき。
  • SSE（残差変動）： モデルで説明できなかったばらつき（「残り物」）。

解釈： \( R^2 \) は常に0から1の間をとります。
- \( R^2 = 1 \)：完璧な当てはまり（すべての点が直線上にある）。
- \( R^2 = 0 \)：モデルが何も説明できていない。

重要なポイント： \( R^2 \) が0.85であれば、\( Y \) のばらつきの85%が \( x \) との関係で説明できていることを意味します。残りの15%は単なるランダムなノイズや他の要因です。

5. 統計的推論：傾きは有意か？

CS1の試験では、「本当に関係があるのか、それとも偶然か？」と問われることがよくあります。

これを確かめるために、傾き \( \beta \) に対して仮説検定を行います。

  • 帰無仮説（\( H_0 \)）： \( \beta = 0 \) （関係がない）。
  • 対立仮説（\( H_1 \)）： \( \beta \neq 0 \) （関係がある）。

真の分散（\( \sigma^2 \)）が未知であり、データから推定する必要があるため、t検定を用います。

検定統計量：
\( t = \frac{\hat{\beta} - 0}{SE(\hat{\beta})} \)
ここで \( SE(\hat{\beta}) \) は傾きの標準誤差です。これを自由度 \( n - 2 \) のt分布と比較します。

ご安心を：試験問題の多くは標準誤差を与えてくれるか、\( \hat{\sigma}^2 = \frac{SSE}{n-2} \) を使って求められるようなデータが用意されています。

6. 予測を行う

アクチュアリーにとって回帰の究極の目的は予測です。予測には2つのタイプがあります：

  1. 平均反応の予測： 与えられた \( x \) に対する \( Y \) の平均値を予測する。（例：「30歳の人たちの平均的な保険金は？」）
  2. 個別の値の予測： 特定の一人のケースに対する \( Y \) を予測する。（例：「ジョンという特定の30歳の方の保険金は？」）

重要な注意点：個人（ジョン）の予測は、平均の予測よりも常に不確実性が高いです。そのため、予測区間（個人用）は信頼区間（平均用）よりも常に広くなります。

まとめと成功のためのヒント

要点の振り返り：

  • モデルは \( Y = \alpha + \beta x + \epsilon \)。
  • OLS を使って誤差の二乗和を最小にし、\( \hat{\alpha} \) と \( \hat{\beta} \) を求める。
  • LINE の前提条件はモデルの妥当性に不可欠。
  • \( R^2 \) は説明されたばらつきの割合を示す。
  • t検定 を使って傾きがゼロと有意に異なるかを確認する。

試験対策のコツ： \( S_{xx} \) や \( S_{xy} \) を計算する際は、途中の小数を切り捨てないでください！早く丸めすぎると最終的な回答が大きく変わり、CS1の試験で失点する原因になります。

あなたなら大丈夫です！回帰は数式が多く見えるかもしれませんが、本質は「データの雲の中にできるだけ良い線を引く科学」です。計算を練習し続ければ、自然と論理が身についてきますよ！