Apply the concepts of hypothesis testing and goodness of fit

仮説検定と適合度検定へようこそ！

CS1のこれまでの章では、平均損害額や自動車事故の発生確率など、数値を推定する方法を学んできました。しかし、現実の世界では、アクチュアリーは単に数値を推定するだけではなく、意思決定を行うことが求められます。「この新薬は従来の薬より効果があるのか？」「請求件数は本当にポアソン分布に従っているのか？」「男女で運転リスクに差はあるのか？」といった問いです。

仮説検定は、データを用いてこうした意思決定を行うための正式な「ルールブック」です。最初は少し抽象的に感じるかもしれませんが、論理さえ掴めば、法廷で証拠を扱う探偵のような気分になれるはずですよ！

1. 仮説検定の論理

仮説検定は法廷での裁判に例えることができます。裁判では「無罪と証明されるまでは無罪」です。統計学において、この「無罪（現状維持）」の状態を帰無仮説と呼びます。

2つの対立する仮説

1. 帰無仮説 (\(H_0\)): これは「退屈な」状態です。何も変化していない、あるいは何の影響もないと仮定します。強力な証拠がない限り、これが真実だと考えます。
2. 対立仮説 (\(H_1\)): これはあなたが証明しようとしている内容です。「ワクワクする」主張（例：「新しい保険料率の方が実は低い」）です。

5つのステップ

CS1の試験に合格するために、毎回以下の手順に従いましょう：
1. \(H_0\) と \(H_1\) を明確に定義する。
2. 有意水準 (\(\alpha\)) を選択する（通常は5%または1%）。
3. 検定統計量を計算する（データから得た証拠です）。
4. P値または棄却限界値を求める。
5. 意思決定を行う：「\(H_0\) を棄却する」または「\(H_0\) を棄却しない」。

重要なポイント

私たちは帰無仮説を「採択」することは決してありません。強力な証拠があるから棄却するか、証拠が不十分だから棄却しないかのどちらかです。陪審員が「無罪（Not Guilty）」と言うようなものです。これは必ずしもその人が潔白であることを意味せず、単に有罪にするための十分な証拠がなかったということを意味します。

2. エラー：検定がうまくいかないとき

母集団全体ではなく標本（サンプル）を使用するため、間違いが発生する可能性があります。次の2種類のエラーに注意しましょう：

第1種の過誤 (\(\alpha\)): 「誤報」です。実際には \(H_0\) が正しいのに棄却してしまうこと。（例：無実の人に有罪判決を下す）。
第2種の過誤 (\(\beta\)): 「見逃し」です。実際には \(H_0\) が誤りなのに棄却できないこと。（例：真犯人を放免してしまう）。

暗記のコツ：「RT」

第1種の過誤は、Rejecting（棄却する）a True \(H_0\)（正しい帰無仮説を）。RTと覚えておきましょう（「Real Truth（真実）を棄却してしまう」というイメージで）。

3. 平均値 (\(\mu\)) の検定

これはCS1のシラバスで最も一般的な検定です。母平均がある特定の値と等しいかどうかを確認します。

シナリオA：分散 (\(\sigma^2\)) が既知の場合

Z検定を使用します。検定統計量は以下の通りです：
\(Z = \frac{\bar{X} - \mu_0}{\sigma / \sqrt{n}}\)
ここで、\(\bar{X}\) は標本平均、\(n\) は標本サイズです。

シナリオB：分散が未知の場合

こちらの方がより現実的ですね。\(\sigma\) がわからないため、標本標準偏差 (\(s\)) を使い、自由度 \(n-1\) のt分布を用います。
\(t = \frac{\bar{X} - \mu_0}{s / \sqrt{n}}\)

クイック復習：両側検定 vs 片側検定

- 単に「異なる」かどうかを確認する場合は両側検定（\(H_1: \mu \neq \mu_0\)）を使います。
- 「より大きい」「より小さい」を確認する場合は片側検定（\(H_1: \mu > \mu_0\) または \(H_1: \mu < \mu_0\)）を使います。

4. 2つのグループの比較

アクチュアリーとして、2つのグループ（例：グループAとグループBの保険請求額）を比較することがあるでしょう。

2標本t検定（独立）

両方のグループの分散が等しいと仮定できる場合、プールした標本分散 (\(s_p^2\)) を計算します：
\(s_p^2 = \frac{(n_1-1)s_1^2 + (n_2-1)s_2^2}{n_1 + n_2 - 2}\)
その上で、検定統計量は以下の通りです：
\(t = \frac{\bar{X}_1 - \bar{X}_2}{s_p \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}}\)

対応のあるt検定（従属）

データがペアになっている場合（例：ダイエット前と後の10人の体重）に使用します。各ペアの差 (\(d\)) を計算し、その差に対して1標本t検定を行うだけです。

5. カイ二乗 (\(\chi^2\)) 適合度検定

この検定は、手元のデータが理論上の分布（二項分布、ポアソン分布、正規分布など）に「適合」しているかをチェックします。本質的には、「観測値と期待値の差は単なる偶然か、それともモデルが間違っているのか？」を確認する作業です。

公式

\(\chi^2 = \sum \frac{(O_i - E_i)^2}{E_i}\)
ここで：
\(O_i\) = 観測度数（実際のデータ）。
\(E_i\) = 期待度数（検証する分布を用いて計算したもの）。

適合度検定における重要なルール

1. 最小度数： すべての期待度数 (\(E_i\)) は5以上である必要があります。それより小さい場合は、隣接する階級をまとめる（グルーピングする）必要があります。
2. 自由度 (\(df\))： ここが非常に重要です！
\(df = (\text{階級数}) - 1 - (\text{推定したパラメータ数})\)
例：ポアソン分布の平均 (\(\lambda\)) をデータから推定した場合は、自由度からさらに1を引きます。

豆知識

カイ二乗検定は常に片側検定（右側）です。なぜでしょうか？公式で差を二乗しているため、結果は常に正になるからです。非常に大きな \(\chi^2\) 値が出るということは、現実とモデルの間の「距離」が離れているということであり、モデルを棄却すべきだという判断になります！

6. 分割表（独立性の検定）

2つの要素に関連があるかどうかを確認するために使用します。例えば、「自動車保険の請求タイプとドライバーの年齢に関連はあるか？」といったケースです。

データを格子状に整理します。各セルの期待度数は以下で求めます：
\(E = \frac{\text{行の合計} \times \text{列の合計}}{\text{全体の合計}}\)

分割表の自由度：
\(df = (r - 1) \times (c - 1)\)
ここで \(r\) は行数、\(c\) は列数です。

7. まとめとよくある落とし穴

よくあるミス1： \(\chi^2\) 検定で \(E_i < 5\) のときにセルをまとめるのを忘れること。これは試験の典型的なひっかけです！
よくあるミス2： 自由度の間違い。パラメータ（\(\mu\) や \(\sigma\) など）をデータから推定したかどうかを必ず再確認しましょう。
よくあるミス3： Z検定とT検定の混同。これだけ覚えておいてください：分散がわかっていればZ、わからなければT。

最後に

公式が難しそうに見えても心配いりません。試験では、プロセスは非常に定型的です。5ステップの手順をマスターし、自由度の計算を正確に行えれば、CS1合格はすぐそこです！過去問を繰り返し練習しましょう。それがアクチュアリーの文脈でこれらの検定がどう適用されるかを理解する鍵ですよ。