GLMの選定と検証の世界へようこそ！

こんにちは！Exam PAの学習もここまで到達したということは、一般化線形モデル（GLM）がアクチュアリーの予測モデリングにおいて、いかに不可欠なツールであるかをご存知かと思います。しかし、自分が作ったモデルが「良いモデル」かどうかをどう判断すればよいのでしょうか？変数の数が一番多いモデルでしょうか？それとも学習データを完璧に再現しているモデルでしょうか？（答えは：違います！）

この章では、特定のビジネス課題に対して適切なGLMを選択する方法、そしてさらに重要な「そのモデルが実際に機能することを証明する方法」を学びます。レシピ通りに料理を作る「料理人」から、なぜその食材を使うのかを理解して調理する「シェフ」へとステップアップするようなものです。最初は難しく感じるかもしれませんが、大丈夫です。一つひとつ丁寧に紐解いていきましょう！

1. ビジネス課題の定義：手法の前に「なぜ」を考える

PCを操作する前に、何を解決しようとしているのかを理解しなければなりません。Exam PAにおいては、このビジネス課題がターゲット変数（目的変数）と誤差分布の選択を決定づけます。

ステップバイステップのアプローチ：
1. ターゲットの特定：何を予測するのか？（例：保険金支払件数、総損害額、顧客の解約有無など）
2. 制約の確認：データは限られているか？透明性に関する法的な要件はあるか？
3. 適切なGLM構成要素の選択：特に分布とリンク関数の選択。

適切な分布を選ぶ

分布とはデータの「形状」だと考えてください。形状を間違えて選択すると、モデルは適切に適合しません。

アクチュアリー業務でよく使われる分布：
- 正規分布（ガウス分布）：対称な連続データ用（保険請求では稀ですが、身長や体重などによく使われます）。
- ポアソン分布：カウントデータの定番（例：「今年発生した事故件数は？」）。
- ガンマ分布：損害額（支払額）に最適（正の連続値で、小さな損害が多く、巨大な損害が少しあるという偏った分布）。
- 二項分布：二値の予測用（Yes/No、1/0）。
- トウィディ（Tweedie）分布：総損害額によく使われる「ハイブリッド」な分布。ゼロの塊（請求なし）と正の連続値を同時に扱えます。

クイックチェック：「機械の故障回数」を予測するなら、どの分布を使いますか？
答え：ポアソン分布（イベントの回数＝カウントデータだから）。

2. 予測変数の選択：特徴量選択

GLMにおいて、手元にある全ての変数（特徴量）を含めるのが常に良いわけではありません。過剰に含めると過学習（オーバーフィッティング）を引き起こします。これは、モデルが実際のパターンではなく、特定のデータセットに含まれる「ノイズ」まで学習してしまう状態です。

自動選択手法

- 前方選択法（Forward Selection）：空のモデルから開始し、モデルの改善度が最も高い変数を一つずつ追加していく。
- 後方選択法（Backward Selection）：全ての変数から開始し、最も有意でない変数を一つずつ削除していく。
- ステップワイズ選択法（Stepwise Selection）：上記の両方を組み合わせたもの。各ステップで変数の追加と削除が可能。

避けるべきよくあるミス：変数が「統計的に有意（p値が小さい）」だからといって、必ずしもビジネスに有用とは限りません。常に常識を働かせましょう！例えば「郵便番号」という変数があり、5,000もの郵便番号が存在する場合、モデルが爆発してしまいます。まずはグループ化することを検討すべきかもしれません。

3. モデル検証：現実的なチェック

モデルを作成したら、検証が必要です。これは、未知のデータ（学習に使用していないデータ）に対してモデルがうまく機能するかを確認するためです。

学習データとテストデータの分割

数学の試験勉強を想像してください。もし試験に出る全く同じ問題だけを練習しても、数学を「理解」したことにはならず、答えを暗記しただけになります。
- 学習データ（Training Set）：モデルがパターンを学ぶために「勉強」するデータ。
- テストデータ（Test Set）：モデルがパターンを本当に理解したかを確認する「期末試験」。

クロスバリデーション（交差検証）

時として、一度の分割だけでは不十分です。k-分割クロスバリデーションでは、データを「k」個のグループに分けます。\(k-1\)個でモデルを学習し、残りの1個でテストするというプロセスを、全てのグループが一度ずつテスト役になるまで繰り返します。そして、結果を平均化します。

重要なポイント：検証は過学習（学習データでは高精度だが、テストデータでは精度が低い状態）を見抜く唯一の手段です。

4. 評価指標：モデルをどう採点するか？

モデルAがモデルBより優れているかを判断するには数値が必要です。Exam PAで重要な指標を紹介します。

逸脱度（Deviance）

GLMにおいて、逸脱度（Deviance）は「適合度」の尺度です。逸脱度が小さいほど、モデルがデータにうまく適合していることを示します。モデルと完璧なモデルとの間の「誤差」や「ギャップ」だと考えてください。

AICとBIC（「ペナルティ」を伴う指標）

これらは、適合度と簡潔さのバランスをとるのに役立ちます。
- AIC（赤池情報量規準）： \(AIC = -2L + 2p\)
- BIC（ベイズ情報量規準）： \(BIC = -2L + p \ln(n)\)

ここで \(L\) は尤度、\(p\) はパラメータ数（変数の数）、\(n\) はサンプルサイズです。
ルール：小さいほど良い！BICはAICよりも「厳格」であり、特に大きなデータセットでは、変数の数が増えることに対してより重いペナルティを課します。

覚え方：AICやBICをタレントショーの審査員だと思ってください。素晴らしいパフォーマンス（尤度）には点数を与えますが、不要なバックダンサーを大勢引き連れてきた場合（パラメータ/変数）は減点します。

5. 残差分析：余りものの確認

残差（Residuals）とは、実際に起きたこととモデルが予測したことの差（\(実績 - 予測\)）です。良いモデルであれば、残差は「ホワイトノイズ」のように、ランダムで予測不可能なものになるはずです。

残差の種類：
1. ピアソン残差：標準化残差。定数分散の確認に役立ちます。
2. 逸脱度残差：GLMにおいて好まれます。分布が正規分布に近いため、プロットした際の解釈が容易です。

何を確認すべきか：残差をプロットして明らかなパターン（U字型や扇型など）が見える場合、モデルは何か重要なものを見落としています！モデルが捉えきれていないパターンがデータに残っていることを意味します。

6. ステークホルダーへの結果の説明

ビジネス課題の最終ステップは、アクチュアリーではない人にモデルを説明することです。彼らは「対数尤度」には興味がなく、「収益（ボトムライン）」を気にします。

リンク関数のトリック：
対数リンク関数（ポアソンやガンマモデルで一般的）を使用した場合、係数は乗法的に作用します。
「車両年数」の係数が \(0.05\) ならば、年数が1単位増えるごとに、予測値は \(e^{0.05} \approx 1.051\) 倍、つまり \(5.1\%\) 増加します。

豆知識：この乗法的な性質があるため、保険料算出において対数リンクは非常に人気があります。「保険料が200ドル上がります」と言うよりも、「若年ドライバーであると保険料が20%上がります」と言う方が、はるかに分かりやすいからです。

試験に向けたチェックリスト

試験でGLMの選定や検証を求められたら、頭の中でこのリストを確認してください：
- 分布：ターゲットの性質（カウントか連続か）と一致しているか？
- リンク関数：適切か？（正の値なら対数、二値ならロジットなど）
- 選定：AIC/BICやステップワイズを使って不要な変数を削ったか？
- 検証：テストデータで性能を確認したか？
- 残差：プロットを確認し、パターンが残っていないか？
- ビジネス論理：結果は会社にとって理にかなっているか？

プロのヒント：もし試験で2つのモデルのどちらかを選ぶよう聞かれ、一方がわずかに低いAICを持ちつつ非常に複雑なモデルである場合、よりシンプルなモデルを推奨することを検討してください。現実の世界では、「シンプルで解釈しやすい」モデルの方が、「複雑でわずかに精度が高いだけ」のモデルに勝ることがよくあります。

あなたなら大丈夫！ GLMは要素が多く感じるかもしれませんが、分布、リンク関数、検証がどう連携しているかが理解できれば、全てがパズルのようにカチッとハマるはずです。