イントロダクション：そのモデル、本当に「良いモデル」ですか？

分布を選び、リンク関数を決定し、Rなどのソフトウェアを使って一般化線形モデル（GLM）のパラメータを計算しました。おめでとうございます！ですが、そのモデルを使って保険金請求額や死亡率を予測し始める前に、非常に重要な問いを投げかけなければなりません。それは、「このモデルは、本当にデータに適合しているのか？」という点です。

この章では、アクチュアリーの世界における「診断ツール」について見ていきます。医師が血液検査やX線検査で患者の健康状態をチェックするように、私たちは残差（residuals）や統計的検定を用いてモデルの状態をチェックします。データに見られるパターンが実際にモデルによって捉えられているか、そして単なる「ノイズ」を見ているだけではないかを確認する必要があります。

注意：この章は、回帰セクションの前の章で扱った線形予測子やリンク関数など、GLMの基礎知識を習得していることを前提としています。


1. GLMの残差：データの「残りかす」

単回帰分析では、残差は単に観測値と予測値の差 \(y_i - \hat{y}_i\) です。しかし、GLMでは少し複雑になります。なぜなら、データの分散が平均によって変化することが多いからです（例えば、ポアソン分布では分散は平均に等しくなります）。

これを考慮するために、GLMでは主に2種類の残差を使用します。

A. ピアソン残差

ピアソン残差は、基本的には生の誤差を「標準化」したものです。生の残差を観測値の推定標準偏差で割ることで求められます。

\(i\)番目のピアソン残差の公式は以下の通りです：
\(r_i = \frac{y_i - \hat{\mu}_i}{\sqrt{V(\hat{\mu}_i)}}\)

ここで：
\(y_i\) は実際の観測値です。
\(\hat{\mu}_i\) はモデルによる予測値です。
\(V(\hat{\mu}_i)\) は分散関数です（ポアソン分布やガンマ分布など、選択した分布によって異なります）。

クイック・ヒント： すべてのピアソン残差を2乗して合計すると、ピアソン・カイ二乗統計量 (\(X^2\)) が得られます。これはモデルの適合度検定に使用されます！

B. 逸脱残差（Deviance Residuals）

逸脱残差は、モデルの「尤度（ゆうど）」に直接関連するため、アクチュアリーによく好まれます。各観測値が全体の逸脱度（deviance）（「適合の悪さ」の尺度）にどれだけ寄与しているかを測定します。

公式は複雑ですが、重要なのは、これらが通常ピアソン残差よりも「正規分布」に近い形をとるため、視覚的なチェックに適しているという点です。

これらの残差をどう使うのか？

通常、これらの残差をグラフにプロットします。モデルが「良好に適合」している場合、以下のことが期待されます：
1. 残差がゼロを中心にランダムに散らばっていること。
2. 明らかなパターン（「漏斗（ファンネル）型」や曲線など）がないこと。
3. 極端な外れ値（ゼロから非常に遠い点）がないこと。

重要なポイント： 残差は、モデルがどこで失敗しているかを教えてくれます。もし「若年運転手」の残差がすべて正であれば、そのモデルは彼らのリスクを一貫して過小評価していることになります！


2. モデルの妥当性に関する統計的検定

視覚的なチェックも素晴らしいですが、時には「YesかNoか」の客観的な答えが必要になります。GLMが受け入れ可能かどうかを判断するために、主に2つの統計的検定を使用します。

A. 尤度比検定 (LRT)

尤度比検定は、2つのモデルを比較したいときに使用します。一つは「小さな」モデル（変数が少ないもの）、もう一つは「大きな」モデル（同じモデルに追加の変数を加えたもの）です。

問い： それらの追加された変数は実際に役に立っているのか、それとも単に「ノイズ」を加えているだけなのか？

検定統計量：
\(LRT = 2 \times (l_{big} - l_{small})\)
ここで \(l\) はモデルの対数尤度を表します。

逸脱度 (\(D\)) を用いると、次のように書かれることがよくあります：
\(LRT = D_{small} - D_{big}\)

分布： 帰無仮説（追加の変数は無意味である）の下で、この統計量は、追加されたパラメータの数に等しい自由度を持つカイ二乗 (\(\chi^2\)) 分布に従います。

判定基準： \(LRT\) の値が非常に大きい（カイ二乗分布表の境界値より大きい）場合、帰無仮説を棄却します。これは、大きなモデルの方が有意に優れていることを意味します！

B. ピアソンのカイ二乗検定

この検定は、モデルの全体的な妥当性をチェックします。「データとモデルの間の総計的な差は、偶然で説明できるほど十分に小さいか？」を問いかけます。

検定統計量：
\(X^2 = \sum \frac{(y_i - \hat{\mu}_i)^2}{V(\hat{\mu}_i)}\)

比較： \(X^2\) を、\(n - p\) 自由度の \(\chi^2\) 分布と比較します（ここで \(n\) は観測数、\(p\) はモデル内のパラメータ数です）。

ご存知ですか？ 適合の良いモデルでは、スケール済み逸脱度（scaled deviance）とピアソン・カイ二乗統計量は、どちらも自由度 (\(n - p\)) とほぼ等しくなるはずです。もしこれらが自由度より大幅に大きい場合、モデルが「過分散（over-dispersed）」（データがモデルの想定以上に散らばっている状態）である可能性があります。


3. ソフトウェア出力の解釈（Paper B対策）

CS1Bの試験では、Rを使ってGLMを適合させることになるでしょう。summary(my_model) のようなコマンドを実行した際、どこに注目すべきかを知っておく必要があります：

  • Null Deviance（ヌル逸脱度）： 「定数項のみ」のモデルがどれだけ適合するか（最悪のシナリオ）。
  • Residual Deviance（残差逸脱度）： あなたのモデルがどれだけ適合するか。これがNull Devianceよりも有意に低いことを目指します。
  • AIC（赤池情報量規準）： 「ちょうど良さ」を測る尺度です。適合度の高さは評価されますが、変数が多すぎるとペナルティが課されます。AICは低いほど良いモデルです！
  • 係数のp値： 変数のp値が \( < 0.05\) であれば、その変数は通常「統計的に有意」であるとみなされます。

避けるべきよくある間違い： p値だけを見ないでください！変数が有意であっても、モデル全体としては「適合が悪い」こともあります。常に残差と全体の逸脱度を確認しましょう。


クイック・復習：モデル妥当性のための「チェックリスト」

GLMを評価する際は、以下のステップに従ってください：

  1. 残差をチェックする： ランダムに分布しているか？外れ値はないか？ピアソン残差または逸脱残差を使用します。
  2. 逸脱度を比較する： 尤度比検定を使用して、変数を追加する価値があったかどうかを確認します。
  3. 有意性をチェックする： 個々のパラメータ (\(\beta\)) はゼロから有意に異なっているか？
  4. 全体的な適合度： ピアソンのカイ二乗検定を使用して、モデル全体が受け入れ可能か確認します。
  5. AICを比較する： 2つの異なるモデルがある場合、一般にAICが低い方が好まれます。

重要なポイント： 完璧なモデルなど存在しません！私たちの目標は、完璧なモデルを見つけることではなく、有用で統計的に健全なモデルを見つけることです。統計学の有名な格言にある通り、「すべてのモデルは間違っているが、中には役に立つものもある」のです。