モデル診断と仮定のチェック:「健康診断」へようこそ
線形モデルを構築する苦労は報われましたが、その結果を本当に信頼できるとどうやって判断すればよいのでしょうか?アクチュアリーのモデリングの世界では、モデルを作るのは作業の半分に過ぎません。残りの半分は、そのモデルが前提としている仮定が実際に成り立っているかを確認することです。この章を、あなたのモデルに対する「健康診断」だと考えてください。予測が信頼できなくなるような「病気の兆候」を探し出しましょう。
最初、難しく感じるかもしれませんが、大丈夫です! シンプルな例えと明快なステップで、これらの統計的な「バイタルサイン(生命徴候)」を一つずつ紐解いていきます。
1. 「ビッグフォー(4つの大きな)」仮定 (LINE)
標準的な線形回帰モデルが有効であるためには、通常4つの特定の条件を満たす必要があります。これを覚えるには、LINEという頭文字を使うのが便利です:
L – Linearity(線形性): 予測変数と応答変数の関係が直線的であること。
I – Independence(独立性): 誤差(残差)同士が互いに独立していること。
N – Normality(正規性): 誤差が正規分布に従うこと。
E – Equal Variance(等分散性): 予測変数のどの値においても、誤差のばらつきが一定であること(これは専門用語で等分散性と呼ばれます)。
なぜこれらが重要なのでしょうか?
これらの仮定が破られていると、p値が誤っていたり、信頼区間が的外れになったりして、予測がひどく不正確になる可能性があります。これは、壊れた温度計を使ってケーキを焼こうとするようなものです。レシピ通りに作っているつもりでも、期待したような結果にはなりません!
重要ポイント:
モデルの出力を信頼する前に、必ずLINEの仮定を確認してください。これらのほとんどは残差(実際の値とモデルの予測値との差)を見ることでチェックできます。
2. 残差プロット:モデルのレントゲン写真
診断で最も一般的なツールは残差プロットです。これは、y軸に残差(\(e_i\))、x軸に予測値(\(\hat{y}_i\))をプロットしたものです。
非線形性(カーブ)
残差プロットに明らかなU字型や曲線が見える場合、それはモデルが非線形な関係を捉えきれていないことを意味します。
解決策: 予測変数を変換する(\(log(x)\) や \(x^2\) を使うなど)必要があるかもしれません。
不均一分散性(ファン型)
プロット上で右に行くにつれて残差の幅が広がったり狭まったりする場合(扇形やメガホン型に見える場合)、それは「不均一分散性」の状態です。これは「等分散性」の仮定が破られていることを示します。
解決策: 多くの場合、応答変数の対数変換(\(log(y)\))を行うことで、そのファン型を抑えることができます。
クイック復習:何を探すべき?
理想的な世界では、残差プロットは0を中心として、何らかのパターンが見当たらないランダムな点の雲のように見えるはずです。
3. 外れ値と高レバレッジ点
すべてのデータ点が同じ重要度を持つわけではありません。モデルに多大な影響を与える点もあれば、そうでない点もあります。
外れ値 (Outliers)
外れ値とは、実際の \(y\) の値が予測値から大きく離れている点のことです。残差が非常に大きくなります。
例え:みんなが90点を取っているテストで、たった一人だけ0点を取った学生。
高レバレッジ点 (High Leverage Points)
ある点が高レバレッジであるとは、その \(x\) 値(予測値)が異常であることを意味します。これらの点は他のデータの平均から大きく離れた場所に「突き刺さって」おり、回帰直線を自分の方へ「引き寄せる」力を持っています。
例え:平均的な身長の集まりの中に混ざった、身長240cmの人。
クックの距離:モデルの「ドラマスコア」
ある点が実際にモデルを悪化させているのかをどう判断すればよいでしょうか?そこでクックの距離を使います。これは、特定の点を取り除いた場合に予測値がどれだけ変化するかを測定するものです。
単純なルール: クックの距離が大きい(通常1より大きい)場合、その点は影響力のある点であり、詳しく調査する必要があります。
重要ポイント:
外れ値は \(y\) 方向において変わった点。レバレッジ点は \(x\) 方向において変わった点。そして、直線の傾きを大きく変えてしまう点が影響力のある点です。
4. 多重共線性:予測変数同士の喧嘩
多重共線性(コリニアリティ)は、2つ以上の予測変数が互いに強く相関しているときに起こります。
知っていましたか? もし2つの変数が同じことを語っている場合(例えば「インチ単位の身長」と「センチメートル単位の身長」)、モデルは混乱し、どちらの変数を予測の「手柄」にすればよいのか分からなくなってしまいます。
その兆候:VIF(分散拡大係数)
多重共線性を検出するためにVIFを使用します。
1. VIFが1であれば、相関がないことを意味します。
2. VIFが5または10を超えてくると、問題のある多重共線性があることを示します。
避けるべきよくある誤解:
多重共線性があると予測の精度が下がると考える学生がよくいますが、それは間違いです! 多重共線性があるのは係数(\(\beta\) 値)が不安定になり解釈が難しくなるだけで、予測値そのものは良好な場合もあります。しかし、SRM試験では、モデルを安定させるために、VIFが高い変数は取り除くのが一般的です。
5. 診断ステップのまとめ
試験問題で行き詰まったら、この心の中のチェックリストに従ってください:
1. 残差プロットを確認: パターン(非線形性)やファン型(不均一分散性)がないか探す。
2. QQプロットを確認: これは正規性の仮定に使います。点が対角線上に並んでいるべきです。
3. VIFを確認: VIFが10を超えていれば、多重共線の問題があります。
4. クックの距離を確認: モデルを「支配」している影響力の強い点がないか探す。
試験のためのワンポイント: 問題文に「予測変数が増えるにつれて誤差項の分散が増加する」とあれば、それは不均一分散性のことです。答えには対数変換が含まれることが多いですよ!
最終的な重要ポイント
• 残差は、モデルの仮定をチェックするための主要なツール。
• 線形性は「残差対予測値プロット」でチェック。
• 正規性は「正規QQプロット」でチェック。
• 等分散性とは「ばらつきが一定であること」。
• VIFは変数の重複度(多重共線性)を測定する。
• クックの距離はモデルの結果に大きな影響を与える点を特定する。