データ探偵ワークショップへようこそ！

皆さん、こんにちは！Exam ATPA（予測分析上級トピック）の試験勉強はマラソンのような長丁場に感じられるかもしれませんが、今日は最も重要なスキルである「バイアスの検出」に焦点を当てていきましょう。予測分析の世界では、モデルの質は入力するデータで決まります。データ準備を料理に例えてみてください。どんなに高級な調理法（複雑なアルゴリズム）を使っても、最初から傷んだ食材を使っていたら、料理はおいしくなりませんよね！

この章では、「傷んだ」データを見抜き、モデルを公平で正確、かつ信頼できるものにする方法を学びます。最初は難しく感じるかもしれませんが、大丈夫です。シンプルで分かりやすいステップに分解して説明していきます。

1. データ準備におけるバイアスとは？

日常生活で「バイアス」と言うと、個人の偏見を指すことが多いですね。予測分析におけるバイアスとは、母集団を不当あるいは不正確に表現してしまう系統的な誤差のことです。データの準備（クリーニング、統合、変換など）を行う過程で、私たちは意図せずこうした誤差を紛れ込ませてしまうことがあります。

なぜバイアスが起こるのか？

多くの場合、バイアスに悪意はありません。データの収集方法、データの「欠損値」をどう扱うかという判断、あるいはデータ自体に記録された歴史的な人間社会の偏見などが原因となって発生します。

2. 選択バイアス： 「誰が欠けているか？」の問題

選択バイアス（Selection Bias）とは、モデルの学習に使ったデータが、実際にそのモデルが適用されるグループを正しく代表していない場合に発生します。

有名な例：生存者バイアス（Survival Bias）
あなたが生命保険の数理担当者だと想像してください。もし「有効な契約」だけを分析し、過去に「解約」や「失効」した契約を除外してしまったら、あなたのモデルは「生存者」に偏ったものになります。これでは、なぜ顧客が離れていくのかを理解できず、顧客維持率の予測は完全に的を外してしまうでしょう！

よくある選択バイアスの種類：
• サンプリングバイアス： 母集団の一部が、他のメンバーよりも抽出されやすい状態。
• 脱落バイアス（Attrition Bias）： 長期的な研究で参加者が途中で脱落してしまうこと（長期の保険データでよく見られます）。
• 自己選択バイアス： 参加者が自分で参加するかどうかを決める場合（自由回答の顧客アンケートなど）。

クイックチェック： 選択バイアスを避けるには、常にこう自問自答してください。「今見ているグループは、私が予測したい対象グループと根本的に異なる特徴を持っていないだろうか？」

3. データリーク： 答えを見てしまうこと

データリーク（Data Leakage）は、Exam ATPAのシナリオにおいて最も多いミスと言えるでしょう。「未来の情報（目的変数）」が誤って学習データに紛れ込んでしまう現象です。

たとえ話：
数学のテストで、問題用紙の裏に薄い鉛筆で答えが書かれている状況を想像してみてください。それを見ればA+を取れますが、実際には数学を学んだことにはなりませんよね。モデルが「リーク」していると、学習中は信じられないほど高精度に見えますが、現実世界では全く使い物になりません。

準備段階でリークが起こる原因：
1. 未来の変数の混入： 例えば、「高リスク運転者」を予測するために「支払済みの保険金総額」を使用すること。1年が終わるまで、その総額は確定しないはずですよね！
2. 不適切なスケーリング： データを「学習用」と「テスト用」に分ける前に、データセット全体で平均値を計算し、それを使って欠損値を埋めてしまうこと。

重要なポイント：

平均値や中央値の算出、スケーリングなどの計算は、必ずデータを「学習用」と「テスト用」に分けた後に行ってください。こうすることで、モデルがテストデータの内容を「盗み見」することを防げます。

4. 欠損値の扱いによるバイアス

データが完璧であることはまずありません。通常は何らかの穴（欠損値）があります。その穴をどう埋めるかでバイアスが生じます。

よくある間違い：
• 欠損値がある行の削除： 高所得者ほど年収を報告したくない傾向がある場合、その行を削除すると、モデルは「全員が実際より貧しい」と誤認してしまいます。
• 平均値代入（Mean Imputation）： すべての欠損値を平均値で埋めること。これはデータの分散（ばらつき）を人工的に小さくしてしまい、モデルに過信を生じさせます。

覚え方： M.A.R. vs M.N.A.R.
• MAR（Missing At Random：ランダムに欠損）： 欠損が他の手持ちデータと関連している場合（例：若い人ほど健康診断のアンケートに回答しない）。これは修正可能です。
• MNAR（Missing Not At Random：ランダムではない欠損）： 欠損がその欠損値自体と関連している場合（例：特定の病気を持つ人が隠そうとする）。これは修正が非常に難しく、欠落バイアス（Omission Bias）を招きやすいです。

5. プロキシ（代理）バイアス： 隠れた影響力

人種や性別といった「保護対象」の変数を公平性のために削除しても、プロキシ変数（Proxy Variable）が含まれていれば、モデルは依然としてバイアスを持つ可能性があります。

プロキシとは何か？
プロキシとは、機微な属性と非常に強く相関している変数のことです。
例： 「郵便番号」をモデルに使うと、歴史的な住宅事情から「社会経済的地位」や「人種」のプロキシとして機能してしまうことがあります。もしモデルが郵便番号を理由に保険加入を拒否すれば、意図せず差別をしていることになるかもしれません。

知っていましたか？
アクチュアリーの実務において、プロキシバイアスの検出は専門的誠実さと倫理の観点から不可欠です。規制当局は、「中立的」に見える変数が実際には不当な差別のプロキシになっていないかを厳しくチェックします。

6. 測定バイアス

データの測定方法が不一致であったり、欠陥がある場合に起こります。
• 丸め誤差： ある支店では保険金を1,000ドル単位で丸め、別の支店では1ドル単位で丸めていると、データに「凹凸」が生じます。
• プロキシ測定： 「医者への訪問回数」を「病気の重さ」の代理として使うこと。これは「医療へのアクセス」も測定してしまっているためバイアスがかかります。非常に具合が悪くても、お金がなくて医者に行けない人は訪問回数がゼロになってしまうからです。

7. まとめとクイックチェック

バイアスの検出手順：
1. 探索的データ分析（EDA）： 変なパターンを探しましょう。データの抜けや、想定外の分布はありませんか？
2. 相関チェック： 目的変数と不自然に高い相関を持つ変数はありませんか？（リークの可能性）。
3. サブグループ分析： モデルの性能を異なるグループごとにテストしましょう。男性と女性で精度が違いますか？特定の地域で精度が落ちませんか？もしそうなら、バイアスが存在します。
4. ソースの確認： データが「どのように」収集されたかを確認しましょう。自由回答のアンケートでしたか？（選択バイアスの可能性）。

試験に向けた重要事項：

• 選択バイアス = 代表性のないサンプル
• データリーク = 未来やターゲットの盗み見
• プロキシバイアス = 「隠れた」機微な変数
• 代入（Imputation） = 真実を歪めないよう慎重に穴を埋めること

忘れないでください： 「クリーンな」データセットが、必ずしも「正しい」データセットとは限りません。常に懐疑的な目を持ち、データが「語っていないこと」に注目しましょう！