「データ探偵」フェーズへようこそ！

CP2（モデリング実務）では、非常に大きく、整理されていない生のデータが記載されたスプレッドシートを渡されることがよくあります。複雑な数式やモデルを作成し始める前に、扱っているデータが一体どのようなものなのかを正確に理解する必要があります。この章は、データとの「顔合わせ（Meet and Greet）」の時間だと考えてください。

データの要約とは、何千行もの数値をいくつかの重要な洞察に変換することです。これを行うことで、エラーを見つけたり、傾向を特定したり、どのモデリング手法が最適かを判断したりできるようになるため、非常に重要です。もしデータが「ゴミ」であれば、モデルも「ゴミ」になります（有名なGIGOの原則：Garbage In, Garbage Out！）。

統計学の天才でなくても大丈夫です。試験で高得点を取れるよう、シンプルで扱いやすいステップに分解して説明していきますね。

1. 記述統計学：「3つの主要な指標」

データの列を見たとき、私たちは「中央」がどこにあるのかを知りたいと考えます。これを中心傾向（Central Tendency）と呼びます。測定方法は以下の3つです。

A. 平均値（Mean）

すべての値の合計をデータの個数で割ったものです。 式: \( \bar{x} = \frac{\sum x_i}{n} \)
使いどころ：データが対称的（均等に分布している）な場合に使用します。
落とし穴：平均値は外れ値（極端な値）に非常に敏感です。例えば、年収20,000ドルの人が5人と、1,000,000ドルの人が1人いる場合、「平均」は非常に高く見えますが、それは大多数の人々の実態を表していません。

B. 中央値（Median）

データを小さい順に並べたときに真ん中に来る値のことです。
使いどころ：データが歪んで（skewed）いる場合や、住宅価格や給与のように極端な外れ値がある場合に使用します。このようなケースでは、平均値よりも「典型的な」値をよく表してくれます。

C. 最頻値（Mode）

最も頻繁に出現する値のことです。
使いどころ：カテゴリデータ（例：「最も一般的な請求タイプは何か？」）を扱う場合に最適です。

クイック復習ボックス：
• 平均値：極端な値に弱い。
• 中央値：極端な値の影響を受けにくい（頑健性がある）。
• 最頻値：カテゴリ分類に便利。

2. 「広がり」を測定する：データはどれくらい乱れている？

平均を知るだけでは不十分です。平均水深が4フィートの川を想像してみてください。もし一箇所だけ10フィートの深さがあれば、溺れてしまうかもしれません！私たちは散らばり（dispersion）を知る必要があるのです。

標準偏差と分散

これらは、データポイントが平均から平均してどれくらい離れているかを示します。 標準偏差の式: \( \sigma = \sqrt{\frac{\sum(x_i - \bar{x})^2}{n}} \)
簡単な例え：クラス全員がテストで70点を取れば、標準偏差はゼロです。もし半分が40点で半分が100点なら、平均は同じ70点ですが、標準偏差は非常に高くなります！

範囲（Range）と四分位範囲（IQR）

• 範囲（Range）：最大値と最小値の差です。単純ですが、たった一つの外れ値で簡単に台無しになってしまいます。
• 四分位範囲（IQR）：第75百分位点（上側四分位数）と第25百分位点（下側四分位数）の差です。データの中央50%がどの範囲にあるかを示します。

豆知識：CP2において、これらの統計量を計算することは、多くの場合データ検証の最初のステップです。「最低年齢」が-5歳だったり、「最大年齢」が250歳だったりしたら、それはデータエラーを見つけたことになります！

3. グラフィカルな表現：物語を可視化する

時として、一枚の図はExcelの何千行ものデータよりも価値があります。CP2では、目的に合った「正しい」グラフを選ぶ必要があります。

ヒストグラム

内容：x軸が値の範囲（ビン）を表す棒グラフ。
目的：データの分布（形状）を見るため。ベル型（正規分布）か、それとも片方に偏っている（歪んでいる）かを確認します。

箱ひげ図（Box Plot）

内容：IQRを示す箱、中央値を示す線、範囲を示す「ひげ」で構成されます。
目的：外れ値を見つけたり、異なるグループを並べて比較したりするのに最適です。

散布図（Scatter Plot）

内容：X軸とY軸上に配置された点。
目的：2つの変数間に相関関係があるかを確認するため。例：「ドライバーの年齢が上がるにつれて、請求金額は増えるか？」

折れ線グラフ

内容：データポイントを線でつないだもの。
目的：時系列データに最適。月ごとや年ごとに値がどう変化するかを示すために使います。

重要なポイント：見た目が綺麗だからという理由だけでグラフを作らないでください。CP2の要約ドキュメントでは、なぜそのグラフを選んだのか、そしてそれが何を示しているのか（例：「散布図は体重とコストの間に弱い正の相関があることを示している」）を説明する必要があります。

4. データの妥当性と品質チェック

これは「データの準備と分析」セクションの中核です。データが理にかなっているかを確認したことを試験官に証明しなければなりません。

行うべき一般的なチェック：
1. 完全性：空欄のセルや「N/A」の値はないか？
2. 一意性：重複したレコード（例：同じポリシー番号が2回出現）はないか？
3. 範囲チェック：日付が本来あるべきではない過去や未来になっていないか？正であるべき値が負になっていないか？
4. 整合性：ポリシーが「失効（Lapsed）」とマークされている場合、「受け取った保険料」列はゼロになっているか？

データ品質の語呂合わせ："ACCURATE"を覚えましょう。
• Accurate（正確か）
• Complete（完全か）
• Consistent（一貫性があるか）
• Up-to-date（最新か）
• Relevant（適切か）
• Authoritative（信頼できるか）
• Timely（タイムリーか）
• Extended（理解しやすいか）

5. 避けるべき一般的な間違い

• 「ゼロ」を無視する：「0」は「データが収集されなかった」ことを意味する場合もあれば、純粋に「ゼロ」を意味する場合もあります。チェックせずに同じように扱うのは禁物です！
• 要約しすぎる：平均値だけを見ていると、データが大きく異なる2つのグループに分かれている（二峰性）という事実に気づかないかもしれません。
• 不適切なビンの設定：ヒストグラムでビンの幅が広すぎると詳細が失われ、狭すぎると棒が乱立して見づらくなります。
• ラベル付けをしない：CP2において、タイトルや軸ラベルのないグラフは、簡単に得点を失う原因になります。

まとめ：CP2のワークフロー

1. クレンジング：空欄やエラーを探す。
2. 計算：平均値、中央値、標準偏差、範囲を算出する。
3. 可視化：ヒストグラムや箱ひげ図を作成して形状を確認する。
4. 検証：「このデータは保険数理モデルとして妥当か？」と問いかける。
5. 文書化：発見したことを書き留める。もし誤ったデータを10行削除したなら、そのことを監査証跡（audit trail）に必ず記載してください！

「モデリング」を始める前にやることが多くて大変そうに見えるかもしれませんが、心配しないでください。データを理解することはCP2の戦いの50%を占めます。一度データを把握してしまえば、数式を作るのはずっと簡単になりますよ！