探索的データ解析（EDA）の世界へようこそ！

ようこそ！アクチュアリーが将来を予測するための複雑なモデルを構築する前に、まずは「現在」の姿を理解する必要があります。探索的データ解析（EDA）とは、探偵のようなものだと考えてください。「犯罪（ビジネス上の課題）」を解決する前に、すべての証拠（データ）に目を通し、それらがどのようなストーリーを語っているのかを確認する必要があるのです。この章では、後でより良い意思決定ができるように、データのクリーニング、可視化、要約の方法を学びます。統計学は最初は少し無味乾燥に感じるかもしれませんが、安心してください。実際のシナリオを使いながら、ひとつずつ噛み砕いて解説していきます！

1. データの理解：材料を知る

データを分析する前に、私たちが扱っているデータがどのような種類のものかを知る必要があります。すべてのデータが同じように扱えるわけではありません！映画の好みを測るのに体温計を使わないのと同じように、データ型に応じて適切なツールを使い分ける必要があります。

カテゴリカルデータ（質的データ）

「性質」や「ラベル」を表すデータです。グループ分けができるデータのことです。
• 名義尺度（Nominal Data）： 単なる名前であり、特定の順序はありません。例：目の色（青、茶、緑など）。
• 順序尺度（Ordinal Data）： 自然な順序があるものです。例：顧客満足度（低、中、高）。

数値データ（量的データ）

「量」や「数値」を表すデータで、計算が可能です。
• 離散データ（Discrete Data）： 数えられる値で、通常は整数になります。例：その人が請求した保険金の件数（0、1、2…）。1.5件といった請求はあり得ません！
• 連続データ（Continuous Data）： 範囲内のどんな値も取り得る測定値です。例：保険金の処理にかかる正確な時間（3.452日）や、個人の身長など。

ワンポイント・アドバイス： 「いくつありますか（How many?）」と聞けるなら離散データ、「どれくらいの量ですか（How much?）」と聞けるなら連続データである可能性が高いですよ。

2. 要約統計量：「中心」を表す指標

要約統計量を使うと、膨大な数値の山をいくつかの意味のある値にまとめることができます。まずはデータの「中心」がどこにあるかを見ていきましょう。

平均値（算術平均）

すべての値を合計し、観測値の数で割ったものです。
計算式：\( \bar{x} = \frac{\sum_{i=1}^{n} x_i}{n} \)
実例： 保険金の請求が5件あり、金額がそれぞれ $100, $200, $150, $300, $1000 だった場合、平均値は \( (100+200+150+300+1000) / 5 = \$350 \) となります。

中央値（メディアン）

データを小さい順に並べたときに真ん中に来る値です。データの個数が偶数の場合は、真ん中の2つの値の平均をとります。
なぜこれを使うのか？ 中央値は「ロバスト（堅牢）」だからです。外れ値（極端な値）に大きく左右されません。先ほどの例では、$1000という請求があるために平均値は高く見えますが、中央値はわずか$200です。偏ったデータにおいて、より「典型的な」値を表すのによく用いられます。

最頻値（モード）

最も頻繁に出現する値です。先ほどの請求の例では明確な最頻値はありませんが、もし$100の請求が2件あったなら、最頻値は$100になります。

重要なポイント： 左右対称なデータには平均値を、平均を歪めてしまうような極端な値がある場合には中央値を使うのが基本です。

3. 要約統計量：「ばらつき」を表す指標

中心を知るだけでは不十分です。データが密集しているのか、それとも大きく広がっているのかを知る必要があります。

分散と標準偏差

これらは平均値からのデータポイントの「平均的な距離」を測るものです。
• 分散（\( s^2 \)）： 平均からの差を二乗した値の平均です。
• 標準偏差（\( s \)）： 分散の平方根です。元のデータと同じ単位（ドルならドルのまま）で表されるため、こちらの方が頻繁に使われます。
標本標準偏差の計算式：\( s = \sqrt{\frac{\sum (x_i - \bar{x})^2}{n-1}} \)

範囲（レンジ）と四分位範囲（IQR）

• 範囲： 最大値から最小値を引いたもの。外れ値に非常に敏感です。
• 四分位範囲（IQR）： 第75パーセンタイル（\( Q_3 \））と第25パーセンタイル（\) Q_1 \））の距離。データの真ん中50%の範囲をカバーします。
計算式：\( IQR = Q_3 - Q_1 \)

知っていましたか？ アクチュアリーが「ばらつき」を深く気にかける理由は、それがリスクそのものを表すからです。保険金の請求額に大きなばらつきがあるということは、保険会社にとって不確実性が高いということを意味します！

4. 形状の記述：歪度（わいど）

データは鐘のような左右対称の形をしていますか？それとも、どちらか一方向に長い「裾（テール）」を引いていますか？

• 対称： 平均 \(\approx\) 中央値 \(\approx\) 最頻値。左側と右側が鏡のように一致します。
• 右に歪んだ（正の歪度）： 「裾」が右（より大きな値）に向かって伸びています。平均 > 中央値。例：個人の資産額（一部の富豪が平均を引き上げるため）。
• 左に歪んだ（負の歪度）： 「裾」が左（より小さな値）に向かって伸びています。平均 < 中央値。例：退職年齢（多くの人は定年付近で退職しますが、非常に早く退職する人が少数いるため）。

覚え方のコツ： 歪度は「裾がある方向」と一致します。裾が右にあれば、正（Positive）の歪みです。

5. グラフによるEDA：百聞は一見に如かず

時に、一枚のグラフは千語の数値よりも雄弁です。

ヒストグラム

連続データに使用されます。データを「ビン（階級）」に分けて、それぞれの頻度を表示します。データの形状（歪度）を確認するのに最適なツールです。

箱ひげ図（ボックスプロット）

箱ひげ図は、以下の5つの重要な数値でデータを要約します。
1. 最小値（外れ値を除く）
2. 第1四分位点（\( Q_1 \））
\n3. 中央値（\) Q_2 \））
4. 第3四分位点（\( Q_3 \））
\n5. 最大値（外れ値を除く）

\n

箱ひげ図の読み方：
\n• 「箱」はIQR（真ん中の50%）を表します。
\n• 箱の中の「線」は中央値です。
\n• 「ひげ」は最小値と最大値まで伸びます。
\n• ひげの外側にある点は、通常外れ値です。

\n\n

散布図

\n

2つの数値変数の関係を見るために使用します。例えば、走行距離と事故件数に関係はあるでしょうか？もし点が右上がりの線を描くように並んでいれば、正の相関があると言えます。

\n\n

6. 外れ値の特定

\n

外れ値とは、他のデータから「奇妙なほど」離れている観測値のことです。CS1では、外れ値を見つけるために「1.5 × IQRルール」をよく使います。

\n

外れ値を見つける手順：
\n1. \) IQR = Q_3 - Q_1 \) を計算する。
2. 「下限の境界」を計算する：\( Q_1 - (1.5 \times IQR) \)。
3. 「上限の境界」を計算する：\( Q_3 + (1.5 \times IQR) \)。
4. 下限よりも小さいか、上限よりも大きいデータ点はすべて外れ値です！

よくある間違い： 外れ値を見つけたからといってすぐに削除してはいけません！単なる入力ミスかもしれませんし、逆に巨大な保険事故のように、最も重要なデータである可能性もあるからです。

クイック復習ボックス

• カテゴリカル： ラベルやグループ。 数値： 測定値。
• 平均値： 外れ値の影響を受けやすい。 中央値： 影響を受けにくい（ロバスト）。
• 右歪み： 裾が右にあり、平均 > 中央値。
• 外れ値のルール： \( [Q_1 - 1.5IQR, Q_3 + 1.5IQR] \) の範囲外にあるもの。
• ヒストグラム： 分布の形状を示す。 箱ひげ図： 四分位数と外れ値を示す。

最後のエール

EDAは、アクチュアリー統計学で行うすべてのことの土台となります。データを観察し、パターンや異変を見抜く技術を身につければ、素晴らしいアクチュアリーになるための道は半分開かれたも同然です。分散や歪度の公式が難しく見えるかもしれませんが、練習すればすぐに慣れますよ。自信を持って進んでください！