一変量のデータ探索へようこそ！

こんにちは！Exam PA（予測分析試験）の学習において、最も重要な最初のステップへようこそ。本格的でかっこいい予測モデルを構築する前に、まずは自分たちの「データ」と親しくなる必要があります。一変量のデータ探索（Univariate Data Exploration）とは、データセットとの「初デート」のようなものだと考えてください。一度に一つの変数（「uni」は「1」を意味します）について、基本的な事実を確認していきます。この章を終える頃には、個々の変数を要約・可視化して、パターンやエラー、意外な発見を見つける方法を身につけることができます。

まだ数学が得意でなくても心配はいりません。たくさんの具体例を交えながら、シンプルに噛み砕いて解説していきますね！

1. カテゴリカルデータ vs. 数値データ：2つの大きな分類

何をするにしても、まずは今扱っているデータがどのような種類かを把握する必要があります。アクチュアリーの世界では、データは通常以下の2つの「箱（バケツ）」に分けられます。

カテゴリカル（質的）データ

ラベルや名前のようなデータです。数学的な計算はできません（「赤」＋「青」のような計算はできないですよね）。

  • 名義尺度（Nominal）： 自然な順序がないカテゴリ（例：性別、居住都道府県、車の色）。
  • 順序尺度（Ordinal）： 特定の順序があるカテゴリ（例：学歴：高卒、大卒、院卒）。

数値（量的）データ

測定値やカウント（回数）を表す数字です。

  • 離散型（Discrete）： カウント可能な数値（例：保険金請求件数、子供の人数）。
  • 連続型（Continuous）： 特定の範囲内でどのような値も取り得るもの（例：保険金額、契約者の年齢）。

クイック復習： 意味のある「平均」が計算できるなら、それは数値データです。何かを「種類」でグループ分けしているなら、それはカテゴリカルデータです。

2. カテゴリカルデータの探索

「平均的な色」や「平均的な都道府県」は計算できないため、カテゴリカルデータの探索には頻度（度数）を使います。

度数分布表（Frequency Tables）

各カテゴリが何回出現するかをカウントしたものです。全体に対する割合である相対度数を見ることもよくあります。

棒グラフ（Bar Charts）による可視化

ここで一番の味方になるのが棒グラフです。各棒がカテゴリを表し、その高さが件数や割合を表します。

例：「地域別（北、南、東、西）」の契約件数を示す棒グラフ。「北」の棒が「南」の2倍の高さであれば、どこにビジネスが集中しているかが一目で分かります。

よくある間違い： 棒グラフとヒストグラムを混同しないでください！棒グラフはカテゴリが独立しているため棒の間に隙間がありますが、ヒストグラムはデータが連続しているため隙間がありません。

3. 数値データの探索：中心傾向

データの「中心」がどこにあるかを知りたい場合、主に3つの指標を使います。

  • 平均値（Mean）： 算術平均です。全値を合計し、個数で割ります。
    \( \bar{x} = \frac{\sum x_i}{n} \)
  • 中央値（Median）： データを並べ替えたときに真ん中に来る値です。データに外れ値（極端な値）がある場合、平均値よりも「典型的」な状態をより良く表すことが多いです。
  • 最頻値（Mode）： 最も頻繁に出現する値です。

現実世界の例え： 年収500万円の人が10人いる部屋に、大富豪が1人入ってきたとします。すると平均年収は跳ね上がり、全員がリッチに見えてしまいます。しかし、中央値（真ん中の人の年収）はほとんど変わりません。これが、中央値が外れ値に対して頑健（ロバスト）であると言われる理由です！

4. 数値データの探索：散布度（ばらつき）

中心を知るだけでは不十分です。データが密集しているのか、それとも大きく広がっているのかを知る必要があります。

分散と標準偏差

これらは、データポイントが平均から平均的にどのくらい離れているかを測定します。

  • 分散（\( \sigma^2 \)）： 平均からの偏差の二乗の平均値です。
  • 標準偏差（\( \sigma \)）： 分散の平方根です。データと同じ単位（例：円）になるため、解釈しやすくなります。

五数要約とIQR（四分位範囲）

外れ値に惑わされずに広がりを見るための素晴らしい方法です：

  1. 最小値
  2. 第1四分位数（Q1 - 25パーセンタイル）
  3. 中央値（Q2 - 50パーセンタイル）
  4. 第3四分位数（Q3 - 75パーセンタイル）
  5. 最大値

四分位範囲（IQR）： \( Q3 - Q1 \)。これは「真ん中の50%」のデータの範囲を示します。

5. 分布の形状

グラフを見たとき、その「シルエット」はどんな形をしていますか？

歪度（Skewness）

歪度はデータの左右対称性について教えてくれます。

  • 右に歪んだ分布（正の歪度）： 「裾」が右に伸びています。小さな値が大半ですが、少数の非常に大きな値が平均を右に引っ張ります。（例：保険金請求額—ほとんどは少額ですが、極めて高額な請求も存在します！）
  • 左に歪んだ分布（負の歪度）： 「裾」が左に伸びています。（例：退職年齢—ほとんどは高齢ですが、非常に若い退職者も存在します。）
  • 対称： 左右が鏡合わせのようになっています（正規分布など）。

暗記のコツ： 「裾が物語を語る（The tail tells the tale）」です。細長い裾が右にあれば、右に歪んでいる（右歪み）のです！

尖度（Kurtosis）

これは裾がどれくらい「太い」かを表します。尖度が高いということは、極端な外れ値が出るリスクが高い（裾が重い）ことを意味します。

6. 数値データの可視化

ヒストグラム

数値データを「ビン（範囲）」に分けて度数を表示します。形状や歪みを確認するのに最適です。

箱ひげ図（Boxplots）

五数要約を視覚的に表示します：

  • 箱： IQR（中央の50%）を表します。
  • 箱の中の線： 中央値です。
  • ひげ： 範囲（通常はIQRの1.5倍まで）を示します。
  • 外側の点： 潜在的な外れ値を表します。

豆知識： 箱ひげ図は外れ値を見つけるのに非常に強力です。ひげから遠く離れた点が見えたら、それはExam PAのプロジェクト中に調査すべき重要なポイントです！

7. 問題の発見：外れ値と欠損値

一変量の探索は、「汚れた」データを見つける最初のチャンスです。

  • 外れ値： 他のデータと著しく異なる値。データ入力エラー（200歳の契約者など）かもしれませんし、正当な極端なケース（10億円の請求など）かもしれません。
  • 欠損値： 「NA」や空欄を探しましょう。時には「0」や「999」が欠損値の代わりとして使われていることもあるので、注意が必要です！

クイックまとめ表：

指標： 中心傾向 | ツール： 平均値、中央値、最頻値
指標： 広がり | ツール： 標準偏差、IQR、範囲
指標： 形状 | ツール： 歪度、尖度
指標： 可視化 | ツール： ヒストグラム、箱ひげ図、棒グラフ

Exam PAに向けた重要ポイント

1. まず最初に、必ず変数の型（カテゴリカルか数値か）を確認しましょう。

2. 数値データの場合は、平均値と中央値を比較しましょう。大きく離れていれば、データが歪んでいる可能性が高いです。

3. ヒストグラムで分布の形を確認し、箱ひげ図で外れ値を探しましょう。

4. 右に歪んだデータは保険の世界では非常によくあります（保険金や損失額）。後でモデリングを行う際、対数変換などの変換が必要になるかもしれません。

頑張ってください！皆さんは今、試験官にデータを説明するために必要な基礎を築いています。自信を持って！