データ探索へようこそ：データの「形状」を知る

こんにちは！複雑なモデルや高度なアルゴリズムに飛び込む前に、最も重要な材料であるデータについて理解を深めましょう。データは家を建てるための建築資材のようなものです。木材を扱う道具とレンガを扱う道具は違いますよね？それと同じように、試験（Exam PA）でも、どの「ツール」（統計手法）を使うべきか判断するために、データの「型」を見極める必要があるのです。

この章では、構造化データと非構造化データについて見ていきます。専門用語のように聞こえるかもしれませんが、心配はいりません。このページを読み終える頃には、寝ていてもその違いがわかるようになっているはずですよ！

1. 構造化データ：整理整頓されたテーブル

構造化データは、アクチュアリー業務における基本中の基本です。Excelのスプレッドシートのように、行と列が明確にラベル付けされてきれいに収まっているものを想像してください。それが構造化データです。

構造化データの定義：
1. 事前に定義された形式（スキーマ）がある。
2. 各列が特定の変数（年齢、保険料、性別など）を表している。
3. 各行が1つの観測値（特定の保険契約者や1件の保険金請求など）を表している。

実例：
自動車保険の契約リストを想像してみてください。「証券番号」、「始期日」、「車種」といった項目がすべてのエントリにあります。予測可能で、コンピュータで検索するのも非常に簡単です。

例え話：
構造化データは「マフィン型」のようなものです。どの場所にどのお菓子を入れるかが決まっており、型が決まっているため、どのお菓子もほぼ同じサイズと形に仕上がります。

クイックレビュー：構造化データの主な特徴

• リレーショナルデータベース（SQL）に簡単に格納できる。
• 定量的（通常は数値、または明確に定義されたカテゴリ）。
• 非構造化データと比べ、モデルに使用する前の「クリーニング」の手間が少ない。

2. 非構造化データ：「西部劇」のような混沌

非構造化データは、それ以外のすべてを指します。事前に定義されたモデルや、きれいなテーブルには収まりません。多くの場合、テキスト、画像、音声などが「大量」に含まれます。

試験（Exam PA）の文脈では、損害調査員が書いた調査メモや顧客からのメールなどが非構造化データにあたります。行や列がないため、コンピュータはスプレッドシートのように簡単には「読み取」れません。そのため、モデル化する前にテキストマイニングなどの特別な手法を使って、データを数値化する必要があります。

実例：
医師が手書きした医療記録。ある医師は「咳の症状あり」と書き、別の医師は「呼吸困難を認める」と書くかもしれません。これらを分類するための固定された「列」は存在せず、ただの生テキストです。

例え話：
非構造化データは、色々な服が詰め込まれた「洗濯かご」のようなものです。シャツや靴下、帽子がぐちゃぐちゃに入っています。内容を理解するには、まずそれらを仕分けるところから始めないといけません！

豆知識：

現在生成されるデータの80%以上が非構造化データであると言われています！従来のアクチュアリーは構造化データを主に扱ってきましたが、「ビッグデータ」革命により、不正検知や顧客の感情分析といった予測において、非構造化データの重要性はますます高まっています。

3. 中間の存在：半構造化データ

時として、その両方の性質を併せ持つデータがあります。これを半構造化データと呼びます。きれいなテーブルには収まっていませんが、要素を区別するためのタグやマーカーが含まれています。一般的な形式には、Webサイトからデータを抽出する際によく見かけるJSONやXMLファイルなどがあります。

覚え方：
• 構造化 = レンガの壁（完璧に整列している）。
• 半構造化 = LEGOブロック（パーツはバラバラだが、凸凹の連結部があり、組み合わせて形にできる）。
• 非構造化 = 粘土の塊（こねて形を作るまで、特定の形をしていない）。

4. 深掘り：変数の種類

構造化データを手に入れたら、次は変数（列）を分類する必要があります。これは試験（Exam PA）で非常によく出るトピックです！

A. 数値変数（定量的変数）

測定可能な量を表します。これらは数学的な計算が可能です！大きく2つに分けられます：

1. 連続変数：範囲内のどんな値もとり得る（例： \( X = 152.45 \) ）。例：身長、保険料、保険金支払額。
2. 離散変数：数えることができる値。通常は整数。例：世帯あたりの車数、年間の請求件数。

B. カテゴリ変数（定性的変数）

グループやラベルを表します。これらを使って伝統的な意味での「平均」を計算することはできません。

1. 名義尺度（Nominal）：自然な順序がないカテゴリ。例：車の色（赤、青、緑）。赤は青より「上」でしょうか？違いますよね。単に種類が違うだけです。
2. 順序尺度（Ordinal）：論理的な順序があるカテゴリ。例：教育レベル（高校卒、学士、修士、博士）。修士は高校卒より「上」であることはわかりますが、引き算をして正確にどれだけ上かを示すことはできません。

避けるべきよくあるミス：

「数字」の罠：変数に数字が使われているからといって、必ずしも数値変数とは限りません！
例：郵便番号（90210）は名義尺度です。郵便番号を足し合わせても何の意味もありませんよね？その数字は単に場所を示すラベルに過ぎないのです！

ステップ・バイ・ステップ：試験でのデータ型の見極め方

試験でデータセットが提示されたら、以下の手順で進めてください：

ステップ 1：形式を見る。テーブルになっているか？（Yesなら構造化データ）
ステップ 2：特定の列に注目する。数字か、言葉か？
ステップ 3：数字なら、「その数字の平均をとることに意味があるか？」と問いかける。（Yesなら数値変数、Noならカテゴリ変数/名義尺度である可能性がある）
ステップ 4：言葉やカテゴリなら、「特定のランクや順序があるか？」と問いかける。（Yesなら順序尺度、Noなら名義尺度）

まとめと重要ポイント

• 構造化データ：テーブル形式（行と列）。分析準備完了。
• 非構造化データ：固定形式なし（テキスト、画像）。処理が必要。
• 数値変数：連続（どんな値も可）または離散（個数）。
• カテゴリ変数：名義（順序なし）または順序（ランク付けあり）。
• 最重要ポイント：データ型の特定はデータ探索の第一歩です。ここが決まれば、使うべきグラフも決まります（例：数値データならヒストグラム、カテゴリデータなら棒グラフ）。

少し基礎的な内容に感じるかもしれませんが、これらの定義をマスターしておくことで、問題が複雑になったときに失点を防ぐことができます！素晴らしい調子です。このまま頑張りましょう！