データデザインへようこそ！

複雑なアルゴリズムやカラフルなグラフを作成する前に、まずは予測モデルの「土台」となるデータデザインについてお話ししましょう。データデザインは、料理の材料選びのようなものです。世界最高のシェフ（つまり皆さんです！）であっても、材料が悪ければ五つ星のディナーを作ることはできませんよね。

この章では、モデリングを始める前に決めるべき3つの大きなポイント、時間枠（Time Frame）（いつのデータか？）、粒度（Granularity）（どの程度の詳細さか？）、そしてサンプリング（Sampling）（どのレコードを使うか？）に焦点を当てます。これらを理解することで、モデルが実世界で正確かつ有益なものになります。専門用語のように聞こえるかもしれませんが、大丈夫です。日常的な概念に置き換えて、シンプルに解説していきますね。

1. 時間枠（Time Frame）：タイミングがすべて

予測分析において、私たちは通常「過去を利用して未来を予測」しようとします。そのためには、データを特定の期間に分ける必要があります。

観測期間とパフォーマンス期間

例えば、来年ドライバーが事故を起こすかどうかを予測するとしましょう。そのために、過去2年間の運転記録を確認します。

• 観測期間（Observation Period）： 「特徴量」や予測因子を集める期間です（例：2022年と2023年にそのドライバーが何回スピード違反をしたか？）。
• パフォーマンス期間（Performance Period）： 予測したい結果、つまり「ターゲット」を確認する期間です（例：2024年に事故を起こしたか？）。

ラグタイム（報告遅延）の問題

保険業界では、データがすぐに手に入るとは限りません。これをラグタイム（Lag Time）と呼びます。例えば、患者が今日診察を受けても、保険会社に請求書が届くのは3週間後かもしれません。もしモデルがこの遅延を考慮していなければ、「現在」のデータが重要な情報を含んでおらず、予測精度が下がってしまいます。

クイックレビュー： 予測因子（過去）とターゲット（未来）が重複しないよう、常に注意してください。「未来」の期間（パフォーマンス期間）の情報をうっかり「過去」の期間（観測期間）に含めてしまうと、データリーク（Data Leakage）が発生します。これは非常によくあるミスで、実際よりもモデルが優れているように見えてしまう（過学習の温床になる）危険な状態です！

重要なポイント： 明確な時間枠を設定することで、過去から学習して未来を予測するモデルを作ることができます。その際、現実世界でのデータの遅延を考慮することも忘れずに！

2. 粒度（Granularity）：ズームレベルを合わせる

粒度とは、データセットの1行が表す情報の詳細レベルのことです。個人のデータを見ていますか？ それとも1つの取引、あるいは街全体のデータでしょうか？

高粒度 vs. 低粒度

• 高粒度（きめ細かいデータ）： 詳細な情報です。例：顧客がスーパーで行った個別の買い物履歴。
• 低粒度（粗いデータ）： データが集計（Aggregate）されている状態です。例：顧客が1年間にスーパーで使った合計金額。

どちらを選ぶべき？

適切な粒度を選ぶのは、カメラのレンズを選ぶようなものです。ズームしすぎると（高粒度）、細かい「ノイズ」（ランダムな変動）に惑わされます。逆にズームアウトしすぎると（低粒度）、重要なパターンを見失うかもしれません。

例： 特定の契約者が保険を解約するかどうかを予測したい場合、個人レベルのデータが必要です。もし州レベルのデータを使ってしまうと、「ニューヨーク州では解約が多い」ことはわかっても、「ジョン・スミスさんが解約しそうか」までは予測できません。

豆知識： 粒度を変えるときは、よく集計（Aggregation）を行います。例えば、365日分の気温データを平均して「年平均気温」にすると、粒度は粗くなりますが、データは扱いやすくなりますね。

重要なポイント： データの粒度はビジネスの目標に合わせる必要があります。個人の行動を予測したいなら、データの1行は「個人」を表していなければなりません！

3. サンプリング：適切なグループの選別

データが多すぎて処理できない場合や、モデルの評価用にデータを分けておきたい場合があります。ここで登場するのがサンプリングです。サンプルとは、全体母集団から取り出した小さな部分集合のことです。

単純無作為抽出（Simple Random Sampling）

帽子の中から名前を引き出すような方法です。すべてのレコードが等しい確率で選ばれます。簡単ですが欠点もあります。もし非常に稀なイベント（珍しい病気や巨大な保険請求など）がある場合、無作為抽出ではそれらのケースが一つも選ばれない可能性があるのです！

層化抽出（Stratified Sampling）

これはより「賢い」サンプリング手法です。最初にデータをグループ（層）に分けます（年齢や性別など）。そして、それぞれのグループから抽出を行います。こうすることで、すべてのグループが最終的なデータセットに公平に含まれるようになります。

例え： 層状のケーキを試食するとき、「単純無作為抽出」だとクリームの部分だけをすくってしまうかもしれません。「層化抽出」なら、ひと口で全ての層を味わうことができますよね。

学習データ、検証データ、テストデータ

Exam PAでは、データをほぼ確実に以下の3つに分割します：
1. 学習データ（Training Set）： モデルがパターンを学ぶために「勉強」するデータ。
2. 検証データ（Validation Set）： モデルを「調整」するためのデータ（練習問題のようなもの）。どの設定が最適かを確認します。
3. テストデータ（Test Set）： 最終試験です。モデルが完成した後に一度だけ確認し、完全に新しいデータでどの程度通用するかを判定します。

よくあるミス： テストデータを見て、どの変数を使うか決めてしまうこと。これは「カンニング」です！テストデータは最後まで秘密にしておきましょう。

重要なポイント： サンプリングはデータを管理し、モデルを公平にテストするために不可欠です。特に、珍しいけれど重要なグループを確実に含めたい場合には、層化抽出が非常に役立ちます。

章のまとめとクイックヒント

• 時間枠： 「過去」（観測期間）と「未来」（パフォーマンス期間）を分けましょう。ラグタイムにも注意！
• 粒度： 目的に合わせて「ズームレベル」を調整しましょう。集計しすぎて重要な詳細を消さないように。
• サンプリング： 基本は無作為抽出、重要なグループを確実に拾うには層化抽出を使いましょう。必ず学習用とテスト用にデータを分けること。
• データデザインの覚え方： G.T.S.を忘れないでください（Granularity=粒度、Time frame=時間枠、Sampling=サンプリング）。プロジェクトを始める前に「範囲（Scope）を把握する」イメージです！

準備することが多いと感じるかもしれませんが、大丈夫です。予測分析では、仕事の80%が「データデザイン」を正しく行うことで決まります。土台さえしっかりしていれば、その後のモデリングはぐっとスムーズに進みますよ！頑張ってください！