データ「配管工事」の世界へようこそ！

ようこそ！洗練された予測モデルの構築や複雑なアクチュアリー計算を行う前に、まずはデータがどこから来て、どのように私たちの手元に届くのかを理解する必要があります。この章では、データベース管理とETL処理に焦点を当てます。これは予測分析における「配管工事」のようなものだと考えてください。パイプが漏れていたり、流れてくる水が汚れていたりすれば、どれほど高性能な蛇口（モデル）を用意しても、出てくる結果は悲惨なものになってしまいますからね！

このノートを読み終える頃には、データの保存方法、場所から場所へのデータの移動方法、そしてモデルで使えるようにデータをきれいにする方法が理解できているはずです。データベースに触ったことがなくても心配はいりません。一歩ずつ着実に進んでいきましょう！

1. データベースとは？

ごく簡単に言うと、データベースとは構造化された情報の集合体のことです。アクチュアリーの分野では、主にリレーショナルデータベースを扱います。

例え：巨大なデジタル書類棚を想像してください。引き出し一つひとつがテーブルです。引き出しの中にはフォルダ（行またはレコード）が入っており、各フォルダの中には名前、証券番号、保険金支払額などの特定の情報（列またはフィールド）が記されています。

覚えておくべき重要用語：
- テーブル：行と列で構成されたデータの集合。
- レコード（行）：テーブル内の個別のデータエントリー（例：特定の契約者一人分）。
- フィールド（列）：特定の情報カテゴリ（例：「生年月日」）。
- スキーマ：データベースの「設計図」や構造。

クイック復習：データベースは「保管場所」、テーブルはその中の「構造」、そして行と列が実際の「データポイント」です。

2. 「リレーショナル」の正体：キーとリンク

データベースが「リレーショナル（関係的）」である理由は、キーを使ってテーブル同士を関連付けられるからです。これはExam ATPAにおいて非常に重要です。なぜなら、「保険金請求データ」と「契約者属性データ」のように、異なるソースのデータを組み合わせる必要がある場面が頻繁にあるからです。

主キー（Primary Key） vs. 外部キー（Foreign Key）

主キー (PK)：テーブル内の各レコードを一意に識別するためのもの。必ず固有の値である必要があり、空（null）であってはなりません。例：マイナンバーや固有の証券番号など。

外部キー (FK)：あるテーブルの列が、別のテーブルの主キーを指し示すもの。これがテーブル同士をつなぐ「橋渡し」になります。

覚え方のヒント：主キーはパスポート番号（あなた個人を特定するもの）だと考えてください。外部キーは、ホテルのチェックインフォームに記入するパスポート番号のようなものです。ホテルの記録をあなたの身分証明と紐づけていますよね。

よくある間違い：すべてのテーブルが1列だけで主キーを構成していると思わないでください。時には2つ以上の列を組み合わせて一意の識別子を作る複合キーが必要になることもあります（例：証券番号＋連番）。

3. ETL（抽出・変換・格納）を理解しよう

ETLは、データをソース（レガシーなメインフレームなど）からターゲット（モデルを実行するデータウェアハウスなど）へ移動させるプロセスです。

覚え方のヒント：「Eat Tasty Lunch（美味しいランチを食べよう）」(ETL)
1. Extract（抽出）：冷蔵庫から食材を出す（データソースからデータを取得する）。
2. Transform（変換）：刻んで、味付けして、調理する（データをクリーニングし、フォーマットを整える）。
3. Load（格納）：お皿に盛り付ける（最終的なシステムへデータを保存する）。

ステップ1：抽出 (Extract)

このフェーズでは、さまざまなソースからデータを取得します。SQLデータベース、Excel、あるいはPDFの請求フォームのような「非構造化データ」も含まれます。ここでのゴールは、元のソースに影響を与えることなく、データをステージングエリアに取り込むことです。

ステップ2：変換 (Transform)

ここが一番の踏ん張りどころです。「野生のデータ」は多くの場合、汚れています。変換には以下の作業が含まれます：
- クリーニング：タイプミスを修正したり、重複レコードを削除したりする。
- フィルタリング：必要なレコードのみを残す（例：過去5年分の契約のみ抽出）。
- 結合 (Joining)：複数のテーブルを一つにまとめる。
- 集計 (Aggregating)：データを要約する（例：年間の支払保険金合計を計算）。
- 派生 (Deriving)：新しい変数を作成する（例：\( \text{年齢} = \text{現在の日付} - \text{生年月日} \)）。

ステップ3：格納 (Load)

最後に、「きれいになった」データをターゲットシステム（通常はデータウェアハウス）にロードします。これで、RやPythonでの予測モデリングにデータを利用する準備が整いました。

重要ポイント：ETLは、モデリングに使うデータが整合性があり、正確で、適切にフォーマットされていることを保証するために不可欠です。

4. データウェアハウス vs. データレイク

アクチュアリーとして働いていると、この2つの言葉をよく耳にするはずです。シンプルに違いを整理しておきましょう。

データウェアハウス：高度に構造化されています。すべての本がラベル付けされ、決まった場所に整理されている図書館のようなものです。「きれいな」データを使ってレポートを作成するのに適しています。

データレイク：あまり構造化されていません。巨大な水槽に、あらゆるデータを生の状態で放り込んでいるイメージです。保存コストは安いですが、扱うには少し手間がかかります。

豆知識：最近の企業の多くは「レイクハウス」というアプローチを採用しています。データレイクの柔軟性とデータウェアハウスの整理整頓の良さを両立させようという考え方です！

5. ETLでよく使われるSQL操作

Exam ATPAではSQLをゼロから記述する複雑な試験は出ないかもしれませんが、データがどう操作されるかの論理を理解しておく必要があります。最も重要な概念はJOIN（結合）です。

テーブルA（顧客）とテーブルB（請求）があるとします：

1. 内部結合 (Inner Join)：両方のテーブルに一致するレコードのみを返す。（請求実績がある顧客のみ）。
2. 左外部結合 (Left Join)：左側のテーブルの全レコードと、右側のテーブルの一致するレコードを返す。一致するものがない場合はNullになる。（すべての顧客を対象とし、請求情報があれば表示する）。
3. 完全外部結合 (Full Outer Join)：両方のテーブルのすべてを返し、可能な限りマッチングさせる。

励ましのメッセージ：結合は少しややこしいですよね！でも大丈夫。基本的には「左」のテーブルを起点（あなたの「マスターリスト」）にして、そこへ「右」のテーブルから情報を「くっつけて」いくイメージを持てば理解しやすくなりますよ。

6. データの整合性と検証

ETLプロセスの間、常にデータの整合性 (Data Integrity)を意識しなければなりません。これはデータが正確かつ矛盾なく保たれていることを意味します。

実施すべき検証チェック：
- レコード数：最初は1,000行だったのに、終わったら1,000行になっていますか？
- Nullチェック：主キーなど、空であってはいけない場所に欠損値はありませんか？
- 範囲チェック：「年齢」カラムに-5や200といった、ありえない値は混入していませんか？
- 重複チェック：同じIDのレコードが複数存在しませんか？

要約・重要ポイント：
データベース管理とは、テーブルやキーを使ってデータをどう保存・関連付けるかという話です。ETLは、そのデータを移動・精錬するプロセスです。ATPA受験生としての目標は、モデルに読み込むデータが厳格なETLプロセスを通ったものにすること。予測の元となる水が「泥水」ではなく「きれいな水」であるようにしましょう！

クイック復習ボックス：
- 抽出 (Extract)：生データを手に入れる。
- 変換 (Transform)：クリーニング、結合、計算を行う。
- 格納 (Load)：最終目的地へ保存する。
- 主キー：行を特定するユニークID。
- 外部キー：他のテーブルの主キーと紐づけるもの。