ビッグデータプロジェクトの世界へようこそ！
こんにちは！CFAレベルIIまで到達した皆さんなら、データが現代の金融における生命線であることは既にご存じですよね。この章では、単純なスプレッドシートの枠を超えて、ビッグデータプロジェクトの体系的なワークフローへと踏み込んでいきます。投資会社が生の雑多なデータからどのようにして「投資シグナル」を生み出しているのか、その「取扱説明書」だと思ってください。コンピュータ科学の専門家でなくても大丈夫ですよ。論理的なステップと身近な例えを使って、一つずつ分かりやすく解説していきますね。
1. ビッグデータプロジェクトのライフサイクル
ビッグデータプロジェクトは単なる「数値計算」ではありません。そこには明確で論理的な順序があります。ステップを一つでも飛ばすと、分析全体が台無しになってしまうこともあります。複雑なケーキを焼くときを想像してみてください。材料の準備が正しくできていなければ、どんなに高性能なオーブンを使っても台無しですよね！
標準的なワークフローは以下の5つのステップで構成されます。
1. プロジェクトの概念化： 問題の定義。
2. データ収集： 原材料の収集。
3. データ準備（ラングリング）： クリーニングと整理。
4. モデル構築： いわゆる「機械学習」のプロセス。
5. モデル評価： 結果が実際に有用かどうかの検証。
ワンポイント： データサイエンティストの業務の80%はデータ準備に費やされると言われています。CFA試験においても、このクリーニングのステップには細心の注意を払ってくださいね！
2. ステップ1＆2：概念化とデータ収集
データに触れる前に、まず自問自答する必要があります。「自分は何を解決しようとしているのか？」株価を予測したいのか、不正取引を検知したいのか。目標が決まって初めて、データを収集します。
データソースの種類
ビッグデータプロジェクトでは、主に2種類のデータを扱います。
- 構造化データ： 通常のExcelシートをイメージしてください。行と列に整理されています（例：過去の株価、PERなど）。
- 非構造化データ： ニュース記事、SNSの投稿、決算説明会のトランスクリプトなど、「整理されていない」データです。これを理解するには、通常自然言語処理（NLP）が必要になります。
重要なポイント： あらゆるプロジェクトの基盤は、明確な目的と多様で信頼できるデータソースです。
3. ステップ3：データ準備（「クリーニング」フェーズ）
生データはほぼ間違いなく「汚れて」います。エラーや欠損値、おかしな外れ値が含まれているものです。これを修正するためにデータラングリング（または前処理）を行います。
A. 欠損値の処理
データが欠落している場合、主に2つの選択肢があります。
- 除外： その行を削除する。（注意！削除しすぎると貴重な情報まで失ってしまいます）。
- 代入（インピュテーション）： 他のデータポイントの平均値などを使って、論理的な予測値で空白を埋める。
B. 外れ値の処理
外れ値はモデルを歪めてしまう極端な値です。以下の方法をとります。
- トリミング： 上位1%と下位1%のデータを削除する。
- ウィンザイゼーション： 削除する代わりに、ある特定のパーセンタイル値に置き換える（例：99パーセンタイルの値を95パーセンタイルの値に書き換える）。
C. スケーリングと正規化
株価（2,000ドル）と配当利回り（0.02）を比較するところを想像してみてください。モデルは単に数値が大きいという理由だけで、株価を「より重要」だと誤解する可能性があります。これを正すためにスケーリングを行います。
- 最小最大スケーリング（Min-Max Scaling）： すべてのデータを0から1の範囲に収める。
- 標準化（Standardization）： 平均を0、標準偏差を1にするようにデータを中心化する。
覚え方： S.O.M.（Scale/スケーリング, Outliers/外れ値, Missing/欠損値）。誰かにデータ準備の手順を聞かれたら、この3つを思い出してください！
4. ステップ4：モデル構築
いよいよ「AI」の部分です。データを以下の2つのグループに分けます。
1. 学習用データ（トレーニングセット）： モデルがパターンを「学ぶ」ためのデータ。
2. テスト用データ（テストセット）： モデルが実際に機能するかを確認するための新しいデータ。
よくあるミス： データ漏洩（Data Leakage）。 テストセットの情報がトレーニングセットに「漏れ」てしまう現象です。試験の解答を事前に見てからテストを受ける学生のようなもので、100点を取れても何も学んでいませんよね！
過小適合 vs. 過学習
- 過小適合（Underfitting）： モデルが単純すぎる状態（高バイアス）。トレンドを捉えきれません。
- 過学習（Overfitting）： モデルが複雑すぎて、学習データの「ノイズ」まで暗記してしまった状態（高バリアンス）。学習データには完璧ですが、現実の新しいデータには全く通用しません。
重要なポイント： 私たちが目指すのは「ちょうどいい」モデルです。単純すぎず、複雑すぎない（低バイアスかつ低バリアンスな）モデルが理想です。
5. ステップ5：モデル評価（成功の測定）
モデルが優れているかどうかをどう判断すればよいでしょうか？分類タスク（「買い」vs「売り」など）には、混同行列（Confusion Matrix）を使います。
会社が倒産するかどうかを予測するモデルを想像してみてください。
- 真陽性（TP）： 倒産と予測し、実際に倒産した。（正解！）
- 真陰性（TN）： 倒産しないと予測し、実際に倒産しなかった。（正解！）
- 偽陽性（第一種の過誤）： 倒産すると予測したが、健全なままだった。（空振り）
- 偽陰性（第二種の過誤）： 健全と予測したが、倒産してしまった。（最も危険なエラー！）
暗記すべき主要指標：
1. 適合率（Precision）： 「倒産する」と予測した中で、実際に倒産した割合は？
\( Precision = \frac{TP}{TP + FP} \)
2. 再現率（Recall / Sensitivity）： 実際に倒産した全ケースのうち、どれだけを予測できたか？
\( Recall = \frac{TP}{TP + FN} \)
3. 正解率（Accuracy）： 全予測のうち、正解した割合。
\( Accuracy = \frac{TP + TN}{Total} \)
4. F1スコア： 適合率と再現率の調和平均。不均衡データ（例：会社の99%は倒産しないが、1%だけ倒産するような場合）の際に使用します。
知っていましたか？ 高い正解率は人を欺くことがあります！企業の99%が健全であれば、全員を「倒産しない」と予測する「愚かな」モデルでも正解率は99%になりますが、倒産する1%を見つけ出す役には全く立ちません。だからこそ、F1スコアが重要なのです。
6. パフォーマンスの可視化：ROC曲線とAUC
二値分類では、よくROC曲線（Receiver Operating Characteristic curve）を使用します。
- これは真陽性率（再現率）を偽陽性率に対してプロットしたものです。
- AUC（曲線下面積：Area Under the Curve）は、モデルの分類性能の良さを示します。
- AUCが1.0なら完璧。0.5ならコイン投げと同じ（ランダム）ということです。
まとめと最終確認
- プロセス： 概念化 -> 収集 -> 準備 -> 構築 -> 評価。
- ラングリング： 欠損値の修正やデータのスケーリングは、「公平な」比較のために不可欠。
- 過学習： 機械学習の敵。モデルが柔軟すぎると発生します。
- 指標： 正解率だけを信じてはいけません。適合率（空振りを避ける）と再現率（見落としを防ぐ）を確認しましょう。
- 不均衡データ： 「陽性」イベントが稀な場合は、必ずF1スコアやAUCを確認してください。
適合率と再現率の数式が最初は難しく感じるかもしれませんが、大丈夫です。「適合率（Precision）」は「正確（precise）に予測できているか」、「再現率（Recall）」は「存在するすべてのケースを再現（recall）できているか」、というイメージで押さえておけば完璧です！