ビッグデータの世界へようこそ！
こんにちは！CFA Level Iのカリキュラムの中でも、最も現代的でエキサイティングな数量分析（Quantitative Methods）セクションへようこそ。投資会社がなぜ駐車場の衛星写真を使って小売売上高を予測するのか、Netflixがなぜ次にあなたが見たい映画を正確に言い当てられるのか、不思議に思ったことはありませんか？その答えはまさにここにあります！
「自分はテクノロジーには疎いから」と心配する必要はありません。この章では、プログラミングコードの書き方を学ぶわけではありません。ビッグデータというものが金融の世界をどのように変えているのかを理解するために、概念（コンセプト）と専門用語を学んでいきます。それでは、さっそく見ていきましょう！
1. ビッグデータとは正確には何か？
「昔」は、データといえばスプレッドシート上の数字を意味していました。しかし今日、データはあらゆる場所に存在しています。ビッグデータ（Big Data）とは、従来のデータ処理ソフトウェアでは到底扱えないほど巨大で複雑なデータセットのことを指します。
ビッグデータの特徴を覚えるには、3つのVを思い浮かべてください：
1. Volume（量）： データの絶対的なボリューム。メガバイトではなく、テラバイトやペタバイト単位の話です。例：ニューヨーク証券取引所（NYSE）で行われたすべての取引履歴。
2. Velocity（速度）： データが生成され、移動するスピード。金融の世界では、価格はミリ秒単位で変化します。例：決算発表時のソーシャルメディアのリアルタイム投稿。
3. Variety（多様性）： データにはあらゆる形や種類があります。単なる数字だけでなく、テキスト、動画、音声などが含まれます。例：PDFレポート、ツイート、衛星写真。
クイックレビュー：3つのV
Volume = サイズ（量）
Velocity = スピード（速度）
Variety = タイプ（多様性）
2. このデータはどこから来るのか？
カリキュラムでは、データソースを主に3つのバケツに分類しています。データの生成元である「誰が」「どこで」という視点で考えてみてください：
A. 金融市場（Financial Markets）： 取引所から生成されるデータです。株価、取引高、「気配値（リミットオーダーブック）」などが含まれます。通常、これらは非常に高速です（高Velocity）。
B. 個人（Individuals）： 私たち一人ひとりが生み出すデータです！Instagramへの投稿、Googleでの検索、クレジットカードでの支払いなど、あなたが行動するたびにデータが生まれます。多くの場合、これらは非構造化データ（Unstructured）（テキストや写真など）です。
C. 企業・ビジネスプロセス（Corporate/Business Processes）： ビジネスの副産物として生まれる「エグゾースト・データ（排気データ）」です。在庫記録や、輸送コンテナや工場機械のセンサーから送られるモノのインターネット（IoT）データなどがこれにあたります。
例え：スーパーマーケットを想像してみてください。「金融市場」データは棚に並んだ価格です。「個人」データはTwitterで顧客が製品について語っている内容です。「Corporate」データは、牛乳冷蔵庫のセンサーがマネージャーに対して「温度が上がってきている」と知らせる信号のようなものです。
3. 構造化データ vs 非構造化データ
これは試験で非常によく出るトピックです。データの整理方法の違いを理解しておくことは非常に重要です。
構造化データ（Structured Data）： 行と列（Excelのスプレッドシートのような）で、明確に定義された形で整理されているデータです。コンピュータが読み取りやすいのが特徴です。例：財務諸表、株価。
非構造化データ（Unstructured Data）： 整理されておらず、整然とした表には収まりません。ビッグデータの大半は非構造化データです。 例：ソーシャルメディアの投稿、ニュース記事、企業への電話記録、衛星写真。
半構造化データ（Semi-Structured Data）： 両者の中間です。ある程度の組織化はされていますが、標準的な表形式には完全に当てはまりません。例：HTMLウェブページ。
重要なポイント
投資マネージャーは、競合他社に対して優位に立つために、非構造化データを構造化された洞察に変えようと躍起になっています！
4. 機械学習（Machine Learning: ML）入門
ビッグデータが「燃料」なら、機械学習は「エンジン」です。機械学習は人工知能（AI）の一分野で、コンピュータがあらゆるステップを明示的にプログラムされなくても、データの中からパターンを見つけ出す手法です。
カリキュラムでは、機械学習を主に3つのカテゴリーに分類しています。名前に圧倒されないでください。概念はとてもシンプルです：
A. 教師あり学習（Supervised Learning）
教師あり学習では、コンピュータに「ラベル付けされた」データを与えます。つまり、入力データとともに「正解」も与えることで、その間の関係性を学ばせます。先生が生徒に解答集を与えて勉強させるようなイメージです。
例：1,000枚の「猫」というラベル付き写真と、1,000枚の「犬」というラベル付き写真をコンピュータに与えます。すると最終的に、コンピュータは自力で猫を識別できるようになります。金融では、実際に破綻した企業の過去データに基づき、ある企業が破綻するかどうかを予測するのに使われます。
B. 教師なし学習（Unsupervised Learning）
教師なし学習では、ラベルや「正解」は一切与えられません。コンピュータはデータを見て、隠れたパターンやグループを自力で探し出します。子供にバラバラの積み木を渡して、どう分類するか観察するようなものです。
例：500種類の株データを与えると、コンピュータは「テック株」や「エネルギー株」といった教え方をしなくても、その挙動に基づいて勝手にカテゴリー分けを行います。
C. ディープラーニング（Deep Learning）
ディープラーニングは、ニューラルネットワークを使用する、より複雑な機械学習の一種です。これは人間の脳をヒントにしています。音声認識や画像処理のような、非常に乱雑な非構造化データの処理を得意としています。
暗記用：S.U.D.
Supervised（教師あり） = Shown the answer（答えが示されている）
Unsupervised（教師なし） = Unknown patterns（パターンが不明）
Deep Learning（ディープラーニング） = Digital brain（デジタル脳：ニューラルネットワーク）
5. データ分析のステップ
どれほど強力なコンピュータを使っても、プロセスに従う必要があります。「ゴミを入れればゴミが出る（Garbage In, Garbage Out）」からです！典型的なワークフローは以下の通りです：
1. 目標の設定： 何を解決しようとしているのか？（例：「Appleの次の四半期売上高を予測する」）
2. データ収集： さまざまなソースからデータを集める（API、Webスクレイピングなど）。
3. データ準備（加工/Wrangling）： ここが最も大変な作業です！データのクリーニング、欠損値の処理、形式の統一などを行います。
4. データ探索： データを視覚的に確認し、異常値や興味深い傾向を見つけ出します。
5. モデル学習： いよいよ機械学習の出番です！アルゴリズムを実行してパターンを見つけます。
6. 解釈と評価： 結果を確認します。モデルは本当に機能しているか？精度はどれくらいか？
よくある間違い：学生は「モデル学習」が最初のステップだと思いがちですが、実際は最後の方です！時間のほとんどはデータクリーニング（ステップ3）に費やされます。
6. ニューラルネットワークを詳しく見る
ニューラルネットワークの構造に関する問題が出るかもしれません。以下の3つの部分を覚えておけば大丈夫です：
1. 入力層（Input Layer）： データがシステムに入ってくる場所。
2. 隠れ層（Hidden Layers）： 魔法（と数学）が起きる場所です。何層にも重なることがあります。情報を段階的に処理します。
3. 出力層（Output Layer）： 最終的な結果や予測が出力される場所。
例え：キッチンを想像してください。生の食材が入力です。裏方で働くシェフや副シェフたちが隠れ層です。顧客に提供される完成した料理が出力です。
7. 最終チェックリスト
練習問題に進む前に、これらに答えられるか確認してください：
- 3つのVを言えるか？（Volume, Velocity, Variety）
- 構造化データと非構造化データの違いはわかるか？
- 教師あり学習（ラベルあり）と教師なし学習（ラベルなし）の違いを説明できるか？
- 「データ準備」がプロセスの大部分を占めることを理解しているか？
あなたなら大丈夫！ ビッグデータと聞くと難しそうに感じるかもしれませんが、投資判断をより良くするための新しいツールに過ぎません。この調子で頑張りましょう！