分類木のワールドへようこそ！
前回の学習では、住宅価格や保険請求額のような数値を予測するための回帰木（Regression Trees）について学びました。しかし、「このドライバーは保険請求を行うか？（はい/いいえ）」や「この腫瘍は悪性か良性か？」といった、カテゴリを予測したい場合はどうすればよいのでしょうか？
そこで登場するのが分類木（Classification Trees）です！分類木は、データを正しい「バケツ（グループ）」に分類するための質問の連続だと考えてください。視覚的に分かりやすく、アクチュアリー以外の専門家にも説明しやすいため、Exam SRMで後に学ぶより複雑なモデルの基礎となります。さあ、詳しく見ていきましょう！
1. 分類木とは？
分類木は、量的変数ではなく、質的（カテゴリ）な応答変数を予測するために使用されます。
分類木では、各観測値が属する領域の中で、最も頻繁に出現するクラスをその領域の予測値とします。これは多数決ルールや最頻値（モード）とも呼ばれます。
実世界での例え：果物の選別を想像してください。最初の質問は「丸いか？」、次は「赤いか？」かもしれません。質問が終わる頃には、その果物を「リンゴ」と分類できています。数値を計算したのではなく、カテゴリを見つけ出したのです。
クイックレビュー： - 回帰木： 平均値を予測する（例：5,000ドル）。 - 分類木： カテゴリを予測する（例：「高リスク」）。
2. 木の構築：再帰的二分割
回帰木と同様に、分類木も再帰的二分割（Recursive Binary Splitting）を用いて構築します。一番上のノードから始めて、説明変数に基づいてデータを2つの枝に分割し、それぞれの枝に対して同じプロセスを繰り返します。
しかし、ここで問題があります。回帰木では分割の決定にRSS（残差平方和）を使いましたが、分類木では「リンゴ」から「オレンジ」を引くことはできないため、RSSは使えません！その代わり、ノードの純度（Node Purity）を測定する方法が必要になります。
なぜ「純度」が重要なのか？
分割の結果としてできるグループ（ノード）は、できるだけ「純粋」であることが理想です。純粋なノードとは、ほとんどの観測値が同じカテゴリに属している状態を指します。ノードが「不純」であるということは、異なるカテゴリが混ざり合っている状態を意味します。
3. 不純度の測定：3つの主要な指標
どこで分割するかを決めるために、最も不純度が低くなる分割点を探します。SRMのカリキュラムでは、以下の3つの一般的な測定方法があります：
A. 分類誤り率（Classification Error Rate）
これは最も単純な尺度です。その領域における訓練観測値のうち、最頻クラスに属さないものの割合です。
\( E = 1 - \max_k(\hat{p}_{mk}) \)
ここで、\( \hat{p}_{mk} \) は、m番目の領域におけるk番目のクラスの観測値の割合を表します。
よくある落とし穴：シンプルですが、分類誤り率は木を成長させるための尺度としては感度が不足しています。後で木の枝打ち（剪定）を行うには適していますが、最初の分割を決めるのには向きません。
B. ジニ係数（Gini Index）
ジニ係数は、カテゴリ全体にわたる変動の尺度です。次のように定義されます：
\( G = \sum_{k=1}^K \hat{p}_{mk}(1 - \hat{p}_{mk}) \)
重要概念：ノード内のすべての観測値が1つのクラスに属している（純粋な）場合、ジニ係数はゼロになります。逆にクラスが均等に分かれている（不純な）場合、ジニ係数は高くなります。私たちはジニ係数を最小化することを目指します。
C. エントロピー（逸脱度 / Deviance）
エントロピーは情報理論から借りてきた概念で、ノード内の「無秩序さ」を測定します。次のように定義されます：
\( D = -\sum_{k=1}^K \hat{p}_{mk} \log \hat{p}_{mk} \)
ジニ係数と同様に、ノードが純粋であればエントロピーはゼロになり、混ざり合っていればエントロピーは高くなります。
覚え方：幼児でいっぱいの部屋を想像してください。 - 純粋： 全員が静かにブロックで遊んでいる（低エントロピー/低ジニ）。 - 不純： 叫んでいる子、寝ている子、ブロックを投げている子が混ざっている（高エントロピー/高ジニ）。
不純度指標のまとめ
1. 分類誤り率： 最終評価には良いが、分割には不向き。
2. ジニ係数： 分割に非常に適しており、「純度」を測定する。
3. エントロピー： 分割に非常に適しており、「無秩序さ」を測定する。
4. ジニ係数とエントロピーの比較
ジニ係数とエントロピーの数学的な違いについて深く悩みすぎる必要はありません。実際には、両者は非常に似た結果を出します。どちらも単純な分類誤り率よりもノードの純度に対して敏感です。
豆知識：木を構築する際、ソフトウェアはすべての可能な分割点に対してジニ係数またはエントロピーを計算し、最も不純度を減少させるものを選びます。これが「貪欲法（Greedy approach）」です！
5. 解釈と予測
木が完成したら、どう使うのでしょうか？
1. 新しい観測値を用意する。
2. 「はい/いいえ」の質問に従って木をたどり、葉ノード（末端ノード）に到達する。
3. その葉ノードの最頻クラスを予測結果とする。
例：ある葉ノードに「安全」なドライバーが80人、「リスクあり」のドライバーが20人いる場合、そのノードに到達した新しい人は「安全」と予測されます。
待って！確率はどうなるの？
分類木はクラスに属する確率も予測できます。上の例で言えば、その人が「安全」なドライバーである確率は80%である、と言うことができます。
6. 分類木のメリットとデメリット
SRM試験においては、いつ木を使うべきか、どのような場合に失敗する可能性があるかを知っておくことが重要です。
メリット：
- 説明が容易： 木の図を見せるだけで、マネージャーなどは直感的に理解できます。
- ダミー変数が不要： カテゴリ変数（「色」など）を0や1に変換することなく、自然に扱えます。
- 人間らしい意思決定を模倣： 私たちは普段から「もし〜なら〜」という形式で考えています。
デメリット：
- 分散が大きい： データの小さな変化が、まったく異なる木を生み出してしまうことがあります（これが最大の弱点です！）。
- 予測精度の低さ： 単一の木は、他のモデル（GLMなど）ほど精度が高くないことがよくあります。注：これが、後に「フォレスト」や「ブースティング」を学ぶ理由です！
7. 試験のための重要ポイント
1. 予測ルール： 領域内の訓練データの最頻値（モード）を予測する。
2. 分割基準： 純粋なノードを作るため、ジニ係数またはエントロピーを使用して木を成長させる。
3. 誤り率： 分類誤り率は、初期の分割ではなく、主に枝打ちや最終的な評価に使用される。
4. 解釈性： 木は解釈が非常に容易だが、分散が大きくなりがちである。
エントロピーの計算式が難しく見えても心配しないでください！ 試験では、複雑な対数を導出するよりも、純度という概念について問われたり、簡単なジニ係数の計算を求められたりすることの方が多いです。なぜ「純粋なノード」を目指すのか、その理由を理解することに集中しましょう！