データ変換のためのクラスタリングへようこそ！

こんにちは！Exam PAの中でも特にクリエイティブな分野へようこそ。通常、クラスタリングというと「顧客をセグメント化する」といった「最終的なゴール」として考えがちです。しかし、この章ではクラスタリングを、GLM（一般化線形モデル）や決定木といった「他のモデルの性能を向上させるためのツール」として捉えていきます。これが、私たちが「データ変換（Data Transformation）」と呼ぶプロセスです。生のデータを、予測モデルにとって強力な新しい特徴量となる「クラスターラベル」に変換する方法を学んでいきましょう。

教師なし学習という言葉に少し抽象的な難しさを感じても大丈夫です。シンプルな例えを使って、ステップバイステップで紐解いていきます。さあ、始めましょう！


1. 基本：クラスタリングとは何か？

クラスタリングを使ってデータを変換する前に、まずそれが何であるかを理解する必要があります。教師なし学習では、ターゲット変数（y）が存在しません。手元にあるのは特徴量（x）だけです。クラスタリングとは、同じグループ内の要素が他のグループよりも互いに似通うように、データ内に自然なグループ分けを見つけ出すプロセスです。

クイック復習：散らかった部屋を想像してみてください。「靴下」を一つの山に、「シャツ」をもう一つの山に分ける作業がクラスタリングです。誰からも指示されていなくても、靴下同士が似ていることに気づけば分けることができますよね。それがクラスタリングです！


2. K-meansクラスタリング

K-meansは最もポピュラーなクラスタリング手法です。データをK個の重複しないグループに分割しようとするアルゴリズムです。

K-meansの仕組み（ステップバイステップ）

1. Kを決める：作りたいクラスターの数を決定します（例：K=3）。
2. 初期化：コンピュータがランダムに3つの点を「中心（セントロイド）」として選びます。
3. 割り当て：すべてのデータポイントは、最も近い中心点を持つグループに属するように分類されます。
4. 更新：中心点が、新しいグループの中央位置に移動します。
5. 繰り返し：中心点が動かなくなるまで、ステップ3と4を繰り返します。

スケーリング（標準化）の重要性

重要ポイント：K-meansは「どのデータがどこに属するか」を判断するのにユークリッド距離を使用します。その式は以下の通りです。
\( d(x, y) = \sqrt{\sum_{i=1}^{n} (x_i - y_i)^2} \)
距離を用いるため、実行前に必ずデータをスケーリング（標準化）しなければなりません！もし「年収（数千ドル単位）」と「年齢（0-100歳）」という変数が混在していると、年収の単位が距離の計算を完全に支配してしまいます。スケーリングを行うことで、変数を公平に扱うことができるのです。

よくある間違い：Exam PAで非常に多いミスが、K-meansの前にスケーリングを忘れることです。変数間でスケールが異なっていないか、常にチェックしましょう！

適切な「K」の選び方

Kを2にするか、3にするか、あるいは10にするべきか、どう判断すればよいでしょうか？そこで役立つのがエルボー法です。クラスター内のばらつきを示す「クラスター内平方和（Total Within-Cluster Sum of Squares）」をクラスター数に対してプロットします。そのグラフの「肘（エルボー）」、つまりクラスターを増やしても改善効果が薄くなるポイントを探します。

キーポイント：K-meansは高速でシンプルですが、事前にKを決定する必要があり、クラスターが球状に近い場合に最もよく機能します。


3. 階層的クラスタリング

K-meansとは異なり、階層的クラスタリングでは最初に「K」を決める必要はありません。代わりに、木構造を構築していきます。

凝集型（ボトムアップ）クラスタリング

家系図を逆からたどるようなイメージです。最初は各データポイントがそれぞれ独立した小さなクラスターです。そこから、最も近い2つのポイントが結合してペアになり、次に近いものが結合していき、最後には全員がひとつの大きなグループになります。

デンドログラム

その結果得られるのが、逆さまの木のような美しい図であるデンドログラムです。クラスターの数を決めるには、木を水平に「カット」するだけです。どこでカットするかによって、最終的なクラスター数が決まります！

リンケージ：グループ間の距離の測り方

ポイントの「グループ」同士を結合する際、距離を測るルールが必要です。これをリンケージ（Linkage）と呼びます。
• 完全連結法（Complete Linkage）：クラスター内の「最も遠い」ポイント間の距離を使用します。
• 単連結法（Single Linkage）：「最も近い」ポイント間の距離を使用します（細長いクラスターになりやすい）。
• 平均連結法（Average Linkage）：すべてのペアの平均距離を使用します。
• ウォード法（Ward’s Method）：クラスター内の分散を最小化します（似たサイズのグループを作るため、アクチュアリー業務で非常に人気があります）。

キーポイント：階層的クラスタリングはグループ間の関係性を見るのに最適ですが、非常に大規模なデータセットでは処理が遅くなることがあります。


4. データ変換へのクラスタリング活用

ここがExam PAで最も重要な部分です！クラスターが得られたら、それを使ってどうやってモデルを改善するのでしょうか？

「クラスター所属」特徴量の作成

アルゴリズムが終わると、データ内の各行にラベル（例：クラスター1、クラスター2、クラスター3）が付与されます。このラベルを、データセットの新しいカテゴリ変数として追加することができます。

なぜこれが役立つのか？
1. 非線形性の捕捉：単純なGLMでは複雑なパターンを扱うのが難しい場合があります。似た特徴を持つ観測値をグループ化することで、クラスターラベルが線形モデルでは捉えきれない「振る舞いの塊」を捉えてくれます。
2. 交互作用の特定：クラスターは、複数の特徴量の組み合わせを表現することが多いです（例：「高負債の若者層」）。年齢と負債の交互作用項を自分で作る代わりに、クラスターラベルがその役割を果たしてくれます！
3. 次元削減：10個の複雑な変数を使う代わりに、それらを要約した1つのクラスターラベルを使うことで、モデルがシンプルになり、ステークホルダーへの説明も容易になります。

現実の例：自動車保険の請求額を予測する場合、あるクラスターが「都市部に住む高走行距離ドライバー」を表しているかもしれません。モデルに「場所 * 走行距離」の明示的な交互作用項がなくても、クラスターラベルがモデルに対して「このグループは高リスクだ！」というヒントを教えてくれるのです。


5. まとめとベストプラクティス

クイック復習ボックス：
• K-means：高速、Kの指定が必要、スケーリング必須、「球状」のグループを作る。
• 階層的：視覚的（デンドログラム）、Kを先に決めなくて良い、リンケージの選択が重要。
• 変換：クラスター割り当て結果を、教師あり学習モデル（GLMやGBMなど）の新しいカテゴリ特徴量として使う。
• スケーリング：クラスタリングの前に、必ず数値データを標準化すること！

豆知識：クラスタリングは「隠れた構造を見つける」作業と言われることがよくあります。Exam PAでは、その構造を見つけ出し、予測モデルに対して「どの観測値が似ているか」というヒントを与えることがあなたの役割です。

最後に応援メッセージ：リンケージの種類やユークリッド距離の数式を難しく感じるかもしれませんが、あまり細かいことに固執しすぎないでください。重要なのは「なぜクラスタリングをするのか？」という目的です。それは、複雑なデータを単純化し、モデルがより明確にパターンを認識できるように新しい特徴量を作ることです。あなたならきっと大丈夫です！