リスク指標の質を評価する：現実を直視するためのチェックリスト
皆さん、こんにちは！FRM Part IIのカリキュラムの中でも、極めて実践的な章へようこそ。前の章では、VaR（バリュー・アット・リスク）やES（期待ショートフォール）といったリスク指標の計算方法を学びました。しかし、ここで一つの大きな疑問が生じます。「その計算された数値は、果たして本当に正しいのでしょうか？」
天気予報アプリを想像してみてください。アプリが「降水確率はわずか1%です」と予測しているのに、実際には1週間毎日土砂降りだったらどうしますか？おそらくそのアプリを削除してしまいますよね。リスク指標の質の評価とは、まさに自分たちのモデルが将来を正確に予測できているかをチェックする「採点」プロセスなのです。モデルが楽観的すぎると、危機を乗り越えるために必要な資本を確保できない可能性があるため、この評価は非常に重要です。
この章では、過去のデータを用いてモデルを検証するバックテスト（Backtesting）という手法について学習します。
1. VaR（バリュー・アット・リスク）のバックテスト
バックテストとは、VaRモデルが予測した損失と、実際に発生した損失を比較するプロセスです。私たちが注目するのは「例外（exceptions）」（「ブリーチ」や「外れ値」とも呼ばれます）です。
「例外」とは何か？
例えば、1日・99% VaRが100万ドルの場合で、実際に本日150万ドルの損失が発生したとします。これは「損失がVaRの推定値を超えた」ため、例外とみなされます。
例外の頻度
99% VaRモデルであれば、例外の発生率は1%であるはずです。100日間で1回、250日間（約1取引年）であれば2.5回の例外が発生することを期待します。
「ゴルディロックス（ちょうど良い）」問題：
1. 例外が多すぎる： モデルがリスクを過小評価しています。大きな損失に対する備えができていないため、危険な状態です。
2. 例外が少なすぎる： モデルがリスクを過大評価しています。一見「安全」ですが、本来他に回せるはずの資本を過剰に拘束しているため、非効率です。
重要ポイント：
優れたVaRモデルとは、設定した信頼水準と整合的な、まさに「ちょうど良い」回数の例外が発生するモデルのことです。
2. VaRの統計的検定：クピエック（Kupiec）の検定
数式が難しそうに見えても安心してください！これらの検定の目的は、発生した例外の数が統計的に有意なものなのか、それとも単なる偶然なのかを判断することです。
失敗率の検定（POF: Proportion of Failures Test）
クピエックが考案したこの検定は、例外の総数のみに着目します。尤度比（LR: Likelihood Ratio）検定を用いて、観測された失敗率がモデルの目標とする失敗率と有意に異なるかどうかを調べます。
帰無仮説（\( H_0 \)）は「モデルは正確である（失敗率は \( p \) に等しい）」というものです。
クピエックのPOF検定の式は以下の通りです：
\( LR_{POF} = -2 \ln \left[ \frac{(1-p)^{n-x} p^x}{(1-\hat{p})^{n-x} \hat{p}^x} \right] \)
各項の意味：
- \( n \) = 観測回数の合計
- \( x \) = 例外の発生回数
- \( p \) = 理論的な失敗率（例：99% VaRなら0.01）
- \( \hat{p} \) = 観測された失敗率（\( x/n \)）
クイックレビュー： この検定は自由度1のカイ二乗（\( \chi^2 \)）分布に従います。\( LR \)の値が臨界値（95%信頼水準で通常3.84）を超えた場合、そのモデルは棄却（不合格）となります！
3. 独立性検定：クリストファーセン（Christoffersen）の検定
クピエックの検定には欠点があります。それは「例外の発生時期」を考慮せず、単純に総数しか数えない点です。例えば、銀行で1週間に5回も例外が発生したとしましょう。年間で合計5回であればクピエックの検定はパスするかもしれませんが、短期間に集中して発生することは、市場の状況変化にモデルが追従できていないことを示唆します。これをボラティリティ・クラスタリング（ボラティリティの集中）と呼びます。
クリストファーセンの独立性検定は、例外同士が独立しているかをチェックします。つまり、「昨日例外が発生した場合、今日も発生する可能性が高まるのか？」を問いかけます。
バックテストの質の3段階：
1. 無条件カバレッジ： 例外の数は正しいか？（クピエックの検定）
2. 独立性： 例外はランダムに分散しているか？
3. 条件付きカバレッジ： 上記2つの組み合わせ。数は正しいか、かつ、分散しているか？
暗記のコツ： クピエックは「数（カウント）」を数え、クリストファーセンは「間隔（スペース）」をチェックする！
4. バーゼル委員会の「信号機」システム
規制当局（バーゼル委員会）は、過去250日間の99%信頼水準におけるバックテスト結果に基づき、銀行を色分けしてペナルティを課すシンプルなシステムを採用しています。
1. グリーンゾーン（例外0〜4回）：
モデルは「良好」とみなされます。規制上のペナルティはありません。資本賦課の「乗数（multiplication factor）」は基準レベル（通常3）のままです。
2. イエローゾーン（例外5〜9回）：
モデルは「疑わしい」と判断されます。当局は乗数に「プラス」の係数を加算することで、資本要件を引き上げます。これは交通違反の警告切符のようなものです。
3. レッドゾーン（例外10回以上）：
モデルは「故障」しています。ほぼ確実に欠陥があるとみなされます。乗数は大幅に引き上げられ（通常1.0加算）、当局がそのモデルの使用停止を命じる可能性もあります。
知っていましたか？ 「レッドゾーン」が10回から始まる理由は、正しく機能している99%モデルにおいて、250日間で10回以上の例外が発生する確率は極めて低い（0.01%未満）からです。
5. ES（期待ショートフォール）のバックテスト
期待ショートフォール（ES）のバックテストは、VaRのバックテストよりもはるかに困難です。VaRはある一定額以上の損失をどのくらいの頻度で出すかを見るだけですが、ESはVaRを超えたときにどの程度の損失が出るかを見るからです。
「誘発性（Elicitability）」の課題
専門用語で言うと、VaRは誘発可能（elicitable）であり、数学的にモデル同士を簡単に比較できるスコアリング関数が存在します。しかし最近まで、ESは誘発可能ではないと考えられており、バックテストを非常に難しくしていました。
ESバックテストの標準的アプローチ
単純に「ヒット数」を数えることができないため、多くの場合、条件付き分布が用いられます。例外が発生した際の「損失の大きさ」をチェックするのです。例えば、設定しているESが200万ドルなのに、実際の例外時の平均損失が1,000万ドルであれば、そのESモデルは「テールリスク」を十分に捉えられていないことになります。
よくある落とし穴： 学生は「ESの方がテールリスクを捉えられるから優れている」と考えがちですが、VaRよりも検証やバックテストがはるかに難しいという事実を見落としがちです！
6. モデルリスクと検証
モデルリスクとは、誤った、または不適切に使用されたモデルによって生じる損失のリスクです。リスク指標の質の評価は単なる数学の問題ではなく、ガバナンスの問題でもあります。
モデル検証の重要な構成要素：
1. 概念の妥当性： モデルは理にかなっているか？前提条件は現実的か？
2. 継続的なモニタリング： バックテストは年1回ではなく、常に行うべきである。
3. 結果の分析： モデルの出力と実際の市場結果を比較する（これまで議論してきたこと）。
バックテストにおける「2種類の誤り」：
- 第1種の誤り： 良いモデルを棄却してしまう（モデルは正しいのに、たまたま不運が続いた場合）。
- 第2種の誤り： 悪いモデルを承認してしまう（モデルに欠陥があるのに、まだ例外が十分に発生しておらず証明できていない場合）。
クイックレビュー： 規制当局は、銀行の破綻につながる「第2種の誤り（欠陥モデルを見逃すこと）」をより恐れています！
まとめチェックリスト
- VaRのバックテスト： 例外の発生回数を数えることで、予測損失と実際の損失を比較する。
- クピエックPOF検定： 例外の発生頻度（総数）が正しいかを検定する。
- クリストファーセン検定： 例外が独立しているか（クラスタリングしていないか）を検定する。
- バーゼルの信号機システム： グリーン(0-4)、イエロー(5-9)、レッド(10+)。例外が増えるほどペナルティも増す。
- ESのバックテスト： ESは誘発性が低い（容易ではない）ため、回数だけでなく損失の規模を見る必要があり、より困難である。
- モデルリスク： 常に存在する！検証にはバックテストだけでなく、前提条件の確認も不可欠である。
統計の数式が重く感じても心配しないでください。FRM試験に向けては、なぜこれらの検定を使うのか、クラスタリングとは何か、バーゼルの信号機システムが銀行の資本要件にどう影響するのかという「論理（ロジック）」をしっかり押さえましょう。あなたなら絶対に大丈夫です！