Assessing the Quality of Risk Measures

ยินดีต้อนรับสู่บททดสอบความเป็นจริง: การประเมินคุณภาพของมาตรวัดความเสี่ยง

สวัสดีครับ! ยินดีต้อนรับเข้าสู่บทเรียนที่เน้นการนำไปใช้จริงมากที่สุดบทหนึ่งในหลักสูตร FRM Part II ครับ ในบทก่อนหน้านี้ เราได้เรียนรู้วิธีการคำนวณมาตรวัดความเสี่ยงอย่าง Value at Risk (VaR) และ Expected Shortfall (ES) กันไปแล้ว แต่มีคำถามสำคัญคือ: เราจะรู้ได้อย่างไรว่าตัวเลขเหล่านั้นถูกต้องจริงๆ?

ลองนึกภาพตามนะครับว่ามันเหมือนกับแอปพยากรณ์อากาศ ถ้าแอปบอกว่ามีโอกาสฝนตกแค่ 1% แต่ฝนดันตกหนักทุกวันตลอดทั้งสัปดาห์ คุณคงลบแอปนั้นทิ้งไปแล้วจริงไหมครับ? การประเมินคุณภาพของมาตรวัดความเสี่ยงก็คือกระบวนการ "ให้เกรด" โมเดลของเราว่ามันสามารถพยากรณ์อนาคตได้แม่นยำแค่ไหน ซึ่งเรื่องนี้สำคัญมาก เพราะถ้าโมเดลของเรามองโลกในแง่ดีเกินไป เราอาจจะมีเงินทุนสำรองไม่เพียงพอที่จะรับมือกับวิกฤตได้ครับ

ในบทนี้ เราจะมาดูกันว่าเราจะทดสอบโมเดลเหล่านี้ด้วยข้อมูลในอดีตอย่างไร ซึ่งกระบวนการนี้เรียกว่า การทำ Backtesting ครับ

1. การทำ Backtesting สำหรับ Value at Risk (VaR)

Backtesting คือกระบวนการเปรียบเทียบผลขาดทุนที่โมเดล VaR ของคุณพยากรณ์ไว้ กับผลขาดทุนที่เกิดขึ้นจริง โดยเราจะมองหา "ข้อยกเว้น" (บางครั้งเรียกว่า "Breaches" หรือ "Outliers")

ข้อยกเว้น (Exception) คืออะไร?
หาก 1-day 99% VaR ของคุณอยู่ที่ 1 ล้านดอลลาร์ แต่คุณขาดทุนจริงวันนี้ 1.5 ล้านดอลลาร์ นั่นถือเป็น ข้อยกเว้น ครับ เพราะผลขาดทุนนั้นสูงเกินกว่าค่าที่ VaR ประมาณการไว้

ความถี่ของข้อยกเว้น

หากเราใช้โมเดล 99% VaR เราคาดหวังว่าข้อยกเว้นควรเกิดขึ้นเพียง 1% ของเวลาทั้งหมด ดังนั้นใน 100 วัน เราคาดว่าจะเจอ 1 ครั้ง และใน 250 วัน (หรือประมาณ 1 ปีของการซื้อขาย) เราคาดว่าจะเจอ 2.5 ครั้งครับ

ปัญหา Goldilocks (ต้องพอดีๆ):
1. ข้อยกเว้นมากเกินไป: โมเดลของคุณ ประเมินความเสี่ยงต่ำเกินไป (Underestimating) ซึ่งอันตรายมากเพราะคุณไม่ได้เตรียมตัวรับมือกับผลขาดทุนก้อนใหญ่
2. ข้อยกเว้นน้อยเกินไป: โมเดลของคุณ ประเมินความเสี่ยงสูงเกินไป (Overestimating) แม้จะ "ปลอดภัย" แต่ไม่มีประสิทธิภาพ เพราะคุณกันเงินทุนสำรองไว้มากเกินความจำเป็นซึ่งนำไปใช้ประโยชน์อย่างอื่นได้

สรุปประเด็นสำคัญ:

โมเดล VaR ที่ดีควรมีจำนวนข้อยกเว้นที่ "พอเหมาะพอดี"—ซึ่งสอดคล้องกับระดับความเชื่อมั่น (Confidence Level) ที่เลือกไว้ครับ

2. การทดสอบทางสถิติสำหรับ VaR: Kupiec’s Test

ถ้ารู้สึกยากในตอนแรก ไม่ต้องกังวลนะ! เป้าหมายของการทดสอบเหล่านี้คือเพื่อดูว่าจำนวนข้อยกเว้นที่เราเจอ มันเป็นนัยสำคัญทางสถิติ หรือเป็นแค่ความโชคดี/โชคร้ายแบบสุ่มๆ กันแน่

การทดสอบ Proportion of Failures (POF)

การทดสอบที่พัฒนาโดย Kupiec จะดูที่ จำนวนรวม ของข้อยกเว้นเพียงอย่างเดียว โดยใช้ Likelihood Ratio (LR) เพื่อดูว่าอัตราความล้มเหลว (Failure rate) ที่เกิดขึ้นจริง แตกต่างจากอัตราที่โมเดลตั้งเป้าไว้หรือไม่

สมมติฐานหลัก (\( H_0 \)) คือ โมเดลมีความแม่นยำ (อัตราความล้มเหลวเท่ากับ \( p \))

สูตรสำหรับการทดสอบ Kupiec POF คือ:
\( LR_{POF} = -2 \ln \left[ \frac{(1-p)^{n-x} p^x}{(1-\hat{p})^{n-x} \hat{p}^x} \right] \)

โดยที่:
- \( n \) = จำนวนการสังเกตการณ์ทั้งหมด
- \( x \) = จำนวนข้อยกเว้นที่เกิดขึ้น
- \( p \) = อัตราความล้มเหลวตามทฤษฎี (เช่น 0.01 สำหรับ 99% VaR)
- \( \hat{p} \) = อัตราความล้มเหลวที่สังเกตได้จริง (\( x/n \))

ทบทวนสั้นๆ: การทดสอบนี้เป็นไปตาม การแจกแจงแบบ Chi-square (\( \chi^2 \)) ที่มี 1 องศาอิสระ หากค่า \( LR \) สูงกว่าค่าวิกฤต (ปกติคือ 3.84 สำหรับระดับความเชื่อมั่น 95%) เราจะปฏิเสธโมเดลนั้นทิ้งทันทีครับ!

3. การทดสอบความเป็นอิสระ: Christoffersen’s Test

ข้อเสียของ Kupiec’s test คือมันนับแค่ จำนวนรวม ของข้อยกเว้น แต่ไม่ได้สนใจว่ามันเกิดขึ้น เมื่อไหร่ ลองจินตนาการดูนะครับว่าถ้าธนาคารเจอข้อยกเว้น 5 ครั้งในสัปดาห์เดียว ทั้งๆ ที่ตลอดทั้งปีเจอแค่ 5 ครั้งเท่าเดิม การที่มันกระจุกตัวแบบนี้แสดงว่าโมเดลไม่ได้ปรับตัวตามสภาวะตลาดที่เปลี่ยนไป เราเรียกปรากฏการณ์นี้ว่า Volatility Clustering ครับ

การทดสอบความอิสระของ Christoffersen จะตรวจสอบว่าข้อยกเว้นแต่ละครั้งเป็นอิสระต่อกันหรือไม่ โดยตั้งคำถามว่า "ถ้าเราเพิ่งเจอข้อยกเว้นเมื่อวานนี้ มันจะทำให้โอกาสที่จะเจอข้อยกเว้นอีกครั้งในวันนี้เพิ่มขึ้นหรือไม่?"

3 ระดับของการทำ Backtesting:
1. Unconditional Coverage: เราได้ จำนวน ข้อยกเว้นที่ถูกต้องหรือไม่? (ใช้ Kupiec’s Test)
2. Independence: ข้อยกเว้นแต่ละครั้ง กระจายตัว อย่างสุ่มหรือไม่?
3. Conditional Coverage: เป็นการรวมทั้งสองข้อเข้าด้วยกัน คือได้จำนวนที่ถูกต้อง AND กระจายตัวอย่างเป็นอิสระ

เทคนิคจำง่ายๆ: Kupiec นับจำนวน; Christoffersen ดูระยะห่าง!

4. ระบบ "สัญญาณไฟจราจร" ของ Basel

หน่วยงานกำกับดูแล (Basel Committee) ใช้ระบบสีง่ายๆ เพื่อลงโทษธนาคาร โดยดูจากผล Backtesting ในช่วง 250 วันที่ผ่านมาที่ระดับความเชื่อมั่น 99%

1. โซนสีเขียว (0 ถึง 4 ครั้ง):
โมเดลถือว่า "ดี" ไม่มีบทลงโทษใดๆ ตัวคูณเงินทุน (Multiplication factor) ยังคงอยู่ที่ฐานเดิม (ปกติคือ 3)

2. โซนสีเหลือง (5 ถึง 9 ครั้ง):
โมเดลถือว่า "น่าสงสัย" หน่วยงานกำกับดูแลจะเพิ่มข้อกำหนดเงินทุนโดยการบวกค่า "Plus" เข้าไปในตัวคูณ เปรียบเสมือนการออกใบสั่งเตือนครับ

3. โซนสีแดง (10 ครั้งขึ้นไป):
โมเดลถือว่า "พัง" แน่นอนว่าโมเดลมีข้อบกพร่อง ตัวคูณจะเพิ่มขึ้นอย่างมาก (ปกติคือ 1.0) และหน่วยงานกำกับดูแลอาจบังคับให้ธนาคารเลิกใช้โมเดลนั้นไปเลยครับ

รู้หรือไม่? สาเหตุที่ "โซนสีแดง" เริ่มต้นที่ 10 ครั้ง เพราะโอกาสที่โมเดล 99% ที่ถูกต้อง จะให้ข้อยกเว้นถึง 10 ครั้งใน 250 วันนั้นต่ำมาก (น้อยกว่า 0.01%) ครับ

5. การทำ Backtesting สำหรับ Expected Shortfall (ES)

การทำ Backtesting ให้กับ Expected Shortfall (ES) นั้นยากกว่า VaR มากครับ เพราะ VaR ดูแค่ ความถี่ ที่เราจะขาดทุนเกินระดับที่กำหนด แต่ ES ดูไปถึงว่า จำนวนเงิน ที่ขาดทุนนั้นรุนแรงแค่ไหนเมื่อเกิน VaR ไปแล้ว

ความท้าทายเรื่อง "Elicitability"

ในเชิงเทคนิค VaR เป็นสิ่งที่ Elicitable หมายความว่ามีฟังก์ชันการคำนวณที่ช่วยให้เราเปรียบเทียบโมเดลได้ง่าย แต่จนกระทั่งเมื่อไม่นานมานี้ เรายังเชื่อว่า ES ไม่เป็น Elicitable ทำให้การทำ Backtesting ยากขึ้นไปอีก

แนวทางมาตรฐานในการทดสอบ ES

เนื่องจากเราไม่สามารถแค่นับ "จำนวนครั้ง" ได้ เราจึงมักใช้ Conditional Distributions เข้ามาช่วย โดยเราจะดู "ขนาด" ของข้อยกเว้น ถ้า ES ของเราอยู่ที่ 2 ล้านดอลลาร์ แต่ผลขาดทุนจริงเวลาที่เกิดเหตุการณ์นั้นเฉลี่ยสูงถึง 10 ล้านดอลลาร์ แสดงว่าโมเดล ES ของเราไม่สามารถจับ "Tail Risk" (ความเสี่ยงที่อยู่ส่วนปลายสุดของกราฟ) ได้ครับ

ข้อควรระวัง: นักเรียนหลายคนมักคิดว่า ES ดีกว่าเพราะจับความเสี่ยงได้ลึกกว่า (ซึ่งจริง) แต่อย่าลืมว่ามันยากกว่าในการยืนยันและทำ Backtesting เมื่อเทียบกับ VaR นะครับ!

6. ความเสี่ยงจากโมเดลและการตรวจสอบ (Model Risk and Validation)

Model Risk คือความเสี่ยงที่จะเกิดการขาดทุนจากการใช้โมเดลที่ผิดพลาดหรือใช้งานไม่ถูกวิธี การประเมินคุณภาพไม่ได้เกี่ยวกับแค่คณิตศาสตร์ แต่มันเกี่ยวกับธรรมาภิบาล (Governance) ด้วยครับ

องค์ประกอบหลักของการตรวจสอบโมเดล:

1. Conceptual Soundness: โมเดลสมเหตุสมผลไหม? ข้อสมมติฐานต่างๆ ดูสมจริงหรือไม่?
2. Ongoing Monitoring: การทำ Backtesting ควรทำอย่างต่อเนื่อง ไม่ใช่แค่ปีละครั้ง
3. Outcomes Analysis: การเปรียบเทียบผลลัพธ์จากโมเดลกับเหตุการณ์จริงในตลาด (สิ่งที่เราเพิ่งคุยกันไปนั่นเอง)

"ข้อผิดพลาด 2 ประเภท" ในการทำ Backtesting:
- Type I Error: การปฏิเสธโมเดลที่ ดี (โมเดลถูกต้อง แต่เราดันซวยเจอเหตุการณ์ผิดปกติติดต่อกัน)
- Type II Error: การยอมรับโมเดลที่ แย่ (โมเดลมีปัญหา แต่เรายังไม่เห็นข้อยกเว้นมากพอที่จะพิสูจน์มันได้)

ทบทวนสั้นๆ: หน่วยงานกำกับดูแลกลัว Type II Error มากกว่าครับ (เพราะการปล่อยผ่านโมเดลที่แย่ อาจทำให้ธนาคารล้มได้!)

รายการตรวจสอบสรุป

- VaR Backtesting: เปรียบเทียบผลขาดทุนที่คาดการณ์กับที่เกิดขึ้นจริงโดยการนับจำนวนข้อยกเว้น
- Kupiec POF: ทดสอบว่าจำนวนรวมของข้อยกเว้นถูกต้องตามสถิติหรือไม่
- Christoffersen: ทดสอบว่าข้อยกเว้นมีความอิสระต่อกันหรือไม่ (ไม่เกิดการกระจุกตัว)
- Basel Traffic Lights: เขียว (0-4), เหลือง (5-9), แดง (10+). บทลงโทษจะเพิ่มขึ้นตามจำนวนข้อยกเว้นที่เกินมา
- ES Backtesting: ทำได้ยากกว่าเพราะ ES ไม่ได้มีคุณสมบัติที่ตรวจสอบง่ายเหมือน VaR ต้องดูลึกถึงความรุนแรงของผลขาดทุน ไม่ใช่แค่จำนวนครั้ง
- Model Risk: มีอยู่เสมอ! การตรวจสอบต้องทำทั้งการประเมินสมมติฐานและการทำ Backtesting ควบคู่กันไป

ไม่ต้องกังวลถ้าสูตรทางสถิติดูเยอะเกินไป สำหรับข้อสอบ FRM ให้โฟกัสที่ ตรรกะ (Logic) ว่าทำไมเราถึงใช้การทดสอบเหล่านี้ คำว่า "Clustering" หมายถึงอะไร และระบบไฟจราจรของ Basel ส่งผลต่อเงินทุนสำรองของธนาคารอย่างไร คุณทำได้แน่นอนครับ!