Model selection: graphical procedures, hypothesis tests, and score-based criteria

ยินดีต้อนรับสู่การเลือกแบบจำลอง (Model Selection)!

สวัสดีครับ! ถ้าคุณเดินทางมาถึงจุดนี้ในการเตรียมสอบ ASTAM แล้ว แสดงว่าคุณรู้วิธีการประมาณค่าพารามิเตอร์ของแบบจำลองต่างๆ มาแล้ว แต่คำถามสำคัญคือ: เราควรเลือกใช้แบบจำลองไหนกันแน่?

ในบทนี้ เราจะมาเรียนรู้วิธีการเป็น "กามเทพ" เชื่อมความสัมพันธ์ระหว่างข้อมูลจริงกับแบบจำลองทางคณิตศาสตร์ของเรา เราต้องการแบบจำลองที่อธิบายข้อมูลได้ดีแต่ก็ต้องไม่ซับซ้อนจนเกินความจำเป็น เราจะสำรวจ 3 วิธีหลักในการตัดสินใจ ได้แก่ การใช้ภาพประกอบ (Graphical Procedures), การตรวจสอบคุณภาพแบบเป็นทางการ (Hypothesis Tests) และการใช้บทลงโทษทางคณิตศาสตร์สำหรับความซับซ้อน (Score-based Criteria)

ถ้ารู้สึกว่ามันดูเป็นนามธรรมไปสักหน่อยในตอนนี้ ไม่ต้องกังวลนะ ให้ลองนึกถึงการเลือกซื้อรองเท้าดูสิ—คุณต้องการรองเท้าที่ดูดี (กราฟ), ใส่สบายผ่านเกณฑ์ (Hypothesis Tests) และราคาไม่แพงเกินความจำเป็นเมื่อเทียบกับคุณภาพที่ได้รับ (Score-based Criteria) มาเริ่มกันเลย!

1. Graphical Procedures: การใช้สายตาตัดสิน

ก่อนที่เราจะเริ่มคำนวณตัวเลขยากๆ โดยปกติแล้วเราจะเริ่มจากการดูข้อมูลด้วยตาก่อนเสมอ วิธีการทางกราฟจะช่วยให้เราเห็นว่าแบบจำลองของเรา "เข้ากันได้ดี" ตรงไหน และ "พลาด" ตรงไหนบ้าง

การแจกแจงเชิงประจักษ์ (Empirical) เทียบกับ แบบจำลองที่ปรับแต่ง (Fitted)

เราเปรียบเทียบ Empirical Distribution Function \(F_n(x)\)—ซึ่งก็คือพฤติกรรมที่เกิดขึ้นจริงจากข้อมูล—เทียบกับ Fitted Distribution Function \(F^*(x)\)—ซึ่งก็คือสิ่งที่เป็นไปตามแบบจำลองของเรา

กราฟแสดงผลต่าง (Difference Plot)

กราฟแสดงผลต่างจะพลอตค่า \(D(x) = F_n(x) - F^*(x)\)
• ถ้ากราฟวิ่งอยู่ใกล้ศูนย์ แปลว่าแบบจำลองทำงานได้ดีมาก
• ถ้าเห็น "ส่วนนูน" หรือ "ส่วนยุบ" ชัดเจน แปลว่าแบบจำลองเริ่มทำงานพลาดในพื้นที่นั้นๆ (เช่น บริเวณส่วนหาง หรือช่วงกลางของการแจกแจง)

p-p Plots (Probability-Probability Plots)

ใน p-p plot เราจะพลอตคู่ลำดับ \((F^*(x_j), F_n(x_j))\)
• ถ้าแบบจำลองนั้นสมบูรณ์แบบ จุดทั้งหมดจะเรียงตัวเป็นเส้นตรงทำมุม 45 องศาจาก (0,0) ไปจนถึง (1,1)
• เคล็ดลับด่วน: p-p plots เหมาะมากสำหรับการดูว่าแบบจำลองเข้ากับช่วง "กลาง" ของข้อมูลได้ดีเพียงใด แต่มักจะมองข้ามปัญหาที่เกิดขึ้นบริเวณส่วนหาง (ค่าที่น้อยมากๆ หรือมากมากๆ) ไป

สรุปประเด็นสำคัญ

การตรวจด้วยสายตา เป็นวิธีที่ยอดเยี่ยมในการเช็ค "ฟีล" ของแบบจำลอง แต่ก็ยังมีความเป็นอัตวิสัย (Subjective) คนหนึ่งอาจจะมองว่าเส้นนี้ "ใกล้เคียงพอแล้ว" ในขณะที่อีกคนอาจจะไม่เห็นด้วย นั่นคือเหตุผลที่เราต้องมีหัวข้อถัดไป: Hypothesis Tests!

2. Hypothesis Tests: การตัดสินใจแบบเป็นทางการ

การทดสอบเหล่านี้จะให้คำตอบทางคณิตศาสตร์แบบ "ใช่" หรือ "ไม่ใช่" (หรือในทางสถิติคือ "Fail to Reject" หรือ "Reject") ว่าแบบจำลองนั้นเป็นแบบจำลองที่ดีหรือไม่

การทดสอบ Kolmogorov-Smirnov (K-S) Test

นี่คือหนึ่งในการทดสอบที่โด่งดังที่สุดในวิชาคณิตศาสตร์ประกันภัย โดยจะมองหา ช่องว่างที่กว้างที่สุด ระหว่างข้อมูลจริงกับแบบจำลอง

สูตร:
\(D = \max |F_n(x) - F^*(x)|\)

• วิธีการทำงาน: เราคำนวณระยะห่างระหว่างแบบจำลองกับข้อมูลทุกจุด "ค่าสถิติทดสอบ" ก็คือระยะห่างที่มากที่สุดที่เราพบ
• ข้อจำกัด: K-S test เหมาะสำหรับข้อมูลแบบ รายตัว (ไม่ได้จัดกลุ่ม) และทำงานได้ดีที่สุดเมื่อค่าพารามิเตอร์นั้น ไม่ได้ ถูกประมาณค่ามาจากชุดข้อมูลเดิม (แม้ในทางปฏิบัติเรามักจะนำมาใช้โดยมีการปรับแก้ก็ตาม)

การทดสอบ Anderson-Darling (A-D) Test

ให้นึกถึง A-D test เหมือนกับ "ครูฝ่ายปกครองที่เคร่งครัด" ของ K-S test ในขณะที่ K-S มองความผิดพลาดทุกจุดเท่ากันหมด แต่ A-D test จะ ให้ความสำคัญกับส่วนหาง (Tails) มากกว่า

ทำไมเรื่องนี้ถึงสำคัญ? ในงานประกันภัย เราให้ความสำคัญมากกับ "ส่วนหาง" (ค่าสินไหมทดแทนที่มหาศาลแต่นานๆ จะเกิดขึ้นที) แบบจำลองที่ทำนายค่าเฉลี่ยได้เป๊ะมากแต่พลาดเรื่องค่าสินไหมมหาศาลถือว่าเป็นเรื่องอันตราย! A-D test จะช่วยจับจุดนี้ได้

การทดสอบ Likelihood Ratio Test (LRT)

นี่เป็นหัวข้อที่ออกสอบบ่อยมาก เราใช้ทดสอบนี้เมื่อเรามีแบบจำลอง 2 ตัวที่เป็น Nested (ซ้อนกัน)
การเปรียบเทียบ: ลองนึกถึง "แบบจำลองพื้นฐาน" (เช่น Exponential) และ "แบบจำลองขั้นสูง" (เช่น Gamma) เนื่องจาก Exponential ก็คือ Gamma ที่กำหนดพารามิเตอร์บางตัวไว้ ดังนั้นมันจึงเป็นแบบจำลองที่ซ้อนกัน

ขั้นตอน:
1. คำนวณ Log-likelihood ของแบบจำลองที่ง่ายกว่า (Restricted model): \(\ell_0\)
2. คำนวณ Log-likelihood ของแบบจำลองที่ซับซ้อนกว่า (Unrestricted model): \(\ell_1\)
3. คำนวณค่าสถิติ: \(T = 2(\ell_1 - \ell_0)\)
4. นำค่า \(T\) ไปเปรียบเทียบกับการแจกแจงแบบ Chi-square (\(\chi^2\))

Degrees of Freedom: ค่าองศาความเป็นอิสระสำหรับการทดสอบ \(\chi^2\) คือ ส่วนต่าง ของจำนวนพารามิเตอร์ระหว่างแบบจำลองทั้งสอง

สรุปประเด็นสำคัญ

Hypothesis tests ช่วยให้เราปฏิเสธแบบจำลองที่ไม่ดีได้อย่างเป็นระบบ จำไว้ว่า: ถ้าค่า p-value มีค่าน้อย (โดยปกติ < 0.05) แสดงว่าแบบจำลองนั้นไม่เหมาะสม!

3. Score-Based Criteria: สร้างสมดุลระหว่างความแม่นยำและความซับซ้อน

ถ้าคุณเพิ่มพารามิเตอร์เข้าไปในแบบจำลองเรื่อยๆ ผลการ fit ข้อมูลจะ "ดีขึ้น" ตลอดเวลา แต่แบบจำลองจะเริ่มใช้งานยากและซับซ้อนจนคุมไม่อยู่ ซึ่งเราเรียกสภาวะนี้ว่า Overfitting วิธี Score-based criteria จึงเข้ามา "ทำโทษ" แบบจำลองที่มีพารามิเตอร์เยอะเกินไป

Akaike Information Criterion (AIC)

AIC พยายามหาแบบจำลองที่อธิบายข้อมูลได้ดีที่สุดโดยใช้จำนวนพารามิเตอร์ให้น้อยที่สุด

สูตร:
\(AIC = -2\ell + 2k\)
(โดยที่ \(\ell\) คือ log-likelihood และ \(k\) คือจำนวนพารามิเตอร์)

Schwarz Bayesian Criterion (SBC หรือ BIC)

SBC คล้ายกับ AIC แต่มีการลงโทษที่ "รุนแรงกว่า" สำหรับการเพิ่มพารามิเตอร์ โดยเฉพาะเมื่อคุณมีข้อมูลจำนวนมาก (\(n\))

สูตร:
\(SBC = -2\ell + k \ln(n)\)
(โดยที่ \(n\) คือจำนวนข้อมูลทั้งหมด)

แล้วควรเลือกแบบไหนดี?

ทั้ง AIC และ SBC ค่าที่น้อยกว่าจะถือว่าดีกว่า
• รู้หรือไม่? เนื่องจากค่า \(\ln(n)\) โดยปกติจะมีค่ามากกว่า 2 เสมอ ดังนั้น SBC จึงเข้มงวดกว่า AIC แทบจะตลอดเวลา มันจึงมักจะเลือกแบบจำลองที่เรียบง่ายกว่า AIC

ข้อผิดพลาดที่ควรหลีกเลี่ยง

• จำสลับกันระหว่าง AIC/SBC: นักศึกษามักจะคิดว่า "คะแนนสูง" คือดี แต่ไม่ใช่เลย! ให้คิดซะว่าเหมือนการเล่นกอล์ฟ—คนที่ได้คะแนนน้อยที่สุดคือผู้ชนะ
• Nested vs. Non-nested: คุณจะใช้ Likelihood Ratio Test ได้ ก็ต่อเมื่อ แบบจำลองหนึ่งเป็นกรณีพิเศษของอีกแบบจำลองหนึ่งเท่านั้น ถ้าคุณกำลังเปรียบเทียบ Lognormal กับ Weibull ให้ใช้ AIC หรือ SBC แทน!
• ขนาดข้อมูลใน SBC: อย่าลืมเทอม \(\ln(n)\) ในสูตร SBC หากคุณลืมนำขนาดของกลุ่มตัวอย่างมาคำนวณ ค่าที่ได้จะผิดทันที

สรุปทบทวนความเข้าใจ

1. K-S Test: ดูระยะห่างที่มากที่สุด \(|F_n(x) - F^*(x)|\)
2. A-D Test: เหมือน K-S แต่ใส่ใจส่วนหางมากกว่า
3. LRT: ใช้สำหรับแบบจำลองที่ซ้อนกัน (Nested); ใช้การแจกแจง \(\chi^2\)
4. AIC/SBC: ใช้ทำโทษแบบจำลองที่ซับซ้อนเกินไป ค่าน้อยกว่า = ดีกว่า

ฝึกฝนต่อไปนะ! การเลือกแบบจำลองคือเรื่องของการเปรียบเทียบทางเลือก เมื่อคุณจับทางทั้ง 3 วิธีนี้ได้แล้ว คุณจะสามารถให้เหตุผลได้อย่างชัดเจนว่าทำไมแบบจำลองหนึ่งถึงเหนือกว่าอีกแบบหนึ่ง คุณทำได้แน่นอน!