ยินดีต้อนรับเข้าสู่โลกแห่งการตรวจสอบความถูกต้องของแบบจำลอง (Model Validation)!

สวัสดีครับ! หากคุณเคยทุ่มเทอ่านหนังสือสอบคณิตศาสตร์ด้วยการท่องจำโจทย์ตัวอย่าง แต่พอถึงเวลาสอบจริงกลับเจอตัวเลขที่ ไม่เหมือนเดิม คุณก็เข้าใจแนวคิดหลักของบทนี้แล้วครับ ในวิชา Statistics for Risk Modeling (SRM) เป้าหมายของเราไม่ใช่แค่การสร้างแบบจำลองที่อธิบายข้อมูลปัจจุบันได้เป๊ะที่สุด แต่มันคือการสร้างแบบจำลองที่ใช้งานได้กับ ข้อมูลชุดใหม่ที่เราไม่เคยเห็นมาก่อน ต่างหาก

ในส่วนนี้ เราจะมาสำรวจ "Validation Set Approach" ซึ่งเป็นวิธีพื้นฐานที่สุดในการตรวจสอบว่าแบบจำลองทางสถิติของคุณกำลัง "เรียนรู้" จริงๆ หรือแค่ "ท่องจำ" มา ไม่ต้องกังวลหากชื่อเรียกดูซับซ้อน เราจะค่อยๆ ย่อยให้เข้าใจง่ายไปทีละส่วนเลยครับ!

1. ชุดข้อมูลสำหรับการฝึกสอน (Training Set) และชุดข้อมูลสำหรับการทดสอบ (Test Set) คืออะไร?

เวลาที่เราสร้างแบบจำลอง เรามักจะมีข้อมูลประวัติย้อนหลังกองโต แทนที่จะนำข้อมูลทั้งหมดไปใช้สร้างแบบจำลองเพียงอย่างเดียว เราจะแบ่งข้อมูลออกเป็นสองส่วนหลักๆ ดังนี้ครับ:

ชุดข้อมูลสำหรับการฝึกสอน (Training Set)

คือส่วนของข้อมูล (โดยปกติอยู่ที่ 50% ถึง 80%) ที่ใช้ในการ สอน (train) แบบจำลอง แบบจำลองจะดูข้อมูลเหล่านี้เพื่อหาแพทเทิร์นและประมาณค่าพารามิเตอร์ ให้เปรียบเสมือน "คู่มือเตรียมสอบ" ของคุณครับ

ชุดข้อมูลสำหรับการทดสอบ (Test หรือ Validation Set)

คือส่วนที่เหลือของข้อมูลที่เราเก็บไว้ไม่ให้แบบจำลองเห็น เมื่อแบบจำลอง "เรียนรู้" จากชุด Training Set เสร็จแล้ว เราจะให้มันลองพยากรณ์ข้อมูลในชุด Test Set นี้ เนื่องจากแบบจำลองไม่เคยเห็นข้อมูลส่วนนี้มาก่อน ประสิทธิภาพที่ได้จึงบอกเราว่ามันจะทำงานได้ดีแค่ไหนในโลกความเป็นจริง ให้เปรียบเสมือน "ข้อสอบจริง" ครับ

รู้หรือไม่? ในศัพท์ของ SRM เรามักเรียกกระบวนการสุ่มแบ่งข้อมูลเพื่อประมาณอัตราความผิดพลาดในการทดสอบนี้ว่า Validation Set Approach ครับ

2. ทำไมเราไม่ใช้ข้อมูลทั้งหมดในการฝึกสอน?

บางคนอาจจะคิดว่า การใช้ข้อมูลทุกตัวที่มีเพื่อทำให้แบบจำลอง "ฉลาด" ที่สุดนั้นน่าจะดีที่สุด แต่การทำแบบนั้นจะนำไปสู่ปัญหาใหญ่ที่เรียกว่า Overfitting (การจดจำข้อมูลมากเกินไป) ครับ

เปรียบเทียบ: ผู้รายงานสภาพอากาศ
ลองนึกภาพนักข่าวพยากรณ์อากาศที่ "พยากรณ์" สภาพอากาศของเมื่อวานได้แม่นยำ 100% ทุกเช้า เขาแม่นยำแบบไร้ที่ติกับ "ข้อมูลฝึกสอน" (อดีต) แต่เขาไม่มีประโยชน์เลยในการบอกคุณว่าวันนี้ควรพกที่ร่มไหม เราต้องการแบบจำลองที่พยากรณ์ อนาคต ไม่ใช่แค่เอาเหตุการณ์ใน อดีต มาสรุปให้ฟังครับ

แนวคิดสำคัญ: Training Error vs. Test Error
- Training Error: ค่าความคลาดเคลื่อน (เช่น Mean Squared Error) ที่คำนวณจากข้อมูลที่แบบจำลองเห็นไปแล้ว ซึ่งค่านี้มักจะต่ำมาก
- Test Error: ค่าความคลาดเคลื่อนที่คำนวณจากข้อมูลที่แบบจำลองไม่เคยเห็นมาก่อน ซึ่งนี่คือสิ่งที่เราสนใจจริงๆ!

เมื่อแบบจำลองมีความซับซ้อนขึ้น (มีความ "ยืดหยุ่น" มากขึ้น) ค่า Training Error จะลดลงเรื่อยๆ เกือบทุกครั้ง แต่ค่า Test Error จะเริ่ม พุ่งสูงขึ้น ในที่สุด เมื่อแบบจำลองเริ่มหันไป "ท่องจำ" ข้อมูลรบกวน (noise) แทนที่จะมองหาแพทเทิร์นที่แท้จริง

3. ขั้นตอนการทำ Validation Set: ทำอย่างไร?

หากคุณกำลังทำงานโปรเจกต์ด้านคณิตศาสตร์ประกันภัย นี่คือขั้นตอนที่คุณต้องทำครับ:

ขั้นตอนที่ 1: สุ่มแบ่งข้อมูล (Random Split)
สุ่มแบ่งข้อมูลที่มีออกเป็นสองส่วน คือชุด Training และชุด Validation

ขั้นตอนที่ 2: สร้างแบบจำลอง (Fit the Model)
ใช้ชุด Training ในการสร้างแบบจำลอง (เช่น Linear Regression) โดยประมาณค่าสัมประสิทธิ์ต่างๆ จากข้อมูลชุดนี้เท่านั้น

ขั้นตอนที่ 3: พยากรณ์ (Predict)
ใช้แบบจำลองจากขั้นตอนที่ 2 มาพยากรณ์ผลลัพธ์ของข้อมูลในชุด Validation Set

ขั้นตอนที่ 4: คำนวณความคลาดเคลื่อน (Calculate Error)
คำนวณความคลาดเคลื่อน (มักใช้ Mean Squared Error) เพื่อดูว่าผลพยากรณ์คลาดเคลื่อนไปจากความเป็นจริงแค่ไหน สำหรับผลลัพธ์เชิงปริมาณ เราจะใช้สูตร:
\( MSE = \frac{1}{n} \sum_{i \in Validation} (y_i - \hat{y}_i)^2 \)

เกร็ดเล็กๆ: หากผลลัพธ์ของคุณเป็นข้อมูล เชิงคุณภาพ (หมวดหมู่) เราจะดู Error Rate (เปอร์เซ็นต์ที่แบบจำลองทายหมวดหมู่ผิด) แทนการใช้ MSE ครับ

4. ข้อดีและข้อเสียของ Validation Set Approach

แม้ว่าวิธีนี้จะเรียบง่ายและอธิบายได้ไม่ยาก แต่มีข้อควรระวังหลักๆ สองประการที่คุณควรจำไปสอบครับ:

1. ความแปรปรวนสูง (อาศัย "ดวง" ในการสุ่ม)

ค่า Test Error ที่คำนวณได้อาจเปลี่ยนไปอย่างมาก ขึ้นอยู่กับว่า ข้อมูลชุดไหน ถูกสุ่มไปอยู่ใน Training Set หรือ Validation Set ถ้าคุณแบ่งข้อมูลด้วยวิธีที่ต่างออกไป คุณก็อาจได้แบบจำลอง "ที่ดีที่สุด" ชุดใหม่
เทคนิคจำ: Validation is Variable (ความแปรปรวนผันแปรได้เสมอ)

2. การประเมินความคลาดเคลื่อนสูงเกินจริง (Overestimation)

โดยทั่วไปแบบจำลองสถิติมักทำงานได้ดีขึ้นหากมีข้อมูลให้เรียนรู้มากขึ้น เนื่องจากการแบ่งวิธีนี้ทำให้เราเหลือข้อมูลไป train เพียงแค่บางส่วน (เช่น แค่ครึ่งเดียว) แบบจำลองจึงอาจ "อ่อนแอ" กว่าการใช้ข้อมูลทั้งหมด ดังนั้น Validation Set Approach จึงมักจะ ประเมินค่าความคลาดเคลื่อนสูงเกินกว่าความเป็นจริง ครับ

5. หลุมพรางที่ต้องหลีกเลี่ยง

ข้อผิดพลาดที่ 1: แอบดู (Peeking)!
อย่าปล่อยให้ข้อมูลจากชุด Test หลุดรอดเข้าไปในกระบวนการ Training ของคุณ หากคุณใช้ Test Set ในการช่วยเลือกตัวแปร แบบจำลองนั้นจะไม่ถือเป็นการทดสอบที่ "ยุติธรรม" อีกต่อไป

ข้อผิดพลาดที่ 2: ลืมเรื่องการสุ่ม
ต้องแน่ใจเสมอว่าการแบ่งข้อมูลนั้นเป็นการ สุ่ม (random) หากคุณหยิบข้อมูล 500 แถวแรกไปทำ Training และ 500 แถวหลังไปทำ Testing แต่ข้อมูลดันเรียงตามวันที่หรือรายได้ไว้ ผลลัพธ์ของคุณจะมีอคติ (bias) อย่างรุนแรงครับ!

สรุปทบทวนบทเรียน

- Training Set: ใช้สร้างแบบจำลอง (ช่วง "การเรียนรู้").
- Test/Validation Set: ใช้ประเมินแบบจำลอง (ช่วง "การสอบ").
- เป้าหมาย: ลด Test Error ให้เหลือน้อยที่สุด ไม่ใช่ลดแค่ Training Error.
- Overfitting: เมื่อแบบจำลองมี Training Error ต่ำมาก แต่มี Test Error สูง.
- จุดอ่อนหลัก: ผลลัพธ์เปลี่ยนแปลงได้ขึ้นอยู่กับการแบ่งข้อมูลในแต่ละครั้ง

บทสรุปส่งท้าย

Validation Set Approach คือแนวป้องกันแรกของเราในการต่อต้านการเกิด Overfitting การเก็บข้อมูลบางส่วนไว้เป็น "ความลับ" จากแบบจำลอง ทำให้เราประเมินได้อย่างตรงไปตรงมาว่าแบบจำลองจะทำงานได้ดีแค่ไหนเมื่อต้องใช้งานจริง ถึงแม้จะมีเรื่องความแปรปรวนเข้ามาเกี่ยวข้อง แต่วิธีนี้ก็เป็นรากฐานสำคัญสำหรับการประเมินแบบจำลองทั้งหมดในวิชา Statistics for Risk Modeling เลยครับ