Mitigating overfitting, repeated data use, and model bias

บทนำ: การสร้างโมเดลที่ใช้งานได้จริง

สวัสดีครับ! ยินดีต้อนรับเข้าสู่บทที่สำคัญที่สุดบทหนึ่งในการเดินทางเพื่อเตรียมสอบ Exam ATPA ของคุณ ที่ผ่านมาคุณอาจจะได้เรียนรู้วิธีการสร้างโมเดลที่ซับซ้อนและมีความแม่นยำสูงในการปรับเข้ากับข้อมูลเดิม แต่มีเคล็ดลับอยู่ว่า: ใครๆ ก็สามารถสร้างโมเดลที่ตอบโจทย์ข้อมูลเก่าได้อย่างสมบูรณ์แบบ แต่ทักษะที่แท้จริงคือการสร้างโมเดลที่สามารถพยากรณ์อนาคตได้อย่างแม่นยำต่างหาก

ในบทนี้ เราจะมาเรียนรู้วิธีป้องกันไม่ให้โมเดลของเรา "ท่องจำ" ข้อมูลในอดีต (Overfitting), วิธีหลีกเลี่ยงการ "โกง" ด้วยการใช้ข้อมูลที่ไม่ควรเห็น (การใช้ข้อมูลซ้ำซ้อนและการรั่วไหลของข้อมูล - Repeated data use and leakage) และวิธีสร้างความมั่นใจว่าโมเดลของเรามีความยุติธรรมและแม่นยำ (การลดอคติ - Mitigating bias) ลองนึกซะว่านี่คือแผนก "ควบคุมคุณภาพ" ของการวิเคราะห์เชิงพยากรณ์ มาเริ่มกันเลย!

1. Overfitting: กับดักของการ "ท่องจำ"

Overfitting คืออะไร?
ลองจินตนาการว่าคุณกำลังอ่านหนังสือสอบคณิตศาสตร์ แทนที่จะเรียนรู้วิธีการใช้สูตร คุณกลับท่องจำคำตอบของโจทย์ฝึกหัดทั้ง 50 ข้อไปสอบ พอเจอข้อสอบจริงซึ่งโจทย์เปลี่ยนไปนิดหน่อย คุณกลับสอบตกเพราะคุณไม่ได้เรียนรู้ ตรรกะ แต่คุณเรียนรู้แค่ ตัวอย่างเฉพาะ นั่นแหละครับคือสิ่งที่เรียกว่า Overfitting

ในการสร้างแบบจำลองเพื่อพยากรณ์ Overfitting จะเกิดขึ้นเมื่อโมเดลมีความซับซ้อนเกินไปจนเริ่มมอง "สัญญาณรบกวน" (Noise - ข้อมูลความผันผวนแบบสุ่ม) ให้กลายเป็นรูปแบบจริง

ความสมดุลระหว่างความเอนเอียงและความแปรปรวน (Bias-Variance Tradeoff)

เพื่อให้เข้าใจ Overfitting เราต้องดูแรงผลักดันที่ขัดแย้งกันสองอย่าง:
1. Bias (ความเอนเอียง): คือข้อผิดพลาดที่เกิดจากสมมติฐานที่เรียบง่ายเกินไป หากคุณพยายามลากเส้นตรงผ่านข้อมูลที่มีลักษณะโค้ง คุณจะได้ High Bias (Underfitting หรือโมเดลที่เรียบง่ายเกินไป)
2. Variance (ความแปรปรวน): คือข้อผิดพลาดที่เกิดจากการอ่อนไหวต่อความผันผวนเล็กน้อยเกินไป หากโมเดลของคุณเปลี่ยนไปมากทุกครั้งที่คุณเพิ่มข้อมูลใหม่เข้าไปเพียงจุดเดียว แสดงว่าคุณมี High Variance (Overfitting)

ทบทวนสั้นๆ: เราต้องการจุดที่ "พอดี" (Goldilocks zone) คือโมเดลที่ซับซ้อนพอที่จะจับสัญญาณได้ แต่ก็เรียบง่ายพอที่จะมองข้ามสัญญาณรบกวนไป

วิธีตรวจหา Overfitting

วิธีที่ง่ายที่สุดในการสังเกต Overfitting คือการเปรียบเทียบประสิทธิภาพของโมเดลบนชุดข้อมูลสองชุด:
• Training Set: ข้อมูลที่โมเดลใช้ในการเรียนรู้
• Test Set: ข้อมูลที่โมเดล "ไม่เคยเห็นมาก่อน" ซึ่งใช้ในการให้คะแนนโมเดล
สัญญาณเตือน: ถ้าความผิดพลาดใน Training ต่ำมาก แต่ความผิดพลาดใน Test สูงมาก แสดงว่าเกิด Overfitting แล้วครับ

2. การลด Overfitting: Regularization

ถ้าโมเดลของเรา "เตลิด" เกินไป เราต้องหาอะไรมาควบคุมมัน สิ่งนี้เรียกว่า Regularization ซึ่งทำได้โดยการเพิ่ม "บทลงโทษ" (Penalty) ให้กับโมเดลหากโมเดลมีค่าสัมประสิทธิ์ (Coefficient) ที่ใหญ่เกินไปหรือมีจำนวนมากเกินไป

Ridge Regression (L2 Regularization)

Ridge Regression จะเพิ่มพจน์ลงโทษที่เป็นสัดส่วนกับ กำลังสอง ของขนาดของสัมประสิทธิ์ โดยใช้สูตร:
\( \text{Penalty} = \lambda \sum_{j=1}^{p} \beta_j^2 \)
• หลักการทำงาน: มันจะบีบค่าสัมประสิทธิ์ให้เล็กลงเข้าใกล้ศูนย์ แต่จะไม่ทำให้เป็นศูนย์จริงๆ มันช่วยให้คุณยังเก็บตัวแปรไว้ครบแต่ลดผลกระทบของตัวแปรเหล่านั้นลง

Lasso Regression (L1 Regularization)

Lasso (Least Absolute Shrinkage and Selection Operator) จะเพิ่มพจน์ลงโทษที่เป็นสัดส่วนกับ ค่าสัมบูรณ์ ของสัมประสิทธิ์:
\( \text{Penalty} = \lambda \sum_{j=1}^{p} |\beta_j| \)
• ความมหัศจรรย์ของ Lasso: ต่างจาก Ridge ตรงที่ Lasso สามารถบีบค่าสัมประสิทธิ์บางตัวให้กลายเป็น ศูนย์ ได้จริงๆ! นั่นหมายความว่า Lasso สามารถทำ การคัดเลือกตัวแปร (Feature selection) ได้โดยอัตโนมัติด้วยการกำจัดตัวแปรที่ไร้ประโยชน์ทิ้งไป!

เทคนิคการจำ: Lasso = Less variables (ตัดตัวแปรออก). Ridge = Reduces them (ลดขนาด แต่ยังเก็บไว้ทั้งหมด).

หัวใจสำคัญ

Regularization ใช้พารามิเตอร์ที่เรียกว่า \( \lambda \) เมื่อ \( \lambda = 0 \) คุณจะได้โมเดลมาตรฐาน แต่เมื่อ \( \lambda \) เพิ่มขึ้น บทลงโทษจะรุนแรงขึ้น และโมเดลจะเรียบง่ายลง (ลด Variance แต่อาจเพิ่ม Bias ได้)

3. การใช้ข้อมูลซ้ำซ้อนและการรั่วไหลของข้อมูล (Data Leakage)

ไม่ต้องกังวลถ้าคำว่า "Data Leakage" ฟังดูเหมือนปัญหาท่อน้ำแตก ในทางวิเคราะห์ข้อมูลมันอันตรายกว่านั้นมาก! Data Leakage เกิดขึ้นเมื่อข้อมูลจากภายนอกชุดข้อมูลสอน (Training dataset) ถูกนำมาใช้สร้างโมเดล มันก็เปรียบเสมือนนักเรียนที่เห็นเฉลยข้อสอบก่อนที่จะเริ่มสอบนั่นเอง

สาเหตุที่พบบ่อยของ Data Leakage

• Target Leakage: การรวมตัวแปรที่ทราบผล หลังจาก เหตุการณ์ที่คุณพยายามพยากรณ์ ตัวอย่างเช่น หากคุณกำลังพยากรณ์ว่าลูกค้าจะผิดนัดชำระหนี้หรือไม่ คุณไม่สามารถรวมตัวแปร "ค่าธรรมเนียมล่าช้า" เข้าเป็นตัวแปรพยากรณ์ได้ เพราะคุณจะได้รับค่าธรรมเนียมล่าช้าก็ต่อเมื่อ หลังจาก ที่เขาเริ่มผิดนัดชำระหนี้ไปแล้ว
• Train-Test Contamination: เกิดขึ้นเมื่อคุณทำความสะอาดข้อมูล (เช่น คำนวณค่าเฉลี่ยอายุ) บนชุดข้อมูล ทั้งหมด ก่อนที่จะแบ่งเป็น Training และ Test set ทำให้ชุด Training "ล่วงรู้" ข้อมูลค่าเฉลี่ยของชุด Test ไปเรียบร้อยแล้ว!

วิธีป้องกัน: กฎทองของการวิเคราะห์

จงแบ่งข้อมูลก่อนเสมอ (Split your data FIRST) การคำนวณใดๆ (การหาค่าเฉลี่ย, การปรับสเกล, การคัดเลือกตัวแปร) ควรทำโดยใช้เฉพาะข้อมูลใน Training set เท่านั้น แล้วจึงค่อยนำผลลัพธ์นั้นมาปรับใช้กับ Test set ให้ปฏิบัติกับ Test set เหมือนเป็นความลับจากอนาคตที่คุณห้ามเปิดดูจนกว่าจะถึงเวลา

4. อคติและความยุติธรรมของโมเดล (Model Bias and Fairness)

ในฐานะนักคณิตศาสตร์ประกันภัยและนักวิทยาศาสตร์ข้อมูล เรามีความรับผิดชอบทางจริยธรรม (และมักจะเป็นข้อบังคับทางกฎหมายด้วย) ที่ต้องดูแลให้โมเดลของเรามีความยุติธรรม Model Bias ในบริบทนี้หมายถึงความผิดพลาดเชิงระบบที่ส่งผลให้เกิดการปฏิบัติที่ไม่เป็นธรรมต่อกลุ่มคนบางกลุ่ม

ประเภทของอคติที่ต้องระวัง

• Selection Bias (อคติจากการเลือกกลุ่มตัวอย่าง): เกิดขึ้นเมื่อข้อมูลที่คุณเก็บมาไม่ได้เป็นตัวแทนของประชากรที่คุณต้องการพยากรณ์ ตัวอย่าง: หากคุณสร้างโมเดลประกันสุขภาพโดยใช้เฉพาะข้อมูลจากนักศึกษามหาวิทยาลัย โมเดลนั้นจะมีอคติเมื่อนำไปใช้กับกลุ่มผู้เกษียณอายุ
• Historical Bias (อคติจากประวัติศาสตร์): หากข้อมูลในอดีตมีอคติของมนุษย์แฝงอยู่ (เช่น การแบ่งแยกพื้นที่กู้ยืมในอดีต) โมเดลก็จะเรียนรู้และทำซ้ำอคติเหล่านั้น
• Proxy Variables (ตัวแปรแทน): ต่อให้คุณตัดตัวแปรที่ "ควรได้รับการปกป้อง" อย่างเชื้อชาติหรือเพศออกไปแล้ว แต่ตัวแปรอื่นๆ (เช่น รหัสไปรษณีย์หรืองานอดิเรกบางอย่าง) อาจทำหน้าที่เป็น "ตัวแปรแทน" (Proxy) สำหรับข้อมูลนั้น ทำให้โมเดลยังคงมีอคติทางอ้อมได้

กลยุทธ์การลดอคติ

1. Pre-processing: ปรับน้ำหนักของข้อมูลเพื่อให้แน่ใจว่าทุกกลุ่มได้รับการเป็นตัวแทนที่เท่าเทียมกัน
2. In-processing: เพิ่มข้อกำหนดด้านความยุติธรรมเข้าไปในสูตรการคำนวณของโมเดลโดยตรง
3. Post-processing: ปรับผลพยากรณ์สุดท้ายหรือเกณฑ์ตัดสินของโมเดลเพื่อให้ผลลัพธ์มีความเท่าเทียมกันในทุกกลุ่ม

คุณรู้หรือไม่? โมเดลหนึ่งสามารถมีความแม่นยำทางคณิตศาสตร์ที่สมบูรณ์แบบ แต่กลับ "ผิด" ในเชิงสังคมได้ หน้าที่ของเราคือการสร้างความสมดุลระหว่างความต้องการทั้งสองอย่างนี้

5. Cross-Validation: การทดสอบขั้นสูงสุด

เราจะรู้ได้อย่างไรว่าวิธีที่เราใช้แก้ Overfitting นั้นได้ผลจริงๆ? เราจึงต้องใช้ K-Fold Cross-Validation

กระบวนการทีละขั้นตอน:
1. แบ่งข้อมูล Training ของคุณออกเป็น k ส่วนเท่าๆ กัน (ปกติคือ 5 หรือ 10 ส่วน)
2. ฝึกโมเดลโดยใช้ข้อมูล k-1 ส่วน และใช้ส่วนที่เหลืออีก 1 ส่วนเป็น Test
3. ทำซ้ำขั้นตอนนี้ k ครั้ง เพื่อให้ข้อมูลทุกส่วนได้สลับกันเป็น "Test set" อย่างน้อยหนึ่งครั้ง
4. หาค่าเฉลี่ยของผลลัพธ์เพื่อประเมินประสิทธิภาพของโมเดลในอนาคตได้อย่างมั่นคง

ทำไมต้องทำแบบนี้? เพราะมันช่วยป้องกันไม่ให้เรา "โชคดี" หรือ "โชคร้าย" จากการแบ่งข้อมูลแบบสุ่มเพียงครั้งเดียวครับ

สรุปเนื้อหาบทเรียน

สรุปสั้นๆ (Quick Review):
• Overfitting: มีความแปรปรวนสูง โมเดลซับซ้อนเกินไป จนใช้กับข้อมูลใหม่ไม่ได้
• Regularization: ลงโทษความซับซ้อน Lasso (L1) ตัดตัวแปรออก; Ridge (L2) ลดขนาดสัมประสิทธิ์
• Data Leakage: คือการโกงโดยใช้ข้อมูลอนาคตหรือข้อมูลทดสอบในขั้นตอนการสอน
• Fairness: ต้องตรวจสอบอคติในโมเดลเมื่อเทียบกับกลุ่มคนที่ต้องได้รับการปกป้อง แม้จะใช้ตัวแปรแทน (Proxy) ก็ตาม
• Cross-Validation: วิธีที่แข็งแกร่งในการประมาณค่าประสิทธิภาพโมเดลโดยการหมุนเวียนข้อมูลที่ใช้ทดสอบ

ถ้ารู้สึกว่าเนื้อหาเยอะจนล้น ไม่ต้องกังวลนะ! แค่จำไว้ว่า: โมเดลที่ดีก็เหมือนนักเรียนที่ดี คือต้องเข้าใจแนวคิดให้แตกฉานจนสามารถตอบคำถามที่ไม่เคยเห็นมาก่อนได้ ฝึกฝนไปเรื่อยๆ แล้วคุณจะเชี่ยวชาญเทคนิค "ควบคุมคุณภาพ" เหล่านี้ได้ในเวลาไม่นานแน่นอน!