ยินดีต้อนรับสู่โลกแห่งการวัดประสิทธิภาพของ Classifier!

ในการเดินทางผ่านโลกของ Machine Learning ในหลักสูตร CS2 เราได้เรียนรู้วิธีสร้างแบบจำลองเพื่อทำนายผลลัพธ์กันไปแล้ว แต่เราจะรู้ได้อย่างไรว่าแบบจำลองของเรานั้น "ดี" จริงๆ? สมมติว่านักคณิตศาสตร์ประกันภัยสร้างแบบจำลองเพื่อทำนายว่าผู้ถือกรมธรรม์จะยกเลิกกรมธรรม์ (Lapse) หรือไม่ หากแบบจำลองตอบว่า "ไม่" กับทุกคน แบบจำลองนี้อาจมีความแม่นยำ (Accuracy) ถึง 90% เพราะคนส่วนใหญ่ไม่ได้ยกเลิกกรมธรรม์ แต่ในทางธุรกิจ แบบจำลองนี้ถือว่าไร้ประโยชน์โดยสิ้นเชิง!

ในบทนี้ เราจะเรียนรู้วิธีการมองให้ไกลกว่าค่าความแม่นยำแบบพื้นฐาน โดยใช้เครื่องมืออย่าง Confusion Matrix, Precision, Recall และ ROC Curve ซึ่งตัวชี้วัดเหล่านี้จะช่วยให้เราเข้าใจจุดแข็งและจุดอ่อนของแบบจำลองการจำแนกประเภท (Binary Classifier) ไม่ต้องกังวลหากคำศัพท์เหล่านี้ฟังดูยากในตอนแรก เพราะเราจะค่อยๆ เจาะลึกไปทีละส่วน!

1. พื้นฐานที่สำคัญ: Confusion Matrix

ก่อนที่เราจะไปคำนวณคะแนนยากๆ เราต้องจัดระเบียบผลลัพธ์ของแบบจำลองกันก่อน Confusion Matrix คือตารางที่สรุปประสิทธิภาพของอัลกอริทึมการจำแนกประเภท สำหรับแบบจำลอง Binary Classifier (ที่มีผลลัพธ์เพียง 2 ทางคือ Positive หรือ Negative) ตารางจะมีหน้าตาดังนี้:

Actual Positive (ผลจริงเป็นบวก): เหตุการณ์เกิดขึ้นจริง
Actual Negative (ผลจริงเป็นลบ): เหตุการณ์ไม่เกิดขึ้นจริง
Predicted Positive (ทำนายว่าเป็นบวก): แบบจำลองทำนายว่าเหตุการณ์จะเกิดขึ้น
Predicted Negative (ทำนายว่าเป็นลบ): แบบจำลองทำนายว่าเหตุการณ์จะไม่เกิดขึ้น

ซึ่งทำให้เราได้ 4 ส่วนประกอบสำคัญ:

  • True Positive (TP): ทำนายว่าเป็นบวก และผลจริงก็เป็นบวก (ทำนายถูก!)
  • True Negative (TN): ทำนายว่าเป็นลบ และผลจริงก็เป็นลบ (ทำนายถูก!)
  • False Positive (FP): ทำนายว่าเป็นบวก แต่ความจริงเป็นลบ (นี่คือ Type I Error หรือที่เรียกว่า "สัญญาณเตือนภัยปลอม" หรือ False Alarm)
  • False Negative (FN): ทำนายว่าเป็นลบ แต่ความจริงเป็นบวก (นี่คือ Type II Error หรือที่เรียกว่า "การหลุดรอด" หรือ Missed Catch)
การเปรียบเทียบกับสัญญาณเตือนไฟไหม้

ลองจินตนาการว่าสัญญาณเตือนไฟไหม้คือตัวจำแนกประเภทแบบ Binary:

  • TP: ไฟไหม้จริง และสัญญาณดัง (เยี่ยมมาก!)
  • TN: ไม่มีไฟไหม้ และสัญญาณเงียบ (เยี่ยมมาก!)
  • FP: คุณปิ้งขนมปังจนไหม้ (ไม่มีไฟไหม้จริง) แต่สัญญาณดันดัง (น่ารำคาญ เป็นสัญญาณปลอม)
  • FN: ไฟไหม้รุนแรง แต่สัญญาณเงียบสนิท (อันตรายมาก เพราะตรวจไม่พบ!)

ทบทวนสั้นๆ: Confusion Matrix ไม่ใช่ตัวชี้วัดในตัวมันเอง แต่เป็นแหล่งข้อมูลที่เราใช้คำนวณตัวชี้วัดอื่นๆ ทั้งหมด!

2. ตัวชี้วัดประสิทธิภาพพื้นฐาน

เมื่อเราได้ค่า TP, TN, FP และ FN แล้ว เราก็เริ่มคำนวณคะแนนกันได้เลย

Accuracy (ความแม่นยำรวม)

นี่เป็นตัวชี้วัดที่เข้าใจง่ายที่สุด โดยถามว่า: "โดยรวมแล้ว แบบจำลองทายถูกกี่ครั้ง?"

\( \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN} \)

กับดักที่ต้องระวัง: Accuracy อาจทำให้เข้าใจผิดได้มากหากข้อมูลของคุณ "ไม่สมดุล" (Imbalanced) เช่น หาก 99% ของผู้ถือกรมธรรม์ไม่มีการเคลม แบบจำลองที่ทำนายว่า "ไม่มีการเคลม" สำหรับทุกคนจะมีค่า Accuracy สูงถึง 99% แต่จะไม่ช่วยให้คุณระบุตัวตนคนที่เคลมจริงๆ ได้เลยแม้แต่คนเดียว!

Precision (ค่าความแม่นยำ)

Precision จะเน้นไปที่ Predicted Positives โดยถามว่า: "จากทั้งหมดที่ทำนายว่าเป็น 'บวก' มีกี่เปอร์เซ็นต์ที่เป็น 'บวก' จริงๆ?"

\( \text{Precision} = \frac{TP}{TP + FP} \)

ใช้ตัวชี้วัดนี้เมื่อต้นทุนของ False Positive สูง (เช่น หากคุณกำลังกล่าวหาใครสักคนว่าฉ้อโกงประกันภัย คุณต้องมั่นใจมากๆ ก่อนตัดสินใจ)

Recall (หรือ Sensitivity - ค่าความระลึก)

Recall จะเน้นไปที่ Actual Positives โดยถามว่า: "จาก 'เหตุการณ์ที่เป็นบวก' ทั้งหมดที่มีอยู่ เราสามารถตรวจจับได้กี่เปอร์เซ็นต์?"

\( \text{Recall} = \frac{TP}{TP + FN} \)

ใช้ตัวชี้วัดนี้เมื่อต้นทุนของ False Negative สูง (เช่น การพลาดการวินิจฉัยโรคร้ายแรงในใบสมัครประกันชีวิต)

Specificity (ความจำเพาะ)

นี่คือด้าน "Negative" ของ Recall โดยถามว่า: "จากเหตุการณ์ที่เป็น 'ลบ' ทั้งหมด เราสามารถระบุว่าเป็นลบได้ถูกต้องกี่เปอร์เซ็นต์?"

\( \text{Specificity} = \frac{TN}{TN + FP} \)

เทคนิคช่วยจำ:
Precision เน้นเรื่อง Predictions (ตัวหารคือแถวของการทำนาย)
Recall เน้นเรื่อง Reality (ตัวหารคือคอลัมน์ของความเป็นจริง)

3. F1 Score: การสร้างสมดุล

บางครั้งคุณต้องการแบบจำลองที่ดีทั้ง Precision และ Recall แต่โดยปกติแล้วจะมีสิ่งที่เรียกว่า Trade-off คือเมื่อคุณพยายามเพิ่มค่าหนึ่ง อีกค่าหนึ่งมักจะลดลง F1 Score จึงเป็นตัวเลขเดียวที่นำทั้งสองค่ามารวมกันโดยใช้ ค่าเฉลี่ยแบบฮาร์มอนิก (Harmonic mean)

\( F1 = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} \)

ทำไมต้องใช้ค่าเฉลี่ยแบบฮาร์มอนิก? ต่างจากค่าเฉลี่ยเลขคณิตทั่วไป ค่าเฉลี่ยแบบฮาร์มอนิกจะลงโทษค่าที่น้อยเกินไป ถ้า Precision ของคุณคือ 1.0 แต่ Recall เป็น 0.0 ค่า F1 จะเท่ากับ 0 ไม่ใช่ 0.5 ทำให้มันเป็นตัวชี้วัดที่แข็งแกร่งมากสำหรับชุดข้อมูลที่ไม่สมดุล

สรุปใจความสำคัญ: ใช้ F1 Score เมื่อคุณต้องการสมดุลระหว่างการตรวจจับเหตุการณ์ให้ได้มากที่สุด (Recall) ในขณะที่ยังคงรักษาความน่าเชื่อถือของการทำนายเอาไว้ได้ (Precision)

4. การวิเคราะห์: ROC Curve และ AUC

โดยส่วนใหญ่ แบบจำลองไม่ได้แค่ตอบว่า "ใช่" หรือ "ไม่" แต่จะออกมาเป็น ความน่าจะเป็น (เช่น "คนนี้มีโอกาส 85% ที่จะยกเลิกกรมธรรม์") เพื่อเปลี่ยนค่านี้เป็นการตัดสินใจ "ใช่/ไม่" เราต้องเลือก เกณฑ์ตัดสิน (Threshold) (เช่น อะไรก็ตามที่มากกว่า 50% ให้ถือว่าเป็น "ใช่")

ถ้าเราเปลี่ยนเกณฑ์ตัดสิน อัตรา TP และ FP ก็จะเปลี่ยนไปด้วย ROC Curve (Receiver Operating Characteristic) คือกราฟที่พลอต:

  • แกน Y: True Positive Rate (Recall)
  • แกน X: False Positive Rate (1 - Specificity)

เมื่อคุณลดเกณฑ์ตัดสินลง คุณจะตรวจจับเหตุการณ์ที่เป็นบวกได้มากขึ้น (Recall สูงขึ้น) แต่ก็จะทำให้สัญญาณเตือนภัยปลอมเพิ่มมากขึ้นด้วย (False Positive Rate สูงขึ้น)

Area Under the Curve (AUC)

AUC คือพื้นที่ทั้งหมดใต้กราฟ ROC ซึ่งให้ตัวเลขเดียวที่เราใช้ประเมินประสิทธิภาพของแบบจำลอง ในทุกๆ เกณฑ์ตัดสินที่เป็นไปได้

  • AUC = 1.0: แบบจำลองที่สมบูรณ์แบบ
  • AUC = 0.5: ไม่ดีไปกว่าการสุ่มเดา (เป็นเส้นทแยงมุม)
  • AUC < 0.5: แบบจำลองแย่กว่าการสุ่มเดาเสียอีก!

รู้หรือไม่? กราฟ ROC เดิมถูกพัฒนาขึ้นในช่วงสงครามโลกครั้งที่ 2 สำหรับเจ้าหน้าที่เรดาร์ เพื่อช่วยให้พวกเขาสามารถแยกแยะระหว่างเครื่องบินญี่ปุ่นกับสัญญาณรบกวนอื่นๆ (เช่น นก)!

5. บทสรุปและข้อผิดพลาดที่พบบ่อย

ข้อผิดพลาดที่ควรหลีกเลี่ยง:
  • สับสนระหว่าง Recall กับ Precision: ให้ตรวจสอบตัวหารเสมอ! Recall เกี่ยวกับ กลุ่มความเป็นจริง (Actual group) ส่วน Precision เกี่ยวกับ กลุ่มที่ทำนาย (Predicted group)
  • ละเลยบริบท: ในการสอบ IFoA ให้ใส่ใจกับสถานการณ์ หากโจทย์ถามเกี่ยวกับโรคร้ายแรงถึงชีวิต Recall มักจะสำคัญกว่า Precision แต่ถ้าเป็นเรื่องแคมเปญการตลาดต้นทุนต่ำ Precision อาจจะสำคัญน้อยกว่า
  • เชื่อแค่ Accuracy: อย่าเชื่อถือค่า Accuracy ที่สูงเกินไปโดยไม่ได้ตรวจสอบความสมดุลของคลาสในข้อมูล
กล่องสรุปช่วยจำ:

Confusion Matrix: TP, TN, FP, FN.
Accuracy: ทำนายถูก / ทั้งหมด
Precision: TP / (TP + FP)
Recall: TP / (TP + FN)
F1 Score: สมดุลระหว่าง Precision และ Recall
ROC Curve: แสดง Trade-off ระหว่าง Recall และสัญญาณเตือนปลอม
AUC: "เกรด" ของ ROC Curve (จาก 0.5 ถึง 1.0)

คุณผ่านมาถึงจุดนี้ได้ถือว่ายอดเยี่ยมมาก! เครื่องมือเหล่านี้จำเป็นอย่างยิ่งสำหรับนักคณิตศาสตร์ประกันภัยทุกคนที่ทำงานกับแบบจำลองเชิงทำนาย เพื่อให้มั่นใจว่าความเสี่ยงของเราถูกวัดอย่างแม่นยำและแบบจำลองของเรามีความน่าเชื่อถือที่สุด