ยินดีต้อนรับสู่โลกของต้นไม้การจำแนก (Classification Trees)!
ในการเรียนรู้ที่ผ่านมา เราได้ดูเรื่อง Regression Trees (ต้นไม้สำหรับการถดถอย) ซึ่งช่วยให้เราพยากรณ์ค่าที่เป็นตัวเลข เช่น ราคาบ้าน หรือยอดเคลมประกัน แต่ถ้าเราต้องการพยากรณ์ข้อมูลที่เป็น "กลุ่ม" หรือ "หมวดหมู่" ล่ะ? เช่น "ผู้ขับขี่คนนี้จะเคลมประกันหรือไม่?" (ใช่/ไม่ใช่) หรือ "เนื้องอกก้อนนี้เป็นมะเร็งหรือเนื้องอกธรรมดา?"
นั่นคือจุดที่ Classification Trees (ต้นไม้การจำแนก) เข้ามามีบทบาท! ให้ลองนึกภาพว่าต้นไม้การจำแนกก็เหมือนชุดคำถามที่ช่วยคัดแยกข้อมูลให้ลง "ถัง" ที่ถูกต้อง มันเป็นสิ่งที่เห็นภาพชัดเจนมาก อธิบายให้คนทั่วไปที่ไม่ใช่นักคณิตศาสตร์ประกันภัยเข้าใจได้ง่าย และยังเป็นพื้นฐานสำหรับโมเดลที่ซับซ้อนกว่าที่คุณจะได้เจอต่อไปในข้อสอบ SRM มาเริ่มกันเลยดีกว่า!
1. Classification Tree คืออะไร?
Classification Tree ใช้สำหรับพยากรณ์ผลลัพธ์ที่เป็น เชิงคุณภาพ (Qualitative) หรือแบบหมวดหมู่ (Categorical) แทนที่จะเป็นเชิงปริมาณ
ในต้นไม้การจำแนก เราจะพยากรณ์ว่าข้อมูลแต่ละจุดจัดอยู่ใน หมวดหมู่ที่พบบ่อยที่สุด (Most commonly occurring class) ของข้อมูลฝึกฝน (training observations) ในกลุ่มย่อยนั้นๆ วิธีนี้เรียกอีกอย่างว่า กฎฐานนิยม (plurality rule หรือ mode)
ตัวอย่างในชีวิตจริง: ลองจินตนาการว่าคุณกำลังคัดแยกผลไม้ คำถามแรกของคุณอาจจะเป็น "มันมีลักษณะกลมไหม?" แล้วตามด้วย "มันเป็นสีแดงหรือเปล่า?" เมื่อจบคำถามเหล่านี้ คุณก็จะจำแนกผลไม้ได้ว่าเป็น "แอปเปิล" คุณไม่ได้คำนวณตัวเลขออกมา แต่คุณได้ประเภทของมันมาแทน
ทบทวนสั้นๆ: - Regression Tree: พยากรณ์ค่าเฉลี่ย (เช่น 5,000 บาท) - Classification Tree: พยากรณ์หมวดหมู่ (เช่น "ความเสี่ยงสูง")
2. การสร้างต้นไม้: การแตกกิ่งแบบทวิภาค (Recursive Binary Splitting)
เช่นเดียวกับ Regression Tree เราสร้าง Classification Tree โดยใช้ Recursive Binary Splitting (การแตกกิ่งแบบทวิภาคแบบเรียกซ้ำ) เราเริ่มจากด้านบนแล้วแบ่งข้อมูลออกเป็นสองกิ่งตามตัวแปรพยากรณ์ จากนั้นก็ทำซ้ำกระบวนการเดิมสำหรับแต่ละกิ่ง
อย่างไรก็ตาม เรามีปัญหาหนึ่ง: ใน Regression เราใช้ RSS (Residual Sum of Squares) ในการตัดสินใจว่าจะแบ่งกิ่งที่ไหน แต่คุณไม่สามารถนำ "แอปเปิล" มาลบกับ "ส้ม" ได้ ดังนั้น RSS จึงใช้ไม่ได้ที่นี่! เราจึงจำเป็นต้องหาวิธีวัด ความบริสุทธิ์ของโหนด (node purity) แทน
ทำไม "ความบริสุทธิ์" ถึงสำคัญ?
เราต้องการให้กลุ่ม (โหนด) ที่ได้มีความ "บริสุทธิ์" มากที่สุด โหนดที่บริสุทธิ์คือโหนดที่ข้อมูลเกือบทั้งหมดอยู่ในหมวดหมู่เดียวกัน หากโหนดใด "ไม่บริสุทธิ์" แสดงว่ามันเป็นส่วนผสมที่ยุ่งเหยิงของหลายๆ หมวดหมู่
3. การวัดความไม่บริสุทธิ์ (Impurity): 3 ตัวชี้วัดสำคัญ
เพื่อตัดสินใจว่าจะแบ่งกิ่งตรงไหน เราจะมองหาจุดที่แบ่งแล้วทำให้เกิดความไม่บริสุทธิ์น้อยที่สุด โดยมี 3 วิธีหลักๆ ที่ใช้ในหลักสูตร SRM:
A. Classification Error Rate (อัตราความผิดพลาดในการจำแนก)
นี่คือตัววัดที่ง่ายที่สุด คือสัดส่วนของข้อมูลฝึกฝนในกลุ่มนั้นๆ ที่ไม่ได้อยู่ในหมวดหมู่ที่พบบ่อยที่สุด
\( E = 1 - \max_k(\hat{p}_{mk}) \)
โดยที่ \( \hat{p}_{mk} \) แทนสัดส่วนของข้อมูลฝึกฝนในภูมิภาคที่ m ซึ่งมาจากหมวดหมู่ที่ k
ข้อควรระวัง: แม้จะดูง่าย แต่อัตราความผิดพลาดในการจำแนก มีความละเอียดไม่เพียงพอ สำหรับการเติบโตของต้นไม้ มันเหมาะกับการตัดแต่งกิ่ง (pruning) ในภายหลังมากกว่า แต่ไม่เหมาะสำหรับการเลือกแบ่งกิ่งในขั้นเริ่มต้น
B. Gini Index (ดัชนีจินี)
Gini Index คือการวัดความแปรปรวนรวมในทุกหมวดหมู่ นิยามไว้ว่า:
\( G = \sum_{k=1}^K \hat{p}_{mk}(1 - \hat{p}_{mk}) \)
แนวคิดหลัก: ถ้าข้อมูลทั้งหมดในโหนดอยู่ในหมวดหมู่เดียวกัน (บริสุทธิ์) Gini index จะเป็น ศูนย์ แต่ถ้าหมวดหมู่ถูกแบ่งอย่างเท่าๆ กัน (ไม่บริสุทธิ์) Gini index จะสูง ดังนั้นเราต้องการ ทำให้ Gini index ต่ำที่สุด
C. Entropy (เอนโทรปี หรือความเบี่ยงเบน)
Entropy เป็นแนวคิดที่ยืมมาจากทฤษฎีสารสนเทศ (Information Theory) เพื่อวัด "ความไร้ระเบียบ" ในโหนด นิยามไว้ว่า:
\( D = -\sum_{k=1}^K \hat{p}_{mk} \log \hat{p}_{mk} \)
คล้ายกับ Gini index หากโหนดบริสุทธิ์ ค่า Entropy จะเป็น ศูนย์ แต่ถ้าโหนดมีความยุ่งเหยิงและปะปนกัน ค่า Entropy จะสูง
ตัวช่วยจำ: ลองนึกภาพห้องที่เต็มไปด้วยเด็กเล็กๆ - บริสุทธิ์: ทุกคนกำลังนั่งเล่นตัวต่ออย่างสงบ (Entropy/Gini ต่ำ) - ไม่บริสุทธิ์: บางคนกำลังร้องไห้ บางคนกำลังนอนหลับ บางคนกำลังขว้างตัวต่อใส่กัน (Entropy/Gini สูง)
ตารางสรุปตัววัดความไม่บริสุทธิ์
1. Classification Error: ดีสำหรับการประเมินผลขั้นสุดท้าย แต่ไม่ดีสำหรับการแบ่งกิ่ง
2. Gini Index: ยอดเยี่ยมสำหรับการแบ่งกิ่ง วัด "ความบริสุทธิ์"
3. Entropy: ยอดเยี่ยมสำหรับการแบ่งกิ่ง วัด "ความไร้ระเบียบ"
4. การเปรียบเทียบระหว่าง Gini และ Entropy
ไม่ต้องกังวลมากเรื่องความแตกต่างทางคณิตศาสตร์ระหว่าง Gini และ Entropy เพราะจริงๆ แล้วมันคล้ายกันมาก! ในทางปฏิบัติ มักจะได้ต้นไม้ที่มีลักษณะคล้ายกัน ทั้งคู่มีความไวต่อความบริสุทธิ์ของโหนดมากกว่า Classification Error Rate
รู้หรือไม่? เวลาสร้างต้นไม้ ซอฟต์แวร์จะคำนวณค่า Gini หรือ Entropy สำหรับทุกจุดแบ่งที่เป็นไปได้ แล้วเลือกจุดที่ลดความไม่บริสุทธิ์ได้มากที่สุด นี่คือแนวทางแบบ "Greedy" (โลภ)!
5. การตีความและการพยากรณ์
เมื่อสร้างต้นไม้เสร็จแล้ว เราจะใช้งานมันอย่างไร?
1. นำข้อมูลใหม่เข้ามา
2. ตอบคำถาม "ใช่/ไม่ใช่" ไปตามกิ่งจนถึง Leaf Node (โหนดปลาย)
3. หมวดหมู่ที่พยากรณ์คือ หมวดหมู่ที่พบบ่อยที่สุด ในโหนดปลายนั้น
ตัวอย่าง: ถ้าโหนดปลายประกอบด้วยผู้ขับขี่ที่ "ปลอดภัย" 80 คน และ "กลุ่มเสี่ยง" 20 คน คนใหม่ที่เข้ามาในโหนดนี้จะถูกพยากรณ์ว่าเป็น "ปลอดภัย"
เดี๋ยวสิ! แล้วเรื่องความน่าจะเป็นล่ะ?
Classification Tree ยังสามารถพยากรณ์ ความน่าจะเป็น (probability) ที่จะอยู่ในหมวดหมู่นั้นๆ ได้ด้วย จากตัวอย่างข้างต้น เราจะบอกได้ว่ามีโอกาส 80% ที่บุคคลนั้นจะเป็นผู้ขับขี่ที่ "ปลอดภัย"
6. ข้อดีและข้อเสียของ Classification Trees
สำหรับการสอบ SRM สิ่งสำคัญคือต้องรู้ว่าควรใช้ต้นไม้เมื่อไหร่และเมื่อไหร่ที่มันอาจล้มเหลว
ข้อดี:
- อธิบายง่าย: คุณสามารถโชว์ภาพต้นไม้ให้ผู้จัดการดูได้ แล้วพวกเขาจะเข้าใจทันที
- ไม่ต้องใช้ตัวแปรหุ่น (Dummy Variables): ต้นไม้จัดการตัวแปรพยากรณ์แบบกลุ่ม (เช่น "สี") ได้โดยธรรมชาติโดยไม่ต้องเปลี่ยนเป็น 0 หรือ 1
- เลียนแบบการตัดสินใจของมนุษย์: เรามักจะคิดแบบ "ถ้า...แล้ว..." อยู่แล้ว
ข้อเสีย:
- ความแปรปรวนสูง (High Variance): การเปลี่ยนแปลงข้อมูลเพียงเล็กน้อยอาจส่งผลให้ได้ต้นไม้ที่แตกต่างไปจากเดิมอย่างสิ้นเชิง (นี่คือจุดอ่อนที่ใหญ่ที่สุด!)
- ความแม่นยำในการพยากรณ์ต่ำกว่า: ต้นไม้เดี่ยวๆ มักไม่แม่นยำเท่าโมเดลอื่น (เช่น GLMs) หมายเหตุ: นี่คือเหตุผลที่เราต้องเรียนเรื่อง "Forests" (ป่า) และ "Boosting" เพื่อมาแก้ปัญหานี้!
7. สรุปประเด็นสำคัญสำหรับการสอบ
1. กฎการพยากรณ์: เราพยากรณ์ค่า Mode (หมวดหมู่ที่พบบ่อยสุด) ของข้อมูลฝึกฝนในกลุ่มนั้นๆ
2. เกณฑ์การแบ่งกิ่ง: เราใช้ Gini Index หรือ Entropy ในการสร้างต้นไม้เพราะมันสนับสนุนโหนดที่บริสุทธิ์
3. อัตราความผิดพลาด: Classification Error Rate มักใช้สำหรับการตัดแต่งกิ่งหรือการประเมินผล ไม่ใช่การแบ่งกิ่งในขั้นเริ่มต้น
4. ความสามารถในการตีความ: ต้นไม้ตีความได้ง่ายมาก แต่ก็มักจะเจอปัญหาเรื่องความแปรปรวนสูง
ไม่ต้องกังวลถ้าคณิตศาสตร์เรื่อง Entropy ดูน่ากลัว! ในข้อสอบ คุณมีแนวโน้มที่จะถูกถามเรื่อง แนวคิด ของความบริสุทธิ์ หรือให้คำนวณค่า Gini แบบง่ายๆ มากกว่าที่จะต้องไปพิสูจน์ลอการิทึมที่ซับซ้อน ให้โฟกัสที่การทำความเข้าใจว่า ทำไม เราถึงต้องการโหนดที่บริสุทธิ์!