K-means and hierarchical clustering for data transformation

ยินดีต้อนรับสู่การทำ Clustering เพื่อการแปลงข้อมูล (Data Transformation)!

สวัสดีครับ! ยินดีต้อนรับเข้าสู่ส่วนที่สร้างสรรค์ที่สุดส่วนหนึ่งของข้อสอบ Exam PA โดยปกติแล้วเวลาเราพูดถึง Clustering เรามักจะคิดว่ามันคือ "เป้าหมายปลายทาง" เช่น การจัดกลุ่มลูกค้าออกเป็นเซกเมนต์ต่างๆ แต่ในบทนี้ เราจะมอง Clustering ในฐานะ เครื่องมือ ที่ช่วยให้โมเดลอื่นๆ ของเรา (เช่น GLMs หรือ Trees) ทำงานได้ดีขึ้น ซึ่งนี่คือสิ่งที่เราเรียกว่า การแปลงข้อมูล (Data Transformation) เราจะมาเรียนรู้วิธีการนำข้อมูลดิบมาเปลี่ยนให้เป็น "ป้ายกำกับกลุ่ม (cluster labels)" ซึ่งทำหน้าที่เป็นฟีเจอร์ใหม่ที่ทรงพลังให้กับโมเดลพยากรณ์ของเราครับ

ถ้ารู้สึกว่า unsupervised learning ฟังดูเป็นนามธรรมไปนิด ไม่ต้องกังวลนะ เดี๋ยวเราจะมาค่อยๆ ย่อยให้เข้าใจง่ายด้วยตัวอย่างใกล้ตัวกัน เริ่มกันเลย!

1. พื้นฐาน: Clustering คืออะไร?

ก่อนที่เราจะใช้กลุ่มมาช่วยแปลงข้อมูล เราต้องเข้าใจก่อนว่ามันคืออะไร ใน Unsupervised Learning เราจะไม่มีตัวแปรเป้าหมาย (target variable หรือ y) เรามีแค่ฟีเจอร์ (x's) เท่านั้น Clustering คือกระบวนการค้นหาการจัดกลุ่มที่เกิดขึ้นตามธรรมชาติในข้อมูล เพื่อให้ข้อมูลที่อยู่ในกลุ่มเดียวกันมีความคล้ายคลึงกันมากกว่าเมื่อเทียบกับข้อมูลที่อยู่คนละกลุ่ม

ทบทวนสั้นๆ: ลองนึกถึงห้องที่รกดูครับ Clustering ก็เหมือนกับการนำ "ถุงเท้า" ไปกองรวมกันที่หนึ่ง และ "เสื้อ" ไปรวมกันอีกที่หนึ่ง แม้จะไม่มีใครบอกคุณเลยว่าอะไรคืออะไร แต่คุณแค่สังเกตเห็นว่าถุงเท้าทั้งหมดมันดูคล้ายกัน!

2. K-means Clustering

K-means เป็นอัลกอริทึมการทำ Clustering ที่ยอดนิยมที่สุด โดยมันจะพยายามแบ่งข้อมูลออกเป็น K กลุ่มที่แยกขาดจากกันชัดเจนและไม่ซ้อนทับกัน

การทำงานของ K-means (ทีละขั้นตอน)

1. เลือก K: ตัดสินใจว่าต้องการกี่กลุ่ม (สมมติว่า K=3)
2. เริ่มต้น (Initialize): คอมพิวเตอร์จะสุ่มจุดขึ้นมา 3 จุดเพื่อเป็น "จุดศูนย์กลางเริ่มต้น" (เรียกว่า centroids)
3. จัดกลุ่ม (Assign): ข้อมูลทุกตัวจะดูว่ามันอยู่ใกล้จุดศูนย์กลางไหนมากที่สุดแล้วเลือกเข้าร่วมกลุ่มนั้น
4. อัปเดต (Update): จุดศูนย์กลางจะขยับไปอยู่ตรงกลางของกลุ่มใหม่ของมัน
5. ทำซ้ำ (Repeat): ทำขั้นตอนที่ 3 และ 4 ไปเรื่อยๆ จนกว่าจุดศูนย์กลางจะไม่ขยับอีก

ความสำคัญของการปรับสเกล (Scaling)

จุดสำคัญ: K-means ใช้ ระยะทางแบบยุคลิด (Euclidean Distance) ในการตัดสินใจว่าข้อมูลควรอยู่กลุ่มไหน ซึ่งมีสูตรดังนี้:
\( d(x, y) = \sqrt{\sum_{i=1}^{n} (x_i - y_i)^2} \)
เพราะมันคำนวณจากระยะทาง คุณจึง จำเป็นต้อง ปรับสเกล (standardize) ข้อมูลก่อนเสมอ! หากตัวแปรหนึ่งคือ "รายได้ต่อปี" (หลักพันดอลลาร์) และอีกตัวแปรคือ "อายุ" (0-100) ตัวแปรรายได้จะครอบงำการคำนวณระยะทางจนหมดสิ้น การปรับสเกลจะช่วยให้ข้อมูลทุกตัวอยู่บนมาตรฐานเดียวกัน

ข้อผิดพลาดที่พบบ่อย: การลืมปรับสเกลก่อนทำ K-means เป็นข้อผิดพลาดที่พบบ่อยมากในข้อสอบ PA อย่าลืมเช็กเสมอว่าตัวแปรของคุณมีสเกลที่แตกต่างกันหรือไม่!

การเลือก "K" ที่เหมาะสม

เราจะรู้ได้อย่างไรว่า K ควรเป็น 2, 3 หรือ 10? เราใช้ วิธี Elbow (Elbow Method) ครับ เราจะพล็อตกราฟระหว่าง "ผลรวมความแปรปรวนภายในกลุ่ม (Total Within-Cluster Sum of Squares)" กับจำนวนกลุ่ม แล้วมองหา "จุดศอก" หรือจุดที่การเพิ่มจำนวนกลุ่มเข้าไปอีกไม่ได้ช่วยให้ผลลัพธ์ดีขึ้นอย่างมีนัยสำคัญแล้ว

ประเด็นสำคัญ: K-means ทำงานเร็วและง่าย แต่คุณต้องเลือก K ไว้ล่วงหน้า และมันจะทำงานได้ดีที่สุดเมื่อกลุ่มข้อมูลมีลักษณะเป็นก้อนกลมๆ

3. Hierarchical Clustering

ต่างจาก K-means ตรงที่ Hierarchical Clustering ไม่จำเป็นต้องเลือก "K" ตั้งแต่ต้น แต่จะใช้วิธีสร้างโครงสร้างเป็นรูปต้นไม้แทน

การรวมกลุ่มแบบ Agglomerative (Bottom-Up)

ลองนึกภาพเหมือนแผนผังครอบครัวแบบย้อนกลับ ข้อมูลแต่ละจุดจะเริ่มต้นจากการเป็นกลุ่มเดี่ยวๆ จากนั้นจุดที่ใกล้กันที่สุดสองจุดจะรวมกันเป็นคู่ แล้วจุดที่ใกล้กันรองลงมาก็รวมกันไปเรื่อยๆ จนกลายเป็นกลุ่มก้อนใหญ่กลุ่มเดียว

Dendrogram

ผลลัพธ์ที่ได้คือ Dendrogram ซึ่งเป็นแผนภาพที่ดูเหมือนต้นไม้กลับหัว คุณสามารถเลือกจำนวนกลุ่มได้ง่ายๆ โดยการ "ตัด" ก้านต้นไม้ในแนวนอน ยิ่งตัดสูงหรือต่ำก็จะได้จำนวนกลุ่มที่แตกต่างกัน!

Linkage: เราจะวัดระยะห่างระหว่างกลุ่มได้อย่างไร?

เมื่อเราต้องรวมสอง กลุ่ม เข้าด้วยกัน เราต้องมีกฎการวัดระยะทางที่เรียกว่า Linkage:
• Complete Linkage: ใช้ระยะห่างระหว่างจุดที่ ไกลที่สุด ของแต่ละกลุ่ม
• Single Linkage: ใช้ระยะห่างระหว่างจุดที่ ใกล้ที่สุด (อาจทำให้เกิดกลุ่มที่เป็นเส้นยาวๆ)
• Average Linkage: ใช้ระยะห่างเฉลี่ยระหว่างทุกคู่ของจุด
• Ward’s Method: ลดความแปรปรวนภายในกลุ่มให้เหลือน้อยที่สุด (ได้รับความนิยมมากในงานคณิตศาสตร์ประกันภัยเพราะสร้างกลุ่มที่มีขนาดใกล้เคียงกัน)

ประเด็นสำคัญ: Hierarchical Clustering เหมาะมากเมื่อคุณต้องการเห็นความสัมพันธ์ระหว่างกลุ่ม แต่จะทำงานช้าหากชุดข้อมูลมีขนาดใหญ่มากๆ

4. การใช้ Clustering เพื่อแปลงข้อมูล (Data Transformation)

นี่คือส่วนที่สำคัญที่สุดสำหรับ Exam PA! เมื่อเราได้กลุ่ม (clusters) แล้ว เราจะนำไปใช้สร้างโมเดลที่ดีขึ้นได้อย่างไร?

ฟีเจอร์ "การเป็นสมาชิกของกลุ่ม" (Cluster Membership)

หลังจากอัลกอริทึมทำงานเสร็จ ข้อมูลแต่ละแถวจะได้ป้ายกำกับ (เช่น กลุ่ม 1, กลุ่ม 2 หรือกลุ่ม 3) คุณสามารถเพิ่มป้ายกำกับนี้เป็น ตัวแปรเชิงกลุ่ม (categorical variable) ใหม่ ในชุดข้อมูลของคุณได้เลย

ทำไมถึงมีประโยชน์?
1. จับความสัมพันธ์ที่ไม่เป็นเส้นตรง (Non-linearities): GLM ธรรมดาอาจทำได้ยากกับรูปแบบข้อมูลที่ซับซ้อน การจัดกลุ่มข้อมูลที่คล้ายกันเข้าด้วยกันจะช่วยให้ป้ายกำกับของกลุ่มสามารถดึง "พฤติกรรมเฉพาะจุด" ที่ตัวแปรเชิงเส้นอาจมองข้ามไปได้
2. ระบุปฏิสัมพันธ์ (Interactions): กลุ่มมักแสดงถึงการรวมกันของฟีเจอร์ต่างๆ (เช่น "คนอายุน้อยที่มีหนี้สูง") แทนที่คุณจะต้องสร้างตัวแปร interaction ระหว่างอายุกับหนี้ด้วยตัวเอง ป้ายกำกับของกลุ่มจะทำหน้าที่นี้ให้คุณโดยอัตโนมัติ!
3. ลดมิติของข้อมูล (Dimensionality Reduction): บางครั้งแทนที่จะใช้ตัวแปร 10 ตัวที่ดูงงๆ การใช้ป้ายกำกับกลุ่มเดียวที่สรุปใจความของ 10 ตัวแปรนั้น อาจทำให้โมเดลเข้าใจง่ายขึ้นและอธิบายให้ผู้มีส่วนได้ส่วนเสียฟังได้ง่ายกว่า

ตัวอย่างในโลกจริง: หากคุณกำลังพยากรณ์การเคลมประกันรถยนต์ กลุ่มหนึ่งอาจหมายถึง "ผู้ขับขี่ในเมืองที่ใช้ระยะทางต่อปีสูง" แม้ว่าโมเดลของคุณจะไม่มีตัวแปร interaction สำหรับ "สถานที่ * ระยะทาง" แต่ป้ายกำกับของกลุ่มจะทำหน้าที่เป็นทางลัดบอกโมเดลว่า: "เฮ้ กลุ่มนี้มีความเสี่ยงสูงนะ!"

5. บทสรุปและแนวทางปฏิบัติที่ดีที่สุด

สรุปสั้นๆ:
• K-means: เร็ว, ต้องกำหนด K, ต้องทำ Scaling, สร้างกลุ่มเป็นก้อนๆ
• Hierarchical: เห็นภาพชัด (Dendrogram), ไม่ต้องกำหนด K ตั้งแต่แรก, เลือก Linkage ได้ตามความเหมาะสม
• การแปลงข้อมูล: เราใช้การจัดกลุ่มเป็น ฟีเจอร์เชิงกลุ่ม ในโมเดลที่ต้องการสอน (Supervised model เช่น GLM หรือ GBM)
• Scaling: ต้องทำมาตรฐานข้อมูลตัวเลขก่อนทำ Clustering เสมอ!

รู้หรือไม่? การทำ Clustering มักถูกเรียกว่า "การค้นหาโครงสร้างที่ซ่อนอยู่" ใน Exam PA งานของคุณคือการค้นหาโครงสร้างนั้นและใช้มันเพื่อ "ใบ้" ให้โมเดลพยากรณ์รู้ว่าข้อมูลชุดไหนมีความคล้ายคลึงกัน

กำลังใจส่งท้าย: ถ้าคุณพบว่า Linkage แต่ละแบบหรือคณิตศาสตร์เบื้องหลังระยะทางยุคลิดมันดูน่าสับสน ไม่ต้องกังวลกับรายละเอียดเล็กๆ น้อยๆ นะ ให้โฟกัสที่ ทำไม เราถึงต้องทำ Clustering: นั่นคือเพื่อลดความซับซ้อนของข้อมูลและสร้างฟีเจอร์ใหม่ที่จะช่วยให้โมเดลของเรามองเห็นรูปแบบได้ชัดเจนขึ้น คุณทำได้แน่นอนครับ!