Complete exploratory data analysis

ยินดีต้อนรับสู่โลกแห่งการวิเคราะห์ข้อมูลเชิงสำรวจ (Exploratory Data Analysis: EDA)!

ยินดีต้อนรับ! ก่อนที่นักคณิตศาสตร์ประกันภัยจะสร้างโมเดลที่ซับซ้อนเพื่อทำนายอนาคต พวกเขาจำเป็นต้องเข้าใจปัจจุบันเสียก่อน ให้คิดว่า การวิเคราะห์ข้อมูลเชิงสำรวจ (EDA) เปรียบเสมือนการเป็นนักสืบครับ ก่อนที่คุณจะไข "คดี" (แก้ปัญหาทางธุรกิจ) ได้ คุณต้องตรวจสอบเบาะแสทั้งหมด (ข้อมูล) เพื่อดูว่าพวกมันกำลังบอกเล่าเรื่องราวอะไร ในบทนี้เราจะมาเรียนรู้วิธีการทำความสะอาด การแสดงภาพ และการสรุปผลข้อมูล เพื่อให้เราตัดสินใจได้ดีขึ้นในภายหลัง ถ้ารู้สึกว่าวิชาสถิติดูแห้งแล้งในตอนแรก ไม่ต้องกังวลนะ! เราจะค่อยๆ ย่อยให้เข้าใจง่ายผ่านสถานการณ์จริงที่พบเจอได้ทั่วไปครับ

1. ทำความเข้าใจกับข้อมูลของคุณ: วัตถุดิบตั้งต้น

ก่อนที่เราจะวิเคราะห์ข้อมูลได้ เราจำเป็นต้องรู้ก่อนว่าเรามีข้อมูลประเภทไหน เพราะไม่ใช่ว่าข้อมูลทุกอย่างจะถูกสร้างมาให้เท่าเทียมกัน! เช่นเดียวกับที่คุณคงไม่ใช้เทอร์โมมิเตอร์วัดว่าคนคนหนึ่งชอบภาพยนตร์แค่ไหน เราจึงต้องเลือกใช้เครื่องมือที่แตกต่างกันไปสำหรับข้อมูลแต่ละประเภทครับ

ข้อมูลเชิงกลุ่ม (Categorical/Qualitative Data)

คือข้อมูลที่อธิบาย "คุณลักษณะ" หรือ "ป้ายกำกับ" เป็นข้อมูลที่จัดอยู่ในกลุ่มต่างๆ ได้แก่:
• ข้อมูลเชิงกลุ่มแบบนามบัญญัติ (Nominal Data): เป็นเพียงชื่อเรียกที่ไม่มีลำดับความสำคัญ เช่น สีตา (ฟ้า, น้ำตาล, เขียว)
• ข้อมูลเชิงกลุ่มแบบจัดลำดับ (Ordinal Data): เป็นข้อมูลที่มีลำดับในตัวเอง เช่น ระดับความพึงพอใจของลูกค้า (ต่ำ, กลาง, สูง)

ข้อมูลเชิงปริมาณ (Numerical/Quantitative Data)

คือข้อมูลที่บอก "ปริมาณ" หรือ "ตัวเลข" ซึ่งเราสามารถนำมาคำนวณทางคณิตศาสตร์ได้ ได้แก่:
• ข้อมูลไม่ต่อเนื่อง (Discrete Data): เป็นค่าที่นับได้ มักเป็นจำนวนเต็ม เช่น จำนวนการเรียกร้องค่าสินไหมทดแทน (0, 1, 2...) คุณไม่มีทางเรียกร้องค่าสินไหม 1.5 ครั้งได้จริงไหมล่ะ!
• ข้อมูลต่อเนื่อง (Continuous Data): เป็นค่าจากการวัดที่สามารถเป็นค่าใดก็ได้ในช่วงที่กำหนด เช่น เวลาที่ใช้ในการประมวลผลการเรียกร้องค่าสินไหม (3.452 วัน) หรือส่วนสูงของบุคคล

เคล็ดลับสั้นๆ: ถ้าคุณถามว่า "มีกี่อัน/กี่คน?" มักจะเป็นข้อมูลไม่ต่อเนื่อง แต่ถ้าถามว่า "เท่าไหร่?" มักจะเป็นข้อมูลต่อเนื่องครับ

2. สถิติเชิงพรรณนา: การอธิบายค่า "กลาง" (Location)

สถิติเชิงพรรณนาช่วยเปลี่ยนตัวเลขกองโตให้กลายเป็นค่าที่มีความหมายเพียงไม่กี่ค่า ก่อนอื่นเรามาดูว่า "ค่ากลาง" ของข้อมูลอยู่ที่ไหน

ค่าเฉลี่ยเลขคณิต (Mean)

คือผลรวมของค่าทั้งหมดหารด้วยจำนวนข้อมูล
สูตร: \( \bar{x} = \frac{\sum_{i=1}^{n} x_i}{n} \)
ตัวอย่างจากเหตุการณ์จริง: ถ้าคุณมีการเรียกร้องค่าสินไหม 5 รายการ คือ $100, $200, $150, $300 และ $1000 ค่าเฉลี่ยจะเท่ากับ \( (100+200+150+300+1000) / 5 = \$350 \)

มัธยฐาน (Median)

คือค่าที่อยู่ตรงกลางเมื่อเรียงข้อมูลจากน้อยไปมาก หากคุณมีจำนวนข้อมูลเป็นเลขคู่ ให้ใช้ค่าเฉลี่ยของสองตัวกลาง
ทำไมต้องใช้? มัธยฐานมีความ "ทนทาน" (Robust) ต่อค่าผิดปกติ มันไม่ถูกดึงด้วย ค่าผิดปกติ (Outliers) ได้ง่ายๆ เหมือนค่าเฉลี่ย ในตัวอย่างข้างต้น ค่าสินไหม $1000 ทำให้ค่าเฉลี่ยดูสูงเกินจริง แต่ค่ามัธยฐานอยู่ที่ $200 เท่านั้น ซึ่งมักจะเป็นตัวแทนของ "ค่าปกติ" ได้ดีกว่าสำหรับข้อมูลที่มีการกระจายตัวแบบเบ้

ฐานนิยม (Mode)

คือค่าที่ปรากฏบ่อยที่สุด ในตัวอย่างของเราค่านี้อาจไม่ชัดเจน แต่ถ้าเรามีการเรียกร้องที่ $100 สองรายการ ฐานนิยมก็จะเท่ากับ $100

ประเด็นสำคัญ: ใช้ ค่าเฉลี่ย สำหรับข้อมูลที่สมมาตร และใช้ มัธยฐาน เมื่อมีค่าที่สูงหรือต่ำผิดปกติซึ่งอาจทำให้ค่าเฉลี่ยบิดเบือนไป

3. สถิติเชิงพรรณนา: การอธิบาย "การกระจาย" (Dispersion)

การรู้แค่จุดกึ่งกลางไม่เพียงพอครับ เราจำเป็นต้องรู้ด้วยว่าข้อมูลนั้นเกาะกลุ่มกันหรือกระจายตัวห่างกันเพียงใด

ความแปรปรวน (Variance) และส่วนเบี่ยงเบนมาตรฐาน (Standard Deviation)

ค่าเหล่านี้วัดระยะห่างเฉลี่ยของข้อมูลจากค่าเฉลี่ย
• ความแปรปรวน (\( s^2 \)): คือค่าเฉลี่ยของผลรวมกำลังสองของผลต่างจากค่าเฉลี่ย
• ส่วนเบี่ยงเบนมาตรฐาน (\( s \)): คือรากที่สองของความแปรปรวน เรานิยมใช้ค่านี้มากกว่าเพราะมีหน่วยเดียวกับข้อมูลเดิม (เช่น ดอลลาร์ ไม่ใช่ ดอลลาร์ยกกำลังสอง)
สูตรสำหรับส่วนเบี่ยงเบนมาตรฐานของกลุ่มตัวอย่าง: \( s = \sqrt{\frac{\sum (x_i - \bar{x})^2}{n-1}} \)

พิสัย (Range) และพิสัยระหว่างควอร์ไทล์ (IQR)

• พิสัย: ค่าสูงสุด ลบ ค่าต่ำสุด ไวต่อค่าผิดปกติมาก
• IQR: ระยะห่างระหว่างควอร์ไทล์ที่ 3 (\( Q_3 \)) กับควอร์ไทล์ที่ 1 (\( Q_1 \)) ซึ่งครอบคลุมข้อมูล 50% ตรงกลาง
สูตร: \( IQR = Q_3 - Q_1 \)

คุณรู้หรือไม่? นักคณิตศาสตร์ประกันภัยให้ความสำคัญกับการกระจายตัวมาก เพราะมันหมายถึง ความเสี่ยง (Risk)! การกระจายตัวที่สูงของค่าสินไหมหมายถึงความไม่แน่นอนที่บริษัทประกันต้องแบกรับ!

4. การอธิบายรูปร่าง: ความเบ้ (Skewness)

ข้อมูลของคุณสมมาตรเหมือนรูประฆัง หรือว่ามี "หาง" ยาวไปด้านใดด้านหนึ่งกันแน่?

• สมมาตร: ค่าเฉลี่ย \(\approx\) มัธยฐาน \(\approx\) ฐานนิยม ด้านซ้ายและขวาเหมือนภาพสะท้อนในกระจก
• เบ้ขวา (Positively Skewed): "หาง" ชี้ไปทางขวา (ค่าสูงๆ) ค่าเฉลี่ย > มัธยฐาน ตัวอย่าง: ความมั่งคั่งของบุคคล (มีมหาเศรษฐีไม่กี่คนดึงค่าเฉลี่ยให้สูงขึ้น)
• เบ้ซ้าย (Negatively Skewed): "หาง" ชี้ไปทางซ้าย (ค่าต่ำๆ) ค่าเฉลี่ย < มัธยฐาน ตัวอย่าง: อายุเกษียณ (คนส่วนใหญ่เกษียณตอนอายุมาก แต่มีบางคนเกษียณเร็วมาก)

เทคนิคช่วยจำ: ความเบ้ดูที่ว่า "หาง" อยู่ตรงไหน ถ้าหางอยู่ทาง ขวา ก็คือเบ้ ขวา (Positive)

5. การแสดงภาพข้อมูล: เห็นด้วยตาเชื่อได้มากกว่า

บางครั้งรูปภาพหนึ่งรูปก็สื่อความหมายได้ดีกว่าตัวเลขเป็นพันตัว

ฮิสโตแกรม (Histograms)

ใช้สำหรับข้อมูล ต่อเนื่อง โดยจัดกลุ่มข้อมูลลงใน "ถัง" (ช่วง) และแสดงความถี่ของแต่ละช่วง เป็นวิธีที่ดีที่สุดในการดู รูปร่าง (ความเบ้) ของข้อมูล

แผนภาพกล่อง (Boxplots)

สรุปข้อมูลด้วยตัวเลขสำคัญ 5 ค่า:
1. ค่าต่ำสุด (ไม่รวมค่าผิดปกติ)
2. ควอร์ไทล์ที่ 1 (\( Q_1 \))
3. มัธยฐาน (\( Q_2 \))
4. ควอร์ไทล์ที่ 3 (\( Q_3 \))
5. ค่าสูงสุด (ไม่รวมค่าผิดปกติ)

ขั้นตอนการอ่านแผนภาพกล่อง:
• "กล่อง" แสดงค่า IQR (ข้อมูล 50% ตรงกลาง)
• "เส้น" ในกล่องคือมัธยฐาน
• "หนวด" คือเส้นที่ลากไปถึงค่าต่ำสุดและสูงสุด
• จุดที่อยู่นอกหนวดมักจะเป็น ค่าผิดปกติ (Outliers)

แผนภาพการกระจาย (Scatter Plots)

ใช้เพื่อดูความสัมพันธ์ระหว่างตัวแปรเชิงตัวเลข สองตัว เช่น จำนวนไมล์ที่ขับขี่สัมพันธ์กับจำนวนอุบัติเหตุหรือไม่? ถ้าจุดเรียงตัวเป็นเส้นเฉียงขึ้นแสดงว่ามีความสัมพันธ์เชิงบวก

6. การระบุค่าผิดปกติ (Outliers)

ค่าผิดปกติคือข้อมูลที่ "แปลกแยก" และห่างจากข้อมูลส่วนใหญ่มาก ในวิชา CS1 เรามักใช้ กฎ 1.5 x IQR เพื่อค้นหาค่าเหล่านี้

วิธีหาค่าผิดปกติ:
1. คำนวณ \( IQR = Q_3 - Q_1 \)
2. คำนวณ "ขอบล่าง" (Lower Fence): \( Q_1 - (1.5 \times IQR) \)
3. คำนวณ "ขอบบน" (Upper Fence): \( Q_3 + (1.5 \times IQR) \)
4. ข้อมูลใดที่ น้อยกว่า ขอบล่าง หรือ มากกว่า ขอบบน ถือเป็นค่าผิดปกติ!

ข้อควรระวัง: อย่ารีบลบค่าผิดปกติทิ้งทันที! มันอาจเป็นข้อผิดพลาด หรืออาจเป็นข้อมูลที่สำคัญที่สุดก็ได้ (เช่น การเรียกร้องสินไหมจากภัยพิบัติครั้งใหญ่)

สรุปสั้นๆ (Quick Review)

• เชิงกลุ่ม: ป้ายกำกับ/กลุ่ม เชิงปริมาณ: การวัดค่า
• ค่าเฉลี่ย: ไวต่อค่าผิดปกติ มัธยฐาน: ทนทานต่อค่าผิดปกติ
• เบ้ขวา: หางอยู่ทางขวา, ค่าเฉลี่ย > มัธยฐาน
• กฎค่าผิดปกติ: ข้อมูลที่อยู่นอกช่วง \( [Q_1 - 1.5IQR, Q_3 + 1.5IQR] \)
• ฮิสโตแกรม: แสดงการกระจายตัว แผนภาพกล่อง: แสดงควอร์ไทล์และค่าผิดปกติ

กำลังใจส่งท้าย

EDA คือรากฐานของทุกสิ่งที่คุณจะได้ทำในวิชาคณิตศาสตร์ประกันภัย หากคุณฝึกฝนจนเชี่ยวชาญในการมองข้อมูลและจับสังเกตรูปแบบหรือความผิดปกติได้ คุณก็ก้าวเข้าใกล้การเป็นนักคณิตศาสตร์ประกันภัยมืออาชีพไปกว่าครึ่งแล้ว ไม่ต้องกังวลหากสูตรความแปรปรวนหรือความเบ้ดูน่ากลัวในช่วงแรก เมื่อฝึกฝนไปเรื่อยๆ สิ่งเหล่านี้จะกลายเป็นเรื่องธรรมชาติสำหรับคุณเอง สู้ๆ ครับ!