Apply the concepts of hypothesis testing and goodness of fit

ยินดีต้อนรับสู่บทเรียนเรื่องการทดสอบสมมติฐานและความสอดคล้องของข้อมูล (Hypothesis Testing & Goodness of Fit)!

ในบทก่อนหน้าของวิชา CS1 เราได้เรียนรู้วิธีการประมาณค่าตัวเลขต่างๆ เช่น ขนาดของค่าสินไหมทดแทนเฉลี่ย หรือความน่าจะเป็นที่รถจะเกิดอุบัติเหตุ แต่ในโลกแห่งความเป็นจริง นักคณิตศาสตร์ประกันภัย (Actuary) ไม่ได้ต้องการเพียงแค่ประมาณตัวเลขเท่านั้น แต่เราต้องการ ตัดสินใจ อีกด้วย เช่น ยาตัวใหม่นี้มีประสิทธิภาพดีกว่าตัวเก่าจริงไหม? จำนวนค่าสินไหมทดแทนมีการแจกแจงแบบปัวซง (Poisson) จริงหรือเปล่า? หรือความเสี่ยงในการขับขี่ระหว่างเพศชายและเพศหญิงมีความแตกต่างกันอย่างไร?

การทดสอบสมมติฐานคือ "กฎ" ที่เป็นทางการสำหรับการตัดสินใจโดยใช้ข้อมูล ไม่ต้องกังวลหากในตอนแรกจะรู้สึกว่ามันเป็นนามธรรมไปบ้าง เพราะเมื่อคุณเข้าใจตรรกะของมันแล้ว มันก็จะสนุกเหมือนกับการเป็นนักสืบในศาลเลยล่ะ!

1. ตรรกะของการทดสอบสมมติฐาน

ให้ลองจินตนาการว่าการทดสอบสมมติฐานเหมือนกับการ พิจารณาคดีในศาล ในศาล จำเลยจะถูกมองว่า "เป็นผู้บริสุทธิ์จนกว่าจะพิสูจน์ได้ว่ามีความผิด" ในทางสถิติ สถานะ "ผู้บริสุทธิ์" ของเราเรียกว่า สมมติฐานว่าง (Null Hypothesis)

สมมติฐานคู่ขนาน

1. สมมติฐานว่าง (\(H_0\)): นี่คือสถานะ "ปกติ" หรือ "ไม่มีอะไรเกิดขึ้น" เราตั้งสมมติฐานว่าสิ่งนี้เป็นจริงไว้ก่อน จนกว่าเราจะมีหลักฐานที่หนักแน่นเพียงพอที่จะโต้แย้งได้
2. สมมติฐานทางเลือก (\(H_1\)): นี่คือสิ่งที่คุณพยายามจะพิสูจน์ หรือเป็นข้ออ้างที่ "น่าตื่นเต้น" (เช่น "เบี้ยประกันภัยแบบใหม่ถูกกว่าแบบเดิมจริงๆ นะ")

กระบวนการ 5 ขั้นตอน

เพื่อให้สอบผ่านวิชา CS1 ให้ทำตามขั้นตอนเหล่านี้ทุกครั้ง:
1. ระบุ \(H_0\) และ \(H_1\) ให้ชัดเจน
2. กำหนด ระดับนัยสำคัญ (Significance Level: \(\alpha\)) ซึ่งโดยปกติจะเป็น 5% หรือ 1%
3. คำนวณ ค่าสถิติทดสอบ (Test Statistic) (คือหลักฐานที่คุณหาได้จากข้อมูล)
4. หาค่า P-value หรือ ค่าวิกฤต (Critical Value)
5. ตัดสินใจ: "ปฏิเสธ \(H_0\)" หรือ "ไม่ปฏิเสธ \(H_0\)"

ข้อควรจำ

เรา ไม่เคย ใช้คำว่า "ยอมรับ" สมมติฐานว่าง เราทำได้เพียงแค่ ปฏิเสธ (Reject) มันเพราะมีหลักฐานเพียงพอ หรือ ไม่ปฏิเสธ (Fail to reject) มันเพราะหลักฐานยังไม่หนักแน่นพอ เปรียบได้กับคำตัดสินของคณะลูกขุนว่า "ไม่มีความผิด" ซึ่งไม่ได้แปลว่าจำเลยบริสุทธิ์เสมอไป แค่แปลว่าหลักฐานที่มีอยู่ยังไม่เพียงพอที่จะเอาผิดได้นั่นเอง

2. ความคลาดเคลื่อน: เมื่อผลการทดสอบผิดพลาด

เนื่องจากเราใช้กลุ่มตัวอย่าง (ไม่ได้ใช้ทั้งประชากร) เราจึงอาจเกิดข้อผิดพลาดได้ 2 แบบ:

ความคลาดเคลื่อนประเภทที่ I (\(\alpha\)): คือการ "แจ้งเตือนผิดพลาด" (False Alarm) เป็นการปฏิเสธ \(H_0\) ทั้งที่จริงๆ แล้ว \(H_0\) เป็นจริง (เปรียบเหมือนการตัดสินให้คนบริสุทธิ์มีความผิด)
ความคลาดเคลื่อนประเภทที่ II (\(\beta\)): คือการ "พลาดโอกาส" (Missed Opportunity) เป็นการไม่ปฏิเสธ \(H_0\) ทั้งที่จริงๆ แล้ว \(H_0\) เป็นเท็จ (เปรียบเหมือนการปล่อยคนผิดให้ลอยนวล)

เทคนิคช่วยจำ: "RT"

Type I คือการ Rejecting (ปฏิเสธ) สิ่งที่เป็น True (ความจริง) \(H_0\). จำสั้นๆ ว่า RT (เหมือนการปฏิเสธ Real Truth หรือความจริงที่ถูกต้อง)

3. การทดสอบค่าเฉลี่ย (\(\mu\))

นี่เป็นการทดสอบที่พบบ่อยที่สุดในเนื้อหา CS1 เราต้องการตรวจสอบว่าค่าเฉลี่ยของประชากรเท่ากับค่าที่ระบุไว้หรือไม่

กรณี A: ทราบความแปรปรวน (\(\sigma^2\))

เราใช้ Z-test โดยมีค่าสถิติทดสอบคือ:
\(Z = \frac{\bar{X} - \mu_0}{\sigma / \sqrt{n}}\)
โดยที่ \(\bar{X}\) คือค่าเฉลี่ยตัวอย่าง และ \(n\) คือขนาดของกลุ่มตัวอย่าง

กรณี B: ไม่ทราบความแปรปรวน

กรณีนี้สมจริงกว่า เพราะโดยส่วนใหญ่เรามักไม่ทราบค่า \(\sigma\) เราจึงต้องใช้ส่วนเบี่ยงเบนมาตรฐานของตัวอย่าง (\(s\)) และใช้ t-distribution ที่มีองศาอิสระ (degrees of freedom) เป็น \(n-1\)
\(t = \frac{\bar{X} - \mu_0}{s / \sqrt{n}}\)

ทบทวนสั้นๆ: หนึ่งหาง vs สองหาง

- ใช้ Two-Tailed (สองหาง) หากต้องการตรวจสอบว่าค่าเฉลี่ย "แตกต่าง" จากค่าที่กำหนดเฉยๆ (\(H_1: \mu \neq \mu_0\))
- ใช้ One-Tailed (หนึ่งหาง) หากต้องการตรวจสอบว่าค่าเฉลี่ย "มากกว่า" หรือ "น้อยกว่า" (\(H_1: \mu > \mu_0\) หรือ \(H_1: \mu < \mu_0\))

4. การเปรียบเทียบสองกลุ่ม

ในฐานะนักคณิตศาสตร์ประกันภัย คุณอาจต้องเปรียบเทียบสองกลุ่ม (เช่น ค่าสินไหมของกลุ่ม A กับ กลุ่ม B)

Two-Sample t-test (กลุ่มอิสระต่อกัน)

ถ้าเราสมมติว่าทั้งสองกลุ่มมีความแปรปรวนเท่ากัน เราจะคำนวณ Pooled Sample Variance (\(s_p^2\)):
\(s_p^2 = \frac{(n_1-1)s_1^2 + (n_2-1)s_2^2}{n_1 + n_2 - 2}\)
จากนั้นค่าสถิติทดสอบจะเป็น:
\(t = \frac{\bar{X}_1 - \bar{X}_2}{s_p \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}}\)

Paired t-test (กลุ่มสัมพันธ์กัน)

ใช้เมื่อข้อมูลมาเป็นคู่ (เช่น น้ำหนักของคน 10 คน ก่อน และ หลัง ลดน้ำหนัก) เราจะหา ผลต่าง (\(d\)) ของแต่ละคู่ แล้วนำมาทำ one-sample t-test บนค่าผลต่างนั้น

5. การทดสอบ Chi-Square (\(\chi^2\)) Goodness of Fit

การทดสอบนี้ตรวจสอบว่าข้อมูลของคุณ "สอดคล้อง" กับการแจกแจงทางทฤษฎี (เช่น Binomial, Poisson หรือ Normal) หรือไม่ มันคือการถามว่า "ความแตกต่างระหว่างสิ่งที่เห็นกับสิ่งที่คาดหวังเกิดจากโชคช่วย หรือแบบจำลองของเราผิดกันแน่?"

สูตร

\(\chi^2 = \sum \frac{(O_i - E_i)^2}{E_i}\)
โดยที่:
\(O_i\) = Observed frequency (ค่าความถี่ที่สังเกตได้จริง)
\(E_i\) = Expected frequency (ค่าความถี่ที่คาดหวังตามการแจกแจงที่ทดสอบ)

กฎสำคัญสำหรับการทดสอบ Goodness of Fit

1. ความถี่ต่ำสุด: ความถี่ Expected (\(E_i\)) แต่ละช่องควรมีค่าอย่างน้อย 5 ถ้าต่ำกว่านั้น คุณต้อง รวมกลุ่ม ข้อมูลที่อยู่ติดกัน
2. องศาอิสระ (Degrees of Freedom: \(df\)): สิ่งนี้สำคัญมาก!
\(df = (\text{จำนวนกลุ่ม}) - 1 - (\text{จำนวนพารามิเตอร์ที่ประมาณค่า})\)
ตัวอย่าง: หากคุณประมาณค่าเฉลี่ย (\(\lambda\)) สำหรับ Poisson จากข้อมูล คุณต้องลบค่า \(df\) ออกไปอีก 1

รู้หรือไม่?

การทดสอบ Chi-square จะเป็นแบบ one-sided (หางขวา) เสมอ เพราะอะไร? เพราะสูตรมีการยกกำลังสองผลต่าง ทำให้ค่าออกมาเป็นบวกเสมอ ค่า \(\chi^2\) ที่สูงมากๆ แปลว่า "ระยะห่าง" ระหว่างความเป็นจริงกับโมเดลของคุณนั้นห่างกันเกินไป เราจึงปฏิเสธโมเดลนั้นทิ้งไปเลย!

6. ตารางแจกแจงความถี่ร่วม (Contingency Tables - ความเป็นอิสระต่อกัน)

เราใช้สิ่งนี้เพื่อดูว่าสองปัจจัยมีความสัมพันธ์กันหรือไม่ เช่น "ประเภทของประกันภัยรถยนต์มีความสัมพันธ์กับอายุของผู้ขับขี่หรือไม่?"

เราจัดข้อมูลให้อยู่ในตาราง โดย Expected Frequency ของแต่ละช่องคือ:
\(E = \frac{\text{ผลรวมแถว} \times \text{ผลรวมคอลัมน์}}{\text{ผลรวมทั้งหมดของตาราง}}\)

องศาอิสระสำหรับตาราง:
\(df = (r - 1) \times (c - 1)\)
โดยที่ \(r\) คือจำนวนแถว และ \(c\) คือจำนวนคอลัมน์

7. สรุปและจุดที่พลาดบ่อย

ข้อผิดพลาดที่ 1: ลืมรวมกลุ่มข้อมูลเมื่อ \(E_i < 5\) ในการทดสอบ \(\chi^2\) นี่คือกับดักคลาสสิกของข้อสอบ!
ข้อผิดพลาดที่ 2: ใช้ค่าองศาอิสระผิด ตรวจสอบให้แน่ใจเสมอว่าได้ประมาณค่าพารามิเตอร์ใดๆ (เช่น \(\mu\) หรือ \(\sigma\)) จากข้อมูลด้วยหรือไม่
ข้อผิดพลาดที่ 3: สับสนระหว่าง Z-test กับ T-test จำง่ายๆ ว่า: รู้ความแปรปรวน? ใช้ Z ไม่รู้? ใช้ T

เป็นกำลังใจให้!

ไม่ต้องกังวลหากสูตรต่างๆ ดูน่าเกรงขาม ในการสอบ ขั้นตอนต่างๆ จะค่อนข้างซ้ำไปซ้ำมา ถ้าคุณแม่นยำในขั้นตอนทั้ง 5 และหาค่าองศาอิสระได้ถูกต้อง คุณก็มีชัยไปกว่าครึ่งในการสอบ CS1 แล้ว! ฝึกทำโจทย์เก่าๆ ให้บ่อยนะ นั่นแหละคือเคล็ดลับที่จะทำให้เห็นว่าการทดสอบเหล่านี้ถูกนำไปประยุกต์ใช้ในบริบทของงานคณิตศาสตร์ประกันภัยได้อย่างไร