บทนำเกี่ยวกับการแจกแจงแบบเชิงสุ่มตัวอย่างขนาดใหญ่ (Asymptotic Distributions) และวิธีบูตสแตรป (Bootstrap)

ยินดีต้อนรับเข้าสู่หนึ่งในบทที่ทรงพลังที่สุดในเรื่อง การอนุมานเชิงสถิติ (Statistical Inference)! จนถึงตอนนี้ คุณได้เรียนรู้วิธีหา "ค่าคาดการณ์ที่ดีที่สุด" สำหรับพารามิเตอร์โดยใช้การประมาณค่าแบบควรจะเป็นสูงสุด (MLE) กันไปแล้ว แต่ตัวเลขเพียงตัวเดียว (การประมาณค่าแบบจุด) อาจจะยังบอกรายละเอียดได้ไม่ครบถ้วน เราจำเป็นต้องรู้ด้วยว่าค่าที่เราประมาณการนั้นน่าเชื่อถือแค่ไหน

ในบทนี้ เราจะมาสำรวจสองวิธีในการทำความเข้าใจพฤติกรรมของตัวประมาณค่าของเรา:
1. ทฤษฎีเชิงสุ่มตัวอย่างขนาดใหญ่ (Asymptotic Theory): จะเกิดอะไรขึ้นกับค่า MLE ของเราเมื่อขนาดตัวอย่าง \( n \) มีขนาดใหญ่มาก? (คำใบ้: มันจะเริ่มมีพฤติกรรมที่คาดเดาได้ง่ายสุดๆ!)
2. วิธีบูตสแตรป (The Bootstrap): เราจะทำอย่างไรเมื่อการคำนวณทางคณิตศาสตร์นั้นยากเกินไป หรือเรามีข้อมูลไม่มากพอที่จะใช้สูตรมาตรฐาน? เราจะใช้วิธี "พึ่งพาตนเอง" โดยอาศัยพลังการประมวลผลของคอมพิวเตอร์สมัยใหม่

ไม่ต้องกังวลไปถ้าคำเหล่านี้ฟังดูน่ากลัว เราจะค่อยๆ ย่อยเนื้อหาให้เป็นขั้นตอนง่ายๆ ที่นำไปประยุกต์ใช้ในข้อสอบ CS1 ได้อย่างแน่นอน

1. การแจกแจงเชิงสุ่มตัวอย่างขนาดใหญ่ของ MLE (Asymptotic Distribution of MLEs)

คำว่า asymptotic หมายถึงสิ่งที่จะเกิดขึ้นเมื่อขนาดตัวอย่าง \( n \) เข้าใกล้ค่าอนันต์ (\( n \to \infty \)) ในโลกของคณิตศาสตร์ประกันภัย เรามักต้องรับมือกับชุดข้อมูลขนาดใหญ่ ดังนั้นคุณสมบัติของ "กลุ่มตัวอย่างขนาดใหญ่" เหล่านี้จึงมีประโยชน์อย่างมหาศาล

ผลลัพธ์หลัก (The Main Result)

ภายใต้เงื่อนไขความสม่ำเสมอ (regularity conditions) บางประการ เมื่อขนาดตัวอย่าง \( n \) ใหญ่ขึ้น การแจกแจงของ MLE หรือ \( \hat{\theta} \) จะเข้าใกล้ การแจกแจงแบบปกติ (Normal Distribution) โดยเฉพาะอย่างยิ่ง:

\( \hat{\theta} \sim N(\theta, \frac{1}{I(\theta)}) \)

โดยที่:
\( \theta \) คือค่าจริงของพารามิเตอร์
\( I(\theta) \) คือ ข้อมูลฟิชเชอร์ (Fisher Information)

ข้อมูลฟิชเชอร์ (Fisher Information) คืออะไร?

ลองนึกภาพว่า ข้อมูลฟิชเชอร์ คือการวัดว่าข้อมูลที่เรามีนั้นให้ "สารสนเทศ" เกี่ยวกับพารามิเตอร์ที่เราไม่ทราบค่ามากน้อยเพียงใด ยิ่งเรามีข้อมูลมากเท่าไหร่ ความแปรปรวนของตัวประมาณค่าของเราก็จะยิ่งน้อยลงเท่านั้น
ข้อมูลฟิชเชอร์สำหรับกลุ่มตัวอย่างขนาด \( n \) คำนวณได้จาก:
\( I(\theta) = n \cdot i(\theta) \)
โดยที่ \( i(\theta) \) คือข้อมูลจากการสังเกตเพียง หนึ่งค่า:
\( i(\theta) = -E[\frac{d^2}{d\theta^2} \ln f(X; \theta)] \)

ประเด็นสำคัญสำหรับ Asymptotics

1. ความไม่ลำเอียงเชิงสุ่มตัวอย่างขนาดใหญ่ (Asymptotic Unbiasedness): แม้ว่า MLE อาจมีความลำเอียงในกลุ่มตัวอย่างขนาดเล็ก แต่เมื่อ \( n \) มากขึ้น มันจะกลายเป็นตัวประมาณค่าที่ไม่ลำเอียง
2. ประสิทธิภาพ (Efficiency): ความแปรปรวนของ MLE ซึ่งก็คือ \( \frac{1}{I(\theta)} \) คือ ขอบเขตล่างของเครเมอร์-เรา (Cramer-Rao Lower Bound) หมายความว่าสำหรับกลุ่มตัวอย่างขนาดใหญ่ จะไม่มีตัวประมาณค่าที่ไม่ลำเอียงตัวใดที่จะมีความแม่นยำไปกว่า MLE อีกแล้ว
3. การประมาณด้วยการแจกแจงแบบปกติ (Normal Approximation): คุณสมบัตินี้ช่วยให้เราใช้ตารางการแจกแจงปกติมาตรฐาน (ตาราง \( Z \)) เพื่อคำนวณความน่าจะเป็นและช่วงความเชื่อมั่นของ MLE ได้ แม้ว่าข้อมูลเริ่มต้นจะไม่ได้มีการแจกแจงแบบปกติก็ตาม!

สรุปสั้นๆ: เมื่อขนาดตัวอย่างเพิ่มขึ้น MLE จะมีความถูกต้องมากขึ้น (ค่าเฉลี่ยวิ่งเข้าหาค่าจริง) และมีความแม่นยำมากขึ้น (ความแปรปรวนลดลง)

2. วิธีบูตสแตรป (The Bootstrap Method)

ในบางครั้ง เราอาจมีกลุ่มตัวอย่างไม่ใหญ่พอที่ทฤษฎีเชิงสุ่มตัวอย่างขนาดใหญ่จะใช้ได้ผล หรือสูตรของข้อมูลฟิชเชอร์อาจจะซับซ้อนเกินกว่าจะแก้หาคำตอบได้ นี่คือจุดที่ Bootstrap เข้ามามีบทบาท

แนวคิด: การสุ่มซ้ำ (Resampling)

Bootstrap เป็นเทคนิค การสุ่มซ้ำ (resampling) ลองจินตนาการว่าคุณมีถุงลูกหินใบเล็กๆ อยู่ใบหนึ่ง (ซึ่งก็คือกลุ่มตัวอย่างเริ่มต้นของคุณ) คุณอยากรู้ความหลากหลายของลูกหินใน "โรงงานผลิตขนาดใหญ่" (ประชากร) แต่คุณมีแค่ถุงใบนี้ใบเดียว
ในการทำ "Bootstrap" คุณจะหยิบลูกหินออกมาจากถุง จดสีของมันไว้ แล้ว ใส่กลับคืนลงไป ทำซ้ำแบบนี้ไปเรื่อยๆ จนกว่าคุณจะได้กลุ่มตัวอย่าง "ชุดใหม่" ที่มีขนาดเท่าเดิม เราเรียกวิธีนี้ว่า การสุ่มตัวอย่างแบบใส่คืน (sampling with replacement)

ขั้นตอนการทำ Bootstrap แบบเป็นลำดับ

ขั้นตอนที่ 1: เริ่มต้นด้วยกลุ่มตัวอย่างเดิมของคุณขนาด \( n \)
ขั้นตอนที่ 2: สุ่มตัวอย่างชุดใหม่ (เรียกว่า "bootstrap sample") ขนาด \( n \) จากข้อมูลเดิมของคุณ แบบใส่คืน
ขั้นตอนที่ 3: คำนวณค่าตัวประมาณค่าของคุณ (เช่น ค่าเฉลี่ย หรือ MLE) สำหรับกลุ่มตัวอย่าง bootstrap นี้ ให้ชื่อว่า \( \hat{\theta}^* \)
ขั้นตอนที่ 4: ทำขั้นตอนที่ 2 และ 3 ซ้ำหลายๆ รอบ (เช่น 1,000 หรือ 10,000 ครั้ง) เพื่อให้ได้ชุดข้อมูลของค่าประมาณ bootstrap จำนวนมาก: \( \hat{\theta}^*_1, \hat{\theta}^*_2, ..., \hat{\theta}^*_B \)
ขั้นตอนที่ 5: ใช้ชุดข้อมูลนี้ในการประมาณคุณสมบัติของตัวประมาณค่าเริ่มต้นของคุณ

ทำไมต้องสุ่มแบบ "ใส่คืน"?

ถ้าคุณสุ่มแบบ ไม่ใส่คืน คุณก็จะได้ข้อมูลชุดเดิมเป๊ะๆ แค่สลับลำดับกันเท่านั้น แต่การสุ่ม แบบใส่คืน จะทำให้ข้อมูลบางตัวอาจปรากฏขึ้นสองครั้งหรือมากกว่า และบางตัวอาจไม่ปรากฏเลย ซึ่งเป็นการจำลองความแปรปรวนตามธรรมชาติที่เราจะพบเห็นได้หากเราสามารถสุ่มตัวอย่างหลายๆ ชุดจากประชากรจริงได้นั่นเอง

รู้หรือไม่? คำว่า "bootstrap" มาจากสำนวนที่ว่า "to pull oneself up by one's bootstraps" ซึ่งหมายถึงการทำงานที่ดูเหมือนเป็นไปไม่ได้ให้สำเร็จด้วยตนเองโดยไม่มีความช่วยเหลือจากภายนอก ในทางสถิติ มันหมายถึงการใช้ข้อมูลที่มีอยู่นั่นแหละ มาบอกเราเกี่ยวกับความไม่แน่นอนของตัวมันเอง!

3. การประมาณคุณสมบัติโดยใช้ Bootstrap

หลักสูตรกำหนดให้คุณต้องรู้วิธีการใช้ตัวอย่าง bootstrap เหล่านี้เพื่อประมาณคุณสมบัติของตัวประมาณค่า โดยเฉพาะค่า ความลำเอียง (Bias) และ ความคลาดเคลื่อนมาตรฐาน (Standard Error)

ค่าความคลาดเคลื่อนมาตรฐานจากการ bootstrap (Bootstrap Estimate of Standard Error)

เพียงแค่คำนวณส่วนเบี่ยงเบนมาตรฐาน (standard deviation) ของค่าประมาณ bootstrap ทั้งหมดที่คุณได้มา \( \hat{\theta}^*_1, ..., \hat{\theta}^*_B \) ค่าที่ได้คือค่าประมาณของ ความแม่นยำ (precision) ของตัวประมาณค่าของคุณ

ค่าความลำเอียงจากการ bootstrap (Bootstrap Estimate of Bias)

ความลำเอียง (Bias) คือส่วนต่างระหว่างค่าคาดหมายของตัวประมาณค่ากับค่าจริง ในเชิง bootstrap คือ:
\( \text{Estimated Bias} = (\text{ค่าเฉลี่ยของ } \hat{\theta}^* \text{ ทั้งหมด}) - \hat{\theta}_{original} \)
โดยที่ \( \hat{\theta}_{original} \) คือค่าประมาณที่คำนวณจากข้อมูลจริงเริ่มต้นของคุณ

4. ช่วงความเชื่อมั่นแบบบูตสแตรป (Bootstrap Confidence Intervals)

ประโยชน์ที่ใช้งานได้จริงที่สุดอย่างหนึ่งของ bootstrap คือการสร้างช่วงความเชื่อมั่น (CIs) เมื่อเราไม่อยากสมมติว่าข้อมูลมีการแจกแจงเฉพาะเจาะจง (เช่น การแจกแจงแบบปกติ หรือแบบพัวซอง)

วิธีเปอร์เซ็นต์ไทล์ (The Percentile Method)

วิธีที่ง่ายที่สุดในการสร้าง Bootstrap CI คือ วิธีเปอร์เซ็นต์ไทล์ ซึ่งเข้าใจง่ายมาก:
1. นำค่าประมาณ bootstrap ทั้ง 1,000 ค่าของคุณมาเรียงลำดับจากน้อยไปมาก
2. หากคุณต้องการ ช่วงความเชื่อมั่น 95% (95% Confidence Interval) ให้หาค่าที่ตัดส่วนล่างสุด 2.5% และส่วนบนสุด 2.5% ออกไป
3. สำหรับกลุ่มตัวอย่าง 1,000 ค่า ค่าที่น้อยที่สุดเป็นลำดับที่ 25 และลำดับที่ 975 จะกลายเป็นขอบเขตของช่วงความเชื่อมั่นของคุณ

ข้อผิดพลาดที่พบบ่อย: เมื่อทำ bootstrap ใน Paper B (โดยใช้โปรแกรม R) นักศึกษามักลืมตั้งค่าขนาดตัวอย่าง \( n \) ในฟังก์ชัน `sample()` ให้เท่ากับชุดข้อมูลเดิม อย่าลืมว่าต้องสุ่มซ้ำด้วยจำนวนการสังเกตที่ เท่าเดิม เสมอ!

5. การเปรียบเทียบ: Asymptotics vs. Bootstrap

คุณจะตัดสินใจเลือกใช้วิธีไหนดี?
ใช้คุณสมบัติ Asymptotic ของ MLE เมื่อ:
- ขนาดตัวอย่าง \( n \) มีขนาดใหญ่
- คุณทราบการแจกแจงพื้นฐาน (เช่น โจทย์บอกว่าข้อมูลมีการแจกแจงแบบเอกซ์โพเนนเชียล)
- คุณสามารถหาอนุพันธ์อันดับสองของ log-likelihood ได้โดยไม่ยากลำบากนัก

ใช้วิธี Bootstrap เมื่อ:
- ขนาดตัวอย่างมีขนาดเล็ก
- ไม่ทราบการแจกแจง หรือการแจกแจงซับซ้อนมาก
- คุณใช้คอมพิวเตอร์ (Paper B) ในการทำสถานการณ์จำลอง (simulation)

สรุปบทเรียน

ประเด็นสำคัญที่ 1: สำหรับ \( n \) ขนาดใหญ่ ค่า MLE \( \hat{\theta} \) จะมีลักษณะประมาณ \( N(\theta, \frac{1}{I(\theta)}) \) นี่คือ "มาตรฐานทองคำ" สำหรับการอนุมานกลุ่มตัวอย่างขนาดใหญ่
ประเด็นสำคัญที่ 2: ข้อมูลฟิชเชอร์ \( I(\theta) \) วัดความโค้งของ log-likelihood; ยิ่งโค้งมากยิ่งมีข้อมูลมากและความแปรปรวนจะยิ่งน้อย
ประเด็นสำคัญที่ 3: Bootstrap เป็นเครื่องมือคำนวณที่ใช้ การสุ่มซ้ำแบบใส่คืน เพื่อประมาณการแจกแจงของสถิติใดๆ
ประเด็นสำคัญที่ 4: เราสามารถประมาณความลำเอียง, ความคลาดเคลื่อนมาตรฐาน และช่วงความเชื่อมั่น (โดยใช้วิธีเปอร์เซ็นต์ไทล์) ได้โดยตรงจากตัวอย่าง bootstrap โดยไม่ต้องพึ่งพาแคลคูลัสที่ซับซ้อน