ยินดีต้อนรับสู่โลกแห่ง Bayesian Updating!
สวัสดีครับ! ถ้าคุณเคยเปลี่ยนความคิดเกี่ยวกับเรื่องบางเรื่องหลังจากได้เห็นหลักฐานใหม่ๆ แสดงว่าคุณกำลังคิดแบบ Bayesian อยู่แล้ว ในบทนี้ของ CS1 เรากำลังจะก้าวข้ามจากสถิติแบบ "Frequentist" (ที่เรามองว่าพารามิเตอร์เป็นค่าคงที่) เข้าสู่ สถิติแบบ Bayesian ซึ่งเราจะมองว่าพารามิเตอร์เป็นตัวแปรสุ่มที่มีการแจกแจงของตัวมันเองครับ
ไม่ต้องกังวลไปถ้าตอนแรกจะรู้สึกว่ามันดู "นามธรรม" เกินไปหน่อย เราแค่กำลังเรียนรู้วิธีที่เป็นทางการในการบอกว่า: "ฉันเคยคาดเดาไว้ (Prior) ฉันได้เห็นข้อมูลจริง (Likelihood) และตอนนี้ฉันได้การคาดเดาที่ดีกว่าเดิมแล้ว (Posterior)" เอาล่ะ มาเริ่มกันเลย!
1. ส่วนผสมหลัก: ทฤษฎีบทของเบย์ (Bayes' Theorem)
ในการหา Posterior Distribution (การแจกแจงหลังการทดลอง) เราจะใช้ทฤษฎีบทของเบย์เวอร์ชันเฉพาะ ให้คิดซะว่ามันเหมือนสูตรทำอาหารที่เรานำความเชื่อเดิม (Prior) มาผสมกับข้อมูลใหม่ที่เราได้มา
สูตรพื้นฐาน
ความสัมพันธ์นี้กำหนดไว้ว่า:
\( \pi(\theta | x) = \frac{f(x|\theta) \pi(\theta)}{f(x)} \)
อย่างไรก็ตาม ในข้อสอบ CS1 ส่วนใหญ่ เราจะใช้เวอร์ชัน สัดส่วน (Proportionality) เพราะคำนวณง่ายกว่ามาก:
\( \pi(\theta | x) \propto f(x|\theta) \times \pi(\theta) \)
สรุปเป็นภาษาคนง่ายๆ คือ:
Posterior \(\propto\) Likelihood \(\times\) Prior
คำศัพท์สำคัญ:
1. Prior Distribution \(\pi(\theta)\): สิ่งที่เราเชื่อเกี่ยวกับพารามิเตอร์ \(\theta\) ก่อนที่จะเห็นข้อมูลใดๆ
2. Likelihood Function \(f(x|\theta)\): ความน่าจะเป็นที่จะได้เห็นข้อมูลที่เรามี ภายใต้สมมติฐานว่า \(\theta\) มีค่าหนึ่งๆ
3. Posterior Distribution \(\pi(\theta|x)\): ความเชื่อของเราที่อัปเดตแล้วเกี่ยวกับ \(\theta\) หลังจากเห็นข้อมูล \(x\)
4. สัญลักษณ์สัดส่วน (\(\propto\)): หมายถึง "แปรผันตรงกับ" เราสามารถตัดค่าคงที่ที่ไม่เกี่ยวข้องกับ \(\theta\) ออกไปได้เลย
ทบทวนสั้นๆ: เทคนิค "การตัดค่าคงที่ทิ้ง"
เมื่อคำนวณหา Posterior ถ้าพจน์ไหนไม่มี \(\theta\) อยู่ด้วย คุณตัดทิ้งได้เลย! ตัวอย่างเช่น ถ้าคุณมี \( 3\theta^2 e^{-5\theta} \), เลข "3" คือค่าคงที่ สามารถละไว้ได้ในการพิสูจน์ ทำให้คณิตศาสตร์ดูน่ากลัวน้อยลงเยอะครับ
2. ขั้นตอนการหา Posterior แบบทีละสเต็ป
ถ้าโจทย์สั่งให้คุณหา Posterior Distribution ให้ทำตามขั้นตอนนี้ในทุกๆ ข้อเลยครับ:
ขั้นที่ 1: เขียน Prior ลงไป ระบุ \(\pi(\theta)\) แล้วตัดค่าคงที่ที่ไม่เกี่ยวข้องกับ \(\theta\) ออก
ขั้นที่ 2: เขียน Likelihood ลงไป นี่คือ \(f(x|\theta)\) ถ้าคุณมีข้อมูล \(n\) ตัว มันคือผลคูณของความหนาแน่นแต่ละตัว: \( \prod f(x_i|\theta) \)
ขั้นที่ 3: จับคูณกัน นำผลจากขั้นที่ 1 และ 2 มารวมกัน
ขั้นที่ 4: ลดรูป (Simplify) รวมพจน์ที่มี \(\theta\) เข้าด้วยกัน และพจน์ที่เป็น \(e^{\dots \theta}\) เข้าด้วยกัน
ขั้นที่ 5: ระบุชื่อการแจกแจง ดูนิพจน์ที่เหลืออยู่ มันหน้าตาเหมือน "Kernel" (ส่วนที่มีตัวแปร) ของการแจกแจงชื่อดังอย่าง Gamma, Beta หรือ Normal หรือเปล่า? (อย่าลืมเช็คในสมุด Formulae and Tables ของคุณนะ!)
เปรียบเทียบ: ลองจินตนาการว่าคุณกำลังเดาว่ามีลูกกวาดสีแดงกี่เม็ดในโหล "Prior" คือการเดาของคุณจากฉลากข้างโหล "Likelihood" คือสิ่งที่คุณเห็นตอนหยิบลูกกวาดออกมา 5 เม็ด "Posterior" ก็คือการเดาครั้งใหม่ที่แม่นยำกว่าเดิมครับ
3. Conjugate Priors: "ทางลัด" คู่หูสุดพิเศษ
ใน CS1 คุณมักจะเจอ Conjugate Priors ซึ่งเป็นชื่อเท่ๆ ที่บอกว่า: "ถ้า Prior และ Posterior อยู่ในตระกูลการแจกแจงเดียวกัน แสดงว่า Prior นั้นเป็น Conjugate กับ Likelihood นั้น"
การรู้จำคู่เหล่านี้เหมือนกับการมี "โพย" อยู่ในหัว นี่คือ 3 คู่สำคัญที่สุดในเนื้อหาของคุณครับ:
A. คู่ Poisson-Gamma
ถ้าข้อมูลของคุณมีการแจกแจงแบบ Poisson(\(\theta\)) และ Prior ของคุณคือ Gamma(\(\alpha, \lambda\)) แล้ว Posterior ของคุณจะเป็นการแจกแจงแบบ Gamma เช่นกัน
กฎการอัปเดต:
\(\alpha_{post}\) ใหม่ = \(\alpha + \sum x_i\)
\(\lambda_{post}\) ใหม่ = \(\lambda + n\)
(โดยที่ \(n\) คือจำนวนข้อมูลที่สุ่มมา)
B. คู่ Binomial-Beta
ถ้าข้อมูลของคุณคือ Binomial(\(n, \theta\)) และ Prior คือ Beta(\(a, b\)) แล้ว Posterior ของคุณก็จะเป็น Beta
กฎการอัปเดต:
\(a_{post}\) ใหม่ = \(a + \text{จำนวนครั้งที่สำเร็จ}\)
\(b_{post}\) ใหม่ = \(b + \text{จำนวนครั้งที่ล้มเหลว}\)
C. คู่ Normal-Normal (ความแปรปรวนคงที่)
ถ้าข้อมูลของคุณคือ Normal(\(\theta, \sigma^2\)) และ Prior คือ Normal(\(\mu, \tau^2\)) แล้ว Posterior ก็จะเป็น Normal
หมายเหตุ: คณิตศาสตร์สำหรับข้อนี้ต้องอาศัยพีชคณิตเยอะหน่อย แต่ "ค่าเฉลี่ยใหม่" แท้จริงแล้วคือค่าเฉลี่ยถ่วงน้ำหนักระหว่างค่าเฉลี่ยของ Prior กับค่าเฉลี่ยของข้อมูลนั่นเอง
สรุปใจความสำคัญ: Conjugate priors ทำให้ชีวิตง่ายขึ้นเพราะคุณไม่ต้องอินทิเกรตให้วุ่นวาย แค่ "อัปเดต" ค่าพารามิเตอร์ก็พอครับ
4. การสรุปผล Posterior
เมื่อคุณหา Posterior Distribution ได้แล้ว ผู้คุมสอบมักจะถามหา Point Estimate (การประมาณค่าจุด) ซึ่งก็คือตัวเลขเดียวที่แสดงถึง "การคาดเดาที่ดีที่สุด" ของคุณสำหรับ \(\theta\)
1. ค่าเฉลี่ยของ Posterior (Posterior Mean)
คือค่าคาดหมาย (Expected value) ของการแจกแจง Posterior \(E[\theta | x]\)
ตัวอย่าง: ถ้า Posterior ของคุณคือ Gamma(\(\alpha', \lambda'\)) ค่าเฉลี่ยก็คือ \(\alpha' / \lambda'\)
2. ฐานนิยมของ Posterior (Posterior Mode)
คือค่าที่มีโอกาสเกิดสูงสุดของ \(\theta\) (จุดสูงสุดของกราฟการแจกแจง) คุณหาค่านี้ได้โดยการหาค่าสูงสุดของความหนาแน่น Posterior (โดยการหาอนุพันธ์แล้วเท่ากับศูนย์)
ช่วยจำ: "Mode" = "Most" มันคือค่าที่นิยมที่สุด!
3. มัธยฐานของ Posterior (Posterior Median)
คือค่าที่แบ่งการแจกแจง Posterior ออกเป็นสองส่วนเท่าๆ กัน พบน้อยในข้อสอบแต่หาได้โดยการแก้สมการ \(P(\theta \le M | x) = 0.5\) เพื่อหาค่า \(M\)
5. ข้อควรระวังที่พบบ่อย
1. สับสนระหว่าง \(n\) กับ \(\sum x_i\): ในการอัปเดตแบบ Poisson-Gamma นักเรียนมักลืมนำ \(\lambda\) ไปบวกกับ \(n\) จำไว้นะครับ: \(\lambda\) เกี่ยวข้องกับ จำนวนข้อมูล (n) ในขณะที่ \(\alpha\) เกี่ยวข้องกับ ผลรวมของค่าสังเกต (\sum x_i)
2. ลืมคูณ Likelihood: ถ้าคุณมีข้อมูล 10 ตัว Likelihood ของคุณคือ \(f(x_1|\theta) \times f(x_2|\theta) \dots f(x_{10}|\theta)\) อย่าลืมว่าต้องใช้ให้ครบทุกตัว!
3. ตื่นตระหนกกับค่าคงที่ (Constant of Proportionality): คุณไม่จำเป็นต้องคำนวณส่วนที่เป็นตัวหาร \(f(x)\) เว้นแต่โจทย์จะสั่งเจาะจง ให้โฟกัสที่พจน์ที่มี \(\theta\) ก็พอครับ
สรุปทบทวนท้ายบท
- Prior: ความเชื่อก่อนเห็นข้อมูลจริง
- Likelihood: สิ่งที่ข้อมูลบอกเรา
- Posterior: ความเชื่อที่อัปเดตแล้ว (Prior \(\times\) Likelihood)
- Conjugate: Prior และ Posterior เป็นการแจกแจงตระกูลเดียวกัน
- เป้าหมาย: ระบุให้ได้ว่า \(\theta\) แจกแจงอย่างไร และใช้คุณสมบัติของมัน (Mean/Mode) เพื่อประมาณค่า
หมั่นฝึกฝนการพิสูจน์บ่อยๆ นะครับ! เมื่อไหร่ที่คุณเริ่มจำรูปแบบ Kernel ของ Gamma และ Beta ได้ คุณจะพบว่าโจทย์ "กรณีพื้นฐาน" เหล่านี้เป็นแหล่งเก็บคะแนนที่คุ้มค่าที่สุดในข้อสอบ CS1 เลยล่ะ คุณทำได้แน่นอน!