Empirical Bayesian estimation: nonparametric and semiparametric cases

ยินดีต้อนรับสู่การประมาณค่าแบบ Empirical Bayesian!

ในการศึกษาเรื่อง Credibility ก่อนหน้านี้ เรามักจะตั้งสมมติฐานว่าเรารู้การแจกแจงของข้อมูล (เช่น Poisson หรือ Normal) แต่ในโลกความเป็นจริง เรามักไม่มีความหรูหราขนาดนั้น และนี่คือจุดที่ Empirical Bayesian Estimation เข้ามามีบทบาท เปรียบเสมือนการเป็นนักสืบ แทนที่จะเดาว่าอาชญากรหน้าตาเป็นอย่างไร เรากลับดูจากหลักฐาน (ข้อมูล) เพื่อหาความเชื่อมโยงหรือรูปแบบแทน

ในบทนี้ เราจะเน้นไปที่กรณี Nonparametric (ไม่ใช้พารามิเตอร์) และ Semiparametric (กึ่งพารามิเตอร์) อย่าให้คำศัพท์ยากๆ เหล่านี้ทำให้กลัวไปเลย! "Nonparametric" ก็แค่หมายความว่าเราไม่ได้สมมติรูปแบบการแจกแจงที่ตายตัว ส่วน "Semiparametric" หมายความว่าเรารู้โครงสร้างข้อมูลบ้างแต่ไม่ทั้งหมด เรากำลังจะเรียนรู้วิธีการประมาณค่า "สามพารามิเตอร์หลัก": \(\mu\) (ค่าเฉลี่ยรวม), \(v\) (ความแปรปรวนของกระบวนการ) และ \(a\) (ความแปรปรวนของค่าเฉลี่ยสมมติฐาน)

1. แนวคิดหลัก: ทำไมต้อง Empirical Bayes?

เป้าหมายของ Credibility คือการหาสูตร: \(Z \bar{X} + (1-Z)\mu\) เพื่อที่จะคำนวณหาค่า Credibility factor \(Z\) เราจำเป็นต้องมีสองสิ่ง: ค่าคาดหมายของความแปรปรวนของกระบวนการ (v) และ ความแปรปรวนของค่าเฉลี่ยสมมติฐาน (a)

Nonparametric estimation จะถูกนำมาใช้เมื่อเรามีข้อมูลของกรมธรรม์ (หรือ "ความเสี่ยง") หลายๆ รายตลอดหลายปี แต่เราไม่รู้เลยว่าการแจกแจงความน่าจะเป็นที่แท้จริงคืออะไร เราจึงต้องใช้ข้อมูลที่มีอยู่เพื่อประมาณค่า \(v\) และ \(a\)

การเปรียบเทียบ: ลองจินตนาการว่าคุณเป็นโค้ชทีมกรีฑา คุณไม่รู้ว่า "การแจกแจงความสามารถ" ที่แท้จริงของมนุษย์เป็นอย่างไร (โมเดลพารามิเตอร์) แต่คุณมีเวลาในการวิ่งของนักกีฬา 10 คนจากการแข่งขัน 5 ครั้งล่าสุด คุณใช้เวลาเหล่านั้นเพื่อประเมินว่านักกีฬาแต่ละคนมีผลงานแกว่งไปมาแค่ไหนในการแข่งแต่ละครั้ง (\(v\)) และนักกีฬาแต่ละคนมีความสามารถแตกต่างกันมากน้อยเพียงใด (\(a\))

2. กรณี Nonparametric (โมเดลของ Bühlmann)

ในสถานการณ์นี้ เราสมมติว่าความเสี่ยง (กรมธรรม์) ทุกรายมีระดับ Exposure เท่ากัน (เช่น แต่ละคนคือ 1 "หน่วย") เรามีกลุ่มความเสี่ยงทั้งหมด \(k\) กลุ่ม และแต่ละกลุ่มมีข้อมูล \(n\) ปี

ขั้นตอนการประมาณค่าพารามิเตอร์ทีละขั้น

ขั้นตอนที่ 1: คำนวณค่าเฉลี่ยสำหรับแต่ละกลุ่มความเสี่ยง
หาค่าเฉลี่ยสำหรับกรมธรรม์แต่ละราย (\(i\)):
\(\bar{X}_i = \frac{1}{n} \sum_{j=1}^{n} X_{ij}\)

ขั้นตอนที่ 2: คำนวณค่าเฉลี่ยรวม (\(\hat{\mu}\))
นี่คือค่าเฉลี่ยของค่าเฉลี่ยแต่ละราย:
\(\hat{\mu} = \bar{X} = \frac{1}{k} \sum_{i=1}^{k} \bar{X}_i\)

ขั้นตอนที่ 3: ประมาณค่าความแปรปรวนของกระบวนการ (\(\hat{v}\))
ค่านี้วัดว่าค่าเคลมของแต่ละคนมีความแปรปรวนจากค่าเฉลี่ยของตัวเขาเองมากน้อยแค่ไหน เราใช้วิธีหาค่าเฉลี่ยของ Sample variance ของทุกกลุ่ม:
\(\hat{v} = \frac{1}{k(n-1)} \sum_{i=1}^{k} \sum_{j=1}^{n} (X_{ij} - \bar{X}_i)^2\)

ขั้นตอนที่ 4: ประมาณค่าความแปรปรวนของค่าเฉลี่ยสมมติฐาน (\(\hat{a}\))
ค่านี้วัดว่า "ค่าเฉลี่ยที่แท้จริง" ของความเสี่ยงแต่ละรายแตกต่างกันอย่างไร จุดนี้จะซับซ้อนขึ้นนิดหน่อยเพราะความแปรปรวนระหว่างค่าเฉลี่ยของกลุ่มที่ได้มาดิบๆ นั้นมี "สัญญาณรบกวน" จากความแปรปรวนของกระบวนการเจือปนอยู่:
\(\hat{a} = \frac{1}{k-1} \sum_{i=1}^{k} (\bar{X}_i - \bar{X})^2 - \frac{\hat{v}}{n}\)

ทบทวนสั้นๆ: ทำไมเราต้องลบ \(\frac{\hat{v}}{n}\)? เพราะความแปรปรวนที่เราเห็นระหว่างค่าเฉลี่ยตัวอย่างของแต่ละกรมธรรม์นั้นมัน "ถูกขยาย" ออกไปจากความเป็นจริง เนื่องมาจากแต่ละค่าเฉลี่ยตัวอย่างเป็นเพียงการประมาณค่าเท่านั้น เราจึงต้องลบส่วนที่เป็นสัญญาณรบกวนออกไปเพื่อให้ได้ค่าความแปรปรวนที่แท้จริงระหว่างบุคคล

ข้อสรุปที่สำคัญ: ถ้า \(\hat{a}\) มีค่ามาก หมายความว่าผู้ถือกรมธรรม์มีความแตกต่างกันมาก ดังนั้นข้อมูลรายบุคคลจึงมีประโยชน์มาก (ค่า \(Z\) สูง) แต่ถ้า \(\hat{a}\) มีค่าน้อย แสดงว่าทุกคนแทบไม่ต่างกันเลย เราจึงควรเชื่อค่าเฉลี่ยกลุ่มมากกว่า (ค่า \(Z\) ต่ำ)

3. กรณี Semiparametric (โมเดลของ Bühlmann-Straub)

จะเกิดอะไรขึ้นถ้าความเสี่ยงแต่ละรายมีขนาดไม่เท่ากัน? เช่น "ความเสี่ยง" หนึ่งคือธุรกิจขนาดเล็กที่มีพนักงาน 5 คน แต่อีกหนึ่งคือบริษัทใหญ่ที่มีพนักงาน 500 คน นี่คือโมเดลของ Bühlmann-Straub ซึ่งตอนนี้เราจะมีน้ำหนัก (Exposure) ที่ระบุเป็น \(m_{ij}\)

การประมาณค่าเมื่อมี Exposure ต่างกัน

ค่าเฉลี่ย (\(\hat{\mu}\)):
เราใช้ค่าเฉลี่ยถ่วงน้ำหนักของค่าเคลมทั้งหมด:
\(\hat{\mu} = \frac{1}{m} \sum_{i=1}^{k} \sum_{j=1}^{n} m_{ij} X_{ij}\), โดยที่ \(m\) คือผลรวมของ Exposure ทั้งหมด

ค่าความแปรปรวนของกระบวนการ (\(\hat{v}\)):
\(\hat{v} = \frac{1}{\sum_{i=1}^{k} (n_i - 1)} \sum_{i=1}^{k} \sum_{j=1}^{n} m_{ij} (X_{ij} - \bar{X}_i)^2\)

ค่าความแปรปรวนของค่าเฉลี่ยสมมติฐาน (\(\hat{a}\)):
สูตรนี้คือ "บอสใหญ่" ของบทนี้ ดูน่าเกรงขามแต่ก็ใช้ตรรกะเดียวกับกรณี Nonparametric:
\(\hat{a} = \frac{\sum_{i=1}^k m_i (\bar{X}_i - \bar{X})^2 - (k-1)\hat{v}}{m - \frac{1}{m} \sum_{i=1}^k m_i^2}\)
โดยที่ \(m_i\) คือผลรวม Exposure ของความเสี่ยงรายที่ \(i\)

รู้หรือไม่? ในบางโจทย์ การคำนวณอาจให้ค่า \(\hat{a}\) เป็น ลบ เนื่องจากความแปรปรวนไม่สามารถติดลบได้ หากเกิดเหตุการณ์นี้ในห้องสอบ เราจะปรับให้ \(\hat{a} = 0\) ซึ่งหมายความว่าข้อมูลรายบุคคลไม่ได้มีประโยชน์ไปมากกว่าค่าเฉลี่ยกลุ่ม และค่า \(Z = 0\)

4. ข้อผิดพลาดที่พบบ่อยและเทคนิคการจำ

อย่าสับสนตัวหาร!
- เมื่อคำนวณ \(\hat{v}\) ในกรณี Nonparametric ตัวหารคือ \(k(n-1)\) ให้จำว่า "จำนวนกลุ่ม คูณกับ Degrees of freedom ในแต่ละกลุ่ม"
- เมื่อคำนวณ Sample variance สำหรับ \(\hat{a}\) ตัวหารคือ \(k-1\) ให้จำว่า "การเปรียบเทียบ \(k\) กลุ่มเข้าด้วยกัน"

กับดัก "ค่าความแปรปรวนเป็นศูนย์":
หาก \(\hat{a}\) คำนวณออกมาเป็นลบ ให้ตั้ง \(\hat{a} = 0\) เสมอ หากลืมจุดนี้ ค่า \(Z\) ของคุณจะติดลบ ซึ่งไม่มีความหมายในบริบทของ Credibility! คุณไม่สามารถมีความเชื่อที่ติดลบในข้อมูลของคุณได้

เทคนิคการจำ:
สำหรับสูตร \(\hat{a}\) ของ Bühlmann-Straub ให้สังเกตตัวหาร: \(m - \frac{\sum m_i^2}{m}\) มันดูคล้ายกับสูตรความแปรปรวน \((E[X^2] - (E[X])^2)\) มาก เพราะ \(\hat{a}\) พยายามแยกค่าความแปรปรวนที่อยู่ระหว่างกลุ่มออกมานั่นเอง

สรุปสาระสำคัญ

1. Nonparametric: ใช้เมื่อความเสี่ยงทุกรายมี Exposure เท่ากันและเราไม่ทราบการแจกแจง เราใช้ค่าเฉลี่ยและ Sample variance เพื่อหา \(v\) และ \(a\)
2. Semiparametric: ใช้เมื่อความเสี่ยงมี Exposure ต่างกัน (Bühlmann-Straub) สูตรจะหนักขึ้นเพราะมีน้ำหนัก (\(m_{ij}\)) แต่ตรรกะยังเหมือนเดิม: คือความแปรปรวนระหว่างกลุ่มลบด้วยสัญญาณรบกวน
3. Unbiased Estimators: ตัวประมาณค่าเหล่านี้ (\(\hat{\mu}, \hat{v}, \hat{a}\)) ถูกออกแบบมาให้เป็น "Unbiased" ซึ่งหมายความว่าโดยเฉลี่ยแล้วมันจะเข้าใกล้ค่าที่แท้จริง
4. กฎ "a ติดลบ": ถ้าคุณคำนวณ \(\hat{a}\) ได้ \(\leq 0\) ให้ถือว่า \(\hat{a} = 0\) และ \(Z = 0\)

ไม่ต้องกังวลถ้าสูตรดูยาว! โจทย์ข้อสอบส่วนใหญ่จะให้ค่าผลรวมมาให้คุณอยู่แล้ว (เช่น \(\sum \sum (X_{ij} - \bar{X}_i)^2\)) หน้าที่ของคุณคือรู้ว่าต้องนำค่าไปแทนในสูตรไหน ฝึกทำโจทย์สักสองสามข้อ แล้วคุณจะเริ่มเห็นรูปแบบเอง สู้ๆ!