漸近分布とブートストラップ法の導入
統計的推論（Statistical Inference）の中でも、特に強力な手法を扱う章へようこそ！これまでは、最尤法（MLE）を使ってパラメータの「最良の推定値」を見つける方法を学んできました。しかし、単一の数値（点推定）だけでは、その推定がどれほど信頼できるのかまでは分かりません。
この章では、推定量の振る舞いを理解するための2つのアプローチを学びます。
1. 漸近理論（Asymptotic Theory）： サンプルサイズ \( n \) が非常に大きくなったとき、最尤推定量（MLE）はどうなるでしょうか？（ヒント：非常に予測しやすい動きを見せ始めます！）
2. ブートストラップ法（The Bootstrap）： 数学的な計算が複雑すぎたり、標準的な公式を使うのに十分なデータがなかったりする場合はどうすればよいでしょうか？最新のコンピュータの力を借りて、自力で解決（"pull ourselves up by our bootstraps"）する方法を学びます。
これらの用語が少し難しく感じても大丈夫です。CS1の試験でそのまま使えるよう、ステップごとにシンプルに解説していきます。
1. 最尤推定量の漸近分布
漸近（Asymptotic）という言葉は、単純にサンプルサイズ \( n \) が無限大に近づく（\( n \to \infty \)）ときの挙動を指します。アクチュアリーの実務では大規模なデータセットを扱うことが多いため、こうした「大標本」における性質は非常に役に立ちます。
主な結果
一定の正則条件のもとで、サンプルサイズ \( n \) が大きくなるにつれて、最尤推定量 \( \hat{\theta} \) の分布は正規分布に近づきます。具体的には以下の通りです：
\( \hat{\theta} \sim N(\theta, \frac{1}{I(\theta)}) \)
ここで：
\( \theta \) はパラメータの真の値です。
\( I(\theta) \) はフィッシャー情報量（Fisher Information）です。
フィッシャー情報量とは？
フィッシャー情報量は、データが未知のパラメータについてどれだけの「情報」を持っているかを表す指標だと考えてください。情報量が多いほど、推定量の分散は小さくなります。
サイズ \( n \) の標本におけるフィッシャー情報量は、次のように計算されます：
\( I(\theta) = n \cdot i(\theta) \)
ここで \( i(\theta) \) は単一の観測値が持つ情報量です：
\( i(\theta) = -E[\frac{d^2}{d\theta^2} \ln f(X; \theta)] \)
漸近的性質の重要なポイント
1. 漸近不偏性： 小さなサンプルでは最尤推定量にバイアス（偏り）があっても、\( n \) が大きくなるにつれて不偏になります。
2. 有効性： 最尤推定量の分散 \( \frac{1}{I(\theta)} \) はクラメール・ラオの下限（Cramer-Rao Lower Bound）に一致します。これは、大標本においては、最尤推定量よりも精度の高い不偏推定量は存在しないということを意味します。
3. 正規近似： これにより、元のデータが正規分布に従っていなくても、標準正規分布の \( Z \) 表を使って最尤推定量の確率や信頼区間を計算できるようになります！
クイック・レビュー：サンプルサイズが大きくなるほど、最尤推定量はより正確になり（平均が真の値に近づく）、より精密になります（分散が小さくなる）。
2. ブートストラップ法
漸近理論を適用するのに十分なサンプルサイズがない場合や、フィッシャー情報量の公式が複雑すぎて解けない場合があります。そんな時に登場するのがブートストラップ法です。
コンセプト：再サンプリング
ブートストラップ法は再サンプリング（resampling）の手法です。手元にビー玉が入った小さな袋（元のサンプル）があると想像してください。「大きな工場（母集団）」にあるビー玉の種類を知りたいのですが、手元にはこの一袋しかありません。
「ブートストラップ」を行うには、袋からビー玉を一つ取り出し、色を記録して、また袋に戻します。これを元のサンプルと同じ数になるまで繰り返して「新しい」サンプルを作ります。これを復元抽出（sampling with replacement）と呼びます。
ブートストラップ法のステップ
ステップ 1： サイズ \( n \) の元のサンプルから始めます。
ステップ 2： 元のデータから復元抽出を行い、サイズ \( n \) の新しいサンプル（ブートストラップ・サンプル）を作成します。
ステップ 3： このブートストラップ・サンプルに対して、推定量（平均や最尤推定量など）を計算します。これを \( \hat{\theta}^* \) と呼びます。
ステップ 4： ステップ2と3を何度も（例えば1,000回や10,000回）繰り返し、大量のブートストラップ推定量の集まり \( \hat{\theta}^*_1, \hat{\theta}^*_2, ..., \hat{\theta}^*_B \) を得ます。
ステップ 5： この集まりを使って、元の推定量の性質を推定します。
なぜ「復元抽出」なのですか？
もし復元なしで抽出したら、毎回同じデータが順番を変えて出てくるだけになってしまいます。復元抽出にすることで、あるデータが2回以上選ばれたり、一度も選ばれなかったりすることを許容します。これにより、実際の母集団から何度も異なるサンプルを取ったときに生じるはずの自然なばらつきを模倣することができるのです。
豆知識： 「ブートストラップ」という言葉は、"to pull oneself up by one's bootstraps"（自分の靴紐を引っ張り上げて自分自身を持ち上げる、つまり助けなしで不可能なことを成し遂げる）という英語の慣用句に由来しています。統計学では、データそのものを使って、そのデータ自身の不確実性を明らかにするという手法を指しています。
3. ブートストラップ法を用いた性質の推定
シラバスでは、これらのブートストラップ・サンプルを使って推定量の性質、特にバイアス（偏り）と標準誤差を推定する方法を知っておく必要があります。
標準誤差のブートストラップ推定
得られたすべてのブートストラップ推定値 \( \hat{\theta}^*_1, ..., \hat{\theta}^*_B \) の標準偏差を計算するだけです。これにより、推定量の精度の見積もりが得られます。
バイアスのブートストラップ推定
バイアスとは、推定量の期待値と真の値との差のことです。ブートストラップでは次のように考えます：
\( \text{Estimated Bias} = (\text{すべての } \hat{\theta}^* \text{ の平均}) - \hat{\theta}_{original} \)
ここで \( \hat{\theta}_{original} \) は、最初に得られた現実のデータから計算された推定値です。
4. ブートストラップ信頼区間
ブートストラップ法の最も実用的な使い道の一つは、データが特定の分布（正規分布やポアソン分布など）に従うと仮定したくない場合に、信頼区間（CI）を作成することです。
パーセンタイル法
ブートストラップ信頼区間を作る最もシンプルな方法はパーセンタイル法です。非常に直感的です：
1. 1,000個のブートストラップ推定値を、小さい順に並べ替えます。
2. 95%信頼区間を求めたい場合は、下位2.5%と上位2.5%を切り捨てる境界値を見つけます。
3. 1,000個のサンプルの場合、小さい方から数えて25番目の値と975番目の値が信頼区間の境界になります。
よくある間違い： Paper B（Rを用いた試験）でブートストラップを行う際、`sample()` 関数のサンプルサイズ \( n \) を元のデータセットと同じにするのを忘れてしまうことがあります。必ず同じ観測数で再サンプリングするようにしましょう！
5. 比較：漸近理論 vs ブートストラップ法
どちらを使うべきか、どう判断すればよいでしょうか？
漸近的性質（最尤法）を使う場合：
- サンプルサイズ \( n \) が大きい。
- 元の分布が分かっている（例：データが指数分布に従うと明示されている）。
- 対数尤度の二階微分が簡単に計算できる。
ブートストラップ法を使う場合：
- サンプルサイズが小さい。
- 分布が不明、あるいは非常に複雑である。
- コンピュータ（Paper B）を使ってシミュレーションを実行できる。
章のまとめ
ポイント 1： \( n \) が大きいとき、最尤推定量 \( \hat{\theta} \) は近似的に \( N(\theta, \frac{1}{I(\theta)}) \) に従います。これは大標本推論における「黄金律」です。
ポイント 2： フィッシャー情報量 \( I(\theta) \) は対数尤度の曲がり具合（曲率）を測定します。曲がりが急であるほど情報量が多く、分散は小さくなります。
ポイント 3： ブートストラップ法は、復元抽出による再サンプリングを用いて、あらゆる統計量の分布を推定する計算手法です。
ポイント 4： 複雑な微積分を使わなくても、ブートストラップ・サンプルから直接、バイアス、標準誤差、および信頼区間（パーセンタイル法）を推定することができます。