1. 抽样与数据简介 (Introduction to Sampling and Data)
欢迎来到统计学的大门!在我们计算平均值、建立现实趋势模型或计算概率之前,首先需要收集数据。你所能得出的结论质量,完全取决于原始数据的质量。如果数据收集方法本身存在缺陷,那么即使运用最精密的数学运算,也只会得出无效的结论。
在本章中,你将掌握 SL 4.1 的核心概念:区分总体(母体)与样本、将不同数据类型分类、评估抽样技术、辨别抽样偏差,以及以数学方法识别异常值(离群值)。
2. 总体 vs. 样本 (Population vs. Sample)
试想象你正在煮一大锅汤。你不需要喝光整锅汤才知道味道是否够咸;你只需把它彻底搅匀,品尝一勺就足够了。这个比喻正好完美诠释了总体 (Population) 与样本 (Sample) 之间的基本关系。
重要定义
总体(母体,Population): 你想要调查并从中得出结论的完整个体、对象或项目群体。
例子: 某所国际学校内全部 \(1\,200\) 名在读学生。
样本 (Sample): 从总体中选取出来、实际用于收集数据的子集。
例子: 从不同年级中选出填写问卷的 \(60\) 名学生群组。
随机样本 (Random Sample): 一种抽样方式,使得总体中的每个个体或对象都有相同的机会被选中,而且任何个体的组合被一同选中的机会亦均等。
为什么我们不总是调查整个总体?
对整个总体进行全面调查称为普查 (Census)。虽然普查能提供最完整的信息,但统计学家通常依靠样本,这是因为普查往往:
• 昂贵且耗时: 从成千上万甚至数百万个个体收集数据需要庞大资源。
• 不切实际或不可行: 某些总体是无限的、时刻变动的,或在地理上难以接触。
• 具破坏性: 如果质量测试涉及测试电池寿命直至耗尽,那么测试整个总体就会毁掉所有产品!
核心重点: 样本应该是总体的微缩倒影——规模必须足够大,并且经过审慎挑选以代表总体,而不引入系统性的偏差。
3. 数据类型:离散型 vs. 连续型 (Discrete vs. Continuous)
统计调查中收集到的数据可以是分类数据(定性数据)或数值数据(定量数据)。在 IB 数学:分析与方法 (Analysis and Approaches) 中,我们的焦点主要集中在数值数据上,而数值数据分为两大核心类别:离散型 (Discrete) 和连续型 (Continuous)。
离散数据 (Discrete Data)
离散数据只能取特定、分离的数值。可能出现的数值之间存在明确的间隔,这类数据通常是通过计数(数数目)获得的。
• 例子: 学生的兄弟姐妹数目(\(0, 1, 2, 3, \dots\))、掷骰子掷出的点数(\(1, 2, 3, 4, 5, 6\)),或鞋子尺码(\(7, 7.5, 8, 8.5\))。
• 注意: 即使鞋码可以包含像 \(7.5\) 这样的小数,鞋码依然属于离散数据,因为你绝不可能拥有 \(7.2341\) 的鞋码。它在允许的数值之间存在着间隔!
连续数据 (Continuous Data)
连续数据可以在给定的区间或范围内取任何数值。连续数据是通过测量获得的,其精确度仅受限于所使用的测量工具。
• 例子: 运动员的身高(\(175.4\text{ cm}\))、跑 \(100\text{ m}\) 短跑所需的时间(\(11.38\text{ s}\)),或一个苹果的质量(\(142.85\text{ g}\))。
• 注意: 在连续数据的任意两个数值之间,都存在无限多个可能的中部数值。
记忆小贴士:数出来 vs. 量出来
• 如果是数出来 (Count) 的,它就是离散型(例如:停车场内的小汽车数目)。
• 如果是用尺、秤或秒表量出来 (Measure) 的,它就是连续型(例如:旅程距离、温度)。
核心重点: 离散数据由个别分离的点组成;连续数据则形成一条不间断的连续测量尺度。
4. 抽样技术及其有效性 (Sampling Techniques and Their Effectiveness)
为了避免偏差并确保样本能准确反映总体,统计学家会使用特定的抽样策略。你必须理解每种方法的运作原理、适用时机,以及各自的优缺点与局限性。
1. 简单随机抽样 (Simple Random Sampling, SRS)
运作方式: 总体中的每个成员都会被分配一个从 \(1\) 到 \(N\) 的唯一编号。然后使用随机数生成器或抽签系统,以不放回方式抽取 \(n\) 个不重复的号码。
• 优点: 完全客观无偏;不受研究员主观影响;每个个体都有相同的被选取概率。
• 局限: 需要一份完整且最新的抽样框(Sampling Frame,即总体中所有成员的完整名单),这有时成本高昂或根本无法获取。此外,如果样本容量较小,纯粹靠运气也可能抽到不具代表性的样本。
2. 系统抽样 / 等距抽样 (Systematic Sampling)
运作方式: 从大小为 \(N\) 的总体编号名单中,按固定间隔选取元素。首先计算抽样间隔 \(k = \frac{N}{n}\)。在 \(1\) 到 \(k\) 之间随机选定一个起点,然后每隔 \(k\) 个个体选取一人。
• 例子: 在一所拥有 \(N = 800\) 名学生的学校中,你想抽取容量为 \(n = 40\) 的样本。抽样间隔为 \(k = \frac{800}{40} = 20\)。在 \(1\) 至 \(20\) 之间随机选一个数字,假设为 \(14\)。你的样本将包括编号为 \(14, 34, 54, 74, \dots, 794\) 的学生。
• 优点: 简单快捷,并能让样本均匀分布于整份名单中。
• 局限: 如果名单本身存在与 \(k\) 刚好吻合的周期性规律或循环,样本便会产生严重偏差。
3. 分层抽样 (Stratified Sampling)
运作方式: 总体包含互不重叠且各具不同特征的子群体,称为层 (Strata)(例如年龄组别、性别或年级)。然后按照各层占整体总体的比例,从每一层中随机抽取成员。
计算层样本容量的公式:
\(\text{该层选取人数} = \frac{\text{该层人数}}{\text{总体总人数}} \times \text{样本总容量}\)
• 例子: 一所学校有 \(600\) 名男生和 \(400\) 名女生(全校共 \(1\,000\) 人)。若要抽取 \(50\) 人的样本:
男生人数 \(= \frac{600}{1\,000} \times 50 = 30\)
女生人数 \(= \frac{400}{1\,000} \times 50 = 20\)
在各群组内部,这 \(30\) 名男生和 \(20\) 名女生会通过简单随机抽样选出。
• 优点: 能确保各重要子群体按精确比例代表;避免少数群体被忽视;精确度高。
• 局限: 必须预先掌握总体的确切构成,且为个体进行分类可能相当复杂。
4. 定额抽样 / 配额抽样 (Quota Sampling)
运作方式: 与分层抽样类似,总体被划分为不同子群体。然而,在每个子群体内,研究人员是以非随机方式(通常是就近取材)挑选受访者,直到填满各组所需的配额为止。
• 优点: 迅速、实用、成本低,而且不需要总体中每个个体的完整名单。
• 局限: 属于非随机抽样。访问员可自行决定邀请谁,这会引入调查员偏差,并使统计概率理论无法适用。
5. 便利抽样 (Convenience Sampling)
运作方式: 研究人员纯粹选取在特定时间和地点最容易接触到或最方便接触的个体。
• 例子: 中午 12:00 站在学校食堂门口,直接访问最先走过的 \(30\) 名学生。
• 优点: 成本极低、速度最快,而且最容易执行。
• 局限: 极易产生偏差;样本极少能代表广泛的总体。
核心重点: 随机抽样方法(简单随机、系统、分层)消除了研究人员的挑选偏差,让统计推断具备有效性。非随机方法(定额、便利)虽然更轻松快捷,但伴随极高的偏差风险。
5. 来源可靠性与抽样偏差 (Reliability of Sources and Bias in Sampling)
在 IB 考试题目中,你经常会被要求评估某种抽样方法,并指出潜在的偏差来源 (Sources of Bias) 或评估来源的可靠性 (Reliability of Sources)。
什么是抽样偏差 (Sampling Bias)?
偏差 (Bias) 是指数据收集过程中的系统性误差,导致样本偏向某些特定结果或子群体,从而得出错误的结论。
常见的偏差类型
• 选择偏差 / 抽样框误差 (Selection Bias / Sampling Frame Error): 所使用的抽样框名单与真实总体不符。例如,进行一项有关互联网普及率的网上问卷调查,会直接将没有网络的人排除在外。
• 无应答偏差 (Non-Response Bias): 被选入样本的个体拒绝回答或无法取得联系。没有回应的人所持的观点,可能与积极回应的人存在系统性差异。
• 自愿响应偏差 (Voluntary Response Bias): 当参与者是自愿加入时产生(例如电台热线投票、公开网站投票)。通常只有持强烈或极端意见的人才会花时间参与。
• 响应偏差 / 问卷偏差 (Response / Questionnaire Bias): 题目的措辞带有诱导性(引导式问题),或者受访者因顾虑社会形象而给出迎合社会标准的答案,而非吐露真话。
评估数据来源的可靠性
在批判数据或评估某个来源是否值得信赖时,请考虑以下各点:
1. 谁资助或收集这项数据? 背后是否存在固有的商业利益或政治利益冲突?
2. 样本容量 (Sample Size) 有多大? 样本太小容易受到较大的随机误差和极高变异度影响。
3. 样本是如何选取的? 它是严谨的随机方法,还是充满偏差的便利抽样?
4. 研究方法是否完全透明公开? 问题内容、调查日期及响应率是否有清晰交代?
核心重点: 扩大样本容量无法纠正有偏差的方法。一个向 \(100\,000\) 人进行的偏差样本,其结论依然不可信!
6. 异常值:概念与数学检验 (Outliers: Concept and Mathematical Detection)
异常值(离群值,Outlier)是指远离数据集主体结构的极端数值。异常值可能源于测量误差、输入错误,或者是真实而罕见的自然变异。
\(1.5 \times \text{IQR}\) 判定法则
在 IB DP 数学:分析与方法课程中,你必须懂得使用正式的四分位距(\(\text{IQR}\))法则来识别异常值。下四分位数 \(Q_1\)、上四分位数 \(Q_3\) 以及测度 \(\text{IQR} = Q_3 - Q_1\),都会在数据呈现与总结课题中详细学习。
任何数据值 \(x\) 若符合以下任一条件,即被归类为异常值:
下边界(下限):
\(x < Q_1 - 1.5 \times \text{IQR}\)
上边界(上限):
\(x > Q_3 + 1.5 \times \text{IQR}\)
检验异常值的逐步程序
• 步骤 1: 找出下四分位数(\(Q_1\))和上四分位数(\(Q_3\))。
• 步骤 2: 计算四分位距:\(\text{IQR} = Q_3 - Q_1\)。
• 步骤 3: 将 \(\text{IQR}\) 乘以 \(1.5\)。
• 步骤 4: 计算下边界:\(Q_1 - 1.5(\text{IQR})\)。
• 步骤 5: 计算上边界:\(Q_3 + 1.5(\text{IQR})\)。
• 步骤 6: 将可疑的数据值与这些边界进行比较。如果它严格小于下边界,或严格大于上边界,该数值即为异常值。
发现异常值该如何处理?
切勿直接将异常值删除!你应该探究其成因:
• 如果它明显属于誊写错误或仪器故障(例如人类身高被错误输入为 \(185\text{ m}\) 而非 \(1.85\text{ m}\)),应予以更正或剔除。
• 如果它是真实、经核实的测量数据(例如一名极具天赋的运动员跑出极快的冲刺速度),则必须保留,因为它反映了总体中真实的自然变异。
核心重点: 异常值在数学上的定义为落在区间 \([Q_1 - 1.5(\text{IQR}),\, Q_3 + 1.5(\text{IQR})]\) 之外的值。检验怀疑数值时,务必同时检查上下两个边界。
7. 典型例题 (Worked Examples)
例题 1:抽样计算(Paper 1 题型)
某大学拥有 \(4\,500\) 名本科生和 \(1\,500\) 名研究生。一名研究人员希望抽取一个 \(120\) 名学生的分层样本,以调查他们的学习习惯。
(a) 计算样本中应包含的本科生人数。
(b) 简述研究人员如何利用简单随机抽样选出所需的本科生。
(c) 试指出在此情境下,分层抽样比便利抽样更为理想的一个原因。
参考解答:
(a) 总体总人数 \(= 4\,500 + 1\,500 = 6\,000\)。
\(\text{本科生人数} = \frac{4\,500}{6\,000} \times 120 = \frac{3}{4} \times 120 = 90\)。
答案: \(90\) 名本科生。
(b) 为全部 \(4\,500\) 名本科生每人编配一个由 \(1\) 至 \(4\,500\) 的唯一整数编号。使用随机数生成器在此范围内生成 \(90\) 个不重复的随机整数(若有重复则忽略并重新生成)。选取对应这 \(90\) 个编号的学生。
(c) 便利抽样只会选取最容易接触到的学生(例如特定时间身处某个阶梯教室或校园咖啡厅的学生),这会引入偏差并可能忽略某些院系的学生。分层抽样能确保本科生和研究生群体皆严格按其在总体中的比例受到代表,同时消除研究员的主观偏差。
例题 2:以数学方法识别异常值(Paper 1 / Paper 2 题型)
某次测验成绩的下四分位数为 \(Q_1 = 48\),上四分位数为 \(Q_3 = 72\)。
两名学生的分数分别为 \(10\) 分和 \(105\) 分。
试以数学方法判定这两个分数中是否有任何一个属于异常值。
参考解答:
步骤 1:计算 \(\text{IQR}\)
\(\text{IQR} = Q_3 - Q_1 = 72 - 48 = 24\)。
步骤 2:计算 \(1.5 \times \text{IQR}\)
\(1.5 \times 24 = 36\)。
步骤 3:确定下边界与上边界
\(\text{下边界} = Q_1 - 1.5(\text{IQR}) = 48 - 36 = 12\)。
\(\text{上边界} = Q_3 + 1.5(\text{IQR}) = 72 + 36 = 108\)。
步骤 4:检验各数值
• 对于分数 \(10\):由于 \(10 < 12\),该分数低于下边界。因此,\(10\) 是一个异常值。
• 对于分数 \(105\):由于 \(105 \le 108\),该分数并未超过上边界。因此,\(105\) 不是异常值。
8. 常见错误与应试技巧 (Common Mistakes and Exam Tips)
• 错误观念:混淆离散数据与整数。 鞋子尺码(\(8.5, 9, 9.5\))即使包含小数,依然是离散数据。离散的定义在于数值之间存在明确的间隔,而非数字是否为整数。
• 错误观念:记错异常值的倍数。 IB 标准定义使用的是 \(1.5 \times \text{IQR}\),而非 \(2 \times \text{IQR}\) 或 \(1 \times \text{IQR}\)。
• 错误观念:在抽样题目中解释过于笼统。 当被问及为何某个样本存有偏差时,切忌只写“这样不公平”。你必须具体指明哪些人被排除了,或哪些人被过度代表了(例如:“早上 8:00 在火车站访问乘客,会过度代表每天通勤的上班族,同时排除了退休人士、学生和居家办公者”)。
• 考试技巧:务必写出具体的数值边界。 在检验异常值时,得出结论前必须清楚列出 \(Q_1 - 1.5(\text{IQR})\) 和 \(Q_3 + 1.5(\text{IQR})\) 的计算过程及数值。IB 评分标准 (Markscheme) 会为计算出这些门槛边界给予步骤分 (Method marks)!
9. 本章重点快速复习 (Chapter Summary Quick Review)
• 总体 (Population): 所关注的完整个体群体。
• 样本 (Sample): 从总体中选出具代表性的子集。
• 离散数据 (Discrete Data): 通过计数获得、数值之间有明确间隔的数据。
• 连续数据 (Continuous Data): 通过测量获得、在连续尺度上可取任意值的数据。
• 简单随机抽样 (Simple Random Sampling): 每个成员和组合都有均等机会入选。
• 系统抽样 (Systematic Sampling): 在首个区间随机选取起点后,按固定间隔每隔 \(k\) 个选取一个。
• 分层抽样 (Stratified Sampling): 严格按照子群体占总体的比例,在各组内进行随机抽样。
• 定额抽样 (Quota Sampling): 按分层比例分配配额,但内部通过非随机方式选取。
• 便利抽样 (Convenience Sampling): 选取最容易接触到的个体;快速但具极高偏差。
• 异常值边界 (Outlier Boundaries): 严格小于 \(Q_1 - 1.5(\text{IQR})\) 或严格大于 \(Q_3 + 1.5(\text{IQR})\) 的数值。