课题 4:统计与概率 — 抽样、数据类型与偏差
欢迎来到统计学的基石!在我们计算平均数、绘制漂亮的回归线,或者进行复杂的假设检验之前,我们需要数据。但数据从何而来?我们又是否能够信任这些数据?在本章中,我们将探讨如何收集数据、如何将不同形式的数据分类、如何选取合适的样本,以及如何识别可能毁掉整项调查的潜在偏差与误差。
交叉参照提示:当你的数据收集并核实完毕后,你将在集中趋势与离散程度中使用位置与分散程度的度量来总结数据,并使用呈现数据:统计表、直方图与箱形图中所涵盖的工具来展示数据。
---1. 总体与样本
每当进行统计调查时,我们都必须界定感兴趣的研究对象群体、事物或测量值。
总体(母体,Population):我们希望从中获取信息的完整个体或项目集合。例如:某所国际学校就读的全体学生,或某工厂在一星期内生产的所有灯泡。
普查(Census):从总体中的每一个成员收集数据的全面调查。
为什么不每次都进行普查? 普查能提供绝对的确定性,但往往费用高昂、耗费时间;若总体是无限的,普查在实际上根本不可能执行;或者普查具有破坏性(例如测试电池的寿命,直至电量耗尽为止!)。
样本(Sample):从总体中选取出来、用以代表整个总体的一个子集或部分。我们从样本中收集数据,并用其对整个总体作出推断与结论。
随机样本(Random Sample):以特定方式选取的样本,使总体中的每个成员都有已知且相等的被选中机会。这对于将选择偏差减至最低至关重要。
实用比喻:想象一下试味煲汤。你不需要喝光整煲汤(普查)才知道是否够盐。你只需把它搅拌均匀,尝上一匙(具代表性的样本)便足够了!
核心要点:抽样能节省时间与金钱,但其价值完全取决于它能否准确代表目标总体。
---2. 数据类型的分类
数据大致可分为定性(分类)数据与定量(数值)数据。定量数据进一步细分为离散数据与连续数据。理解这项区别极其重要,因为数据的类型决定了哪些图表、计算与检验在数学上是有效的。
A. 定性(分类)数据 (Qualitative / Categorical Data)
由非数值的性质、标签或类别组成的数据。
例子:眼睛颜色(蓝色、棕色、绿色)、最喜爱的科目(数学、历史、视觉艺术)、血型(\(\text{A、B、AB、O}\))。
B. 定量(数值)数据 (Quantitative / Numerical Data)
由代表计数或测量值的数字组成的数据。这可分为两种类型:
1. 离散数据(Discrete Data):只能取特定、独立数值(通常为整数)的数据。它通常源于对项目的计数。可能出现的数值之间存在间隔,不存在中间值。
例子:
• 一名学生拥有的兄弟姐妹数目:\(x \in \{0, 1, 2, 3, \dots\}\)(你不可能有 \(2.37\) 个兄弟姐妹)。
• 一小时内通过收费站的汽车数量。
• 鞋子尺码(例如英国尺码 \(6, 6.5, 7, 7.5\) —— 即使存在半码,它们依然是离散的,因为不存在 \(6.214\) 码)。
2. 连续数据(Continuous Data):可以在给定数值区间或范围内取任何数值的数据。它源于对物理量的测量。连续数值仅受限于测量工具的精准度。
例子:
• 运动员的身高:\(h = 178.45\text{ cm}\)。
• 跑 \(100\text{ 米}\) 所需的时间:\(t = 11.82\text{ 秒}\)。
• 一个苹果的质量:\(m = 142.6\text{ 克}\)。
快速记忆法:如果是数出来的,通常是离散数据。如果是用尺、磅秤或秒表量度出来的,则是连续数据。
核心要点:确保你在考试题目中能够即时判断一个变量是定性数据、定量离散数据,还是定量连续数据。
---3. 抽样技巧及其有效性
正确选取样本能确保我们的研究结果可以推广至更广泛的总体。IB 课程要求同学熟悉主要的抽样方法,包括它们的优点与局限。
A. 简单随机抽样 (Simple Random Sampling)
方法:总体中的每个成员都会获分配一个独特的编号。然后利用随机数生成器或抽签方式,挑选出所需大小的样本。
• 优点:完全客观无偏差;每个个体被选中的机会均等;原理简单易懂。
• 局限:需要一份涵盖整个总体的最新且完整的名单(抽样框);若总体在地理分布上十分分散,此方法可能既不切实际又成本高昂。
B. 系统抽样(等距抽样,Systematic Sampling)
方法:将总体成员按顺序排列。从首 \(k\) 个项目中随机选择一个起点,然后每隔 \(k\) 个项目选取一个,其中 \(k = \frac{N}{n}\)(\(N\) 为总体大小,\(n\) 为所需样本大小)。
例子:要从一所拥有 \(1000\) 名学生的学校中选取 \(50\) 名学生,先计算 \(k = \frac{1000}{50} = 20\)。在 \(1\) 到 \(20\) 之间随机选一个数字(假设是 \(7\)),然后选取点名册上的第 \(7^{\text{th}}、27^{\text{th}}、47^{\text{th}}、67^{\text{th}}、\dots\) 名学生。
• 优点:快捷、简单,并且能将样本均匀分布在整个抽样框中。
• 局限:如果名单中存在隐含的周期性规律或循环,且刚好与 \(k\) 吻合,样本可能会产生严重偏差。
C. 分层抽样 (Stratified Sampling)
方法:根据共同特征(例如年龄、年级、性别),将总体划分为不同且互不重叠的子群体,称为层(strata)。然后按照各层在总体中所占的精确比例,从每一层中进行简单随机抽样。
从第 \(i\) 层中选取的项目数量计算如下:
\(\text{第 } i \text{ 层的样本数} = \frac{\text{第 } i \text{ 层的大小}}{\text{总体总大小 } N} \times \text{所需样本总大小 } n\)
范例:某校有 \(200\) 名十年级学生、\(180\) 名十一年级学生及 \(120\) 名十二年级学生(总数 \(N = 500\))。你希望抽取 \(n = 50\) 名学生的分层样本。
• 十年级:\(\frac{200}{500} \times 50 = 20\) 名学生
• 十一年级:\(\frac{180}{500} \times 50 = 18\) 名学生
• 十二年级:\(\frac{120}{500} \times 50 = 12\) 名学生
核对:\(20 + 18 + 12 = 50\)。在每个年级内部,均使用随机数生成器来选取学生。
• 优点:保证重要群体获得按比例的代表性;代表性极高;能减少层与层之间的抽样误差。
• 局限:需要预先掌握各层的特征及总体数据;筹备过程可能相当耗时。
D. 定额抽样 (Quota Sampling)
方法:与分层抽样类似,先根据特征将总体分组。然而,研究人员并非在每组内进行随机选取,而是接触任何符合条件的现有对象,直至填满每个类别的目标配额为止。
例子:一名商场访问员被指示访问 \(30\) 名 25 岁以下的女性、\(30\) 名 25 至 50 岁的女性,以及 \(30\) 名 50 岁以上的女性。访问员在商场接触路人,直至达到各个配额为止。
• 优点:快速、具成本效益,且不需要总体的完整名单。
• 局限:非随机抽样;对象选取完全取决于访问员的主观决定,容易引入研究者偏差;无法估算抽样误差。
E. 便利抽样 (Convenience / Opportunity Sampling)
方法:选取在数据收集时最容易接触到或现成可得的个体。
例子:在学校食堂询问身边关系最好的五位朋友,了解他们最喜欢什么体育队伍。
• 优点:极其容易、迅速且成本极低。
• 局限:极易产生偏差;极不可能代表广大总体;结果无法可靠地推广至整体。
核心要点:随机方法(简单随机、系统、分层抽样)能消除研究人员的主观选择偏差;非随机方法(定额、便利抽样)虽然较为简易廉价,但偏差风险极高。
---4. 来源可靠性与抽样偏差
样本的质量完全取决于收集数据的过程。当一种抽样方法持续过度代表或低估总体的某些部分时,便会产生偏差(Bias)。
A. 常见的偏差来源
1. 选择偏差(抽样偏差,Selection Bias):当抽样框排除了总体中的某些群体时出现。例如,进行一项有关互联网使用的在线问卷调查,自然会把无法上网的人士排除在外。
2. 自愿回应偏差(自选偏差,Voluntary Response Bias):当参与者自行决定是否参与时出现(例如社交媒体上的公开投票或非强制的意见反馈表)。持强烈意见(通常是负面意见)的人远比持中立态度的人更有可能作出回应。
3. 无回应偏差(Non-Response Bias):当大量被选中的参与者没有交回问卷或拒绝回答时出现。如果选择不回应的人与回应的人之间存在系统性差异,样本便会失去代表性。
4. 回应偏差 / 提问措辞偏差(Response / Question Wording Bias):当问题的字眼引导了某个特定答案,或者受访者因社会观感压力而未能如实作答时出现。
具引导性的问题:“鉴于塑料瓶对环境造成的严重破坏,你是否赞同我们应该全面禁用塑料瓶?”
中立的问题:“你在多大程度上支持或反对禁用一次性塑料瓶?”
B. 数据来源的可靠性
在使用二手数据(他人收集的数据)时,具批判思考的统计学者必须评估:
• 权威性与公信力:数据是由具信誉的中立机构(如国家统计局或学术研究机构)收集,还是由带有特定立场的利益团体收集?
• 时效性:数据是否最新?抑或自数据收集以来,总体已经发生了显著变化?
• 研究方法:原始研究是否有公开其样本大小、抽样方法及回应率?
核心要点:偏差绝不能单靠增加样本量来解决。就算访问 \(100\,000\) 个带有偏差的受访者,得出的依然是充满偏差的结果!
---5. 异常值(离群值,Outliers)
什么是异常值?异常值是指在数据集中,与其他数值距离异常遥远的观测数据点。
A. 为什么会出现异常值?
• 测量或记录错误:输入数据时的人为错误(例如把学生的身高误打为 \(1850\text{ cm}\) 而非 \(185\text{ cm}\))或仪器故障。
• 真实的极端变异:总体内部的自然多样性(例如高中学生身高样本中包含了一名职业篮球运动员)。
B. 应该如何处理异常值?
• 若已证实异常值纯属记录错误,或该数据根本不属于目标总体,则可加以修正或剔除。
• 若异常值代表的是真实且有效的测量结果,就绝不能仅因为它让数据看起来杂乱而随意删除。相反,应该注明其存在,并考虑采用非参数统计或稳健统计量(如中位数和四分位距)。
提示:利用四分位数识别异常值的正式数学规则(\(Q_1 - 1.5 \times \text{IQR}\) 与 \(Q_3 + 1.5 \times \text{IQR}\))将在呈现数据:统计表、直方图与箱形图中详细探讨。
核心要点:切勿在没有合理解释的情况下删除异常数据。务必先调查其来源!
---6. 设计有效的数据收集方案(AHL 重点)
对于 Higher Level (HL) 的同学(这对撰写数学探索 Internal Assessment 同样至关重要),你必须具备评估问卷、调查及实验设计的能力。
A. 问卷设计原则
• 相关变量:确保每道问题收集的数据都能直接回答研究问题。避免收集无关的个人资料。
• 清晰明确的语言:避免双重问题(例如:“你喜欢数学和科学吗?”)。应将其拆分为两道独立的问题。
• 保持中立:确保问题不带有情绪化形容词或引导性措辞。
• 合适的选项设定:对于多项选择题,确保选项互斥(互不重叠)且完备(涵盖所有可能性,通常可加入“其他”选项)。
B. 信度与效度 (Reliability vs. Validity)
这两个概念是评估数据收集工具时的核心基石:
• 信度(可靠性,Reliability):指测量的一致性与可重复性。如果你在相同条件下重复进行调查或测试,是否能得到相同的结果?
检验信度的方法:重测信度(在两个不同时间对同一组人进行相同的测试)或内部一致性。
• 效度(有效性,Validity):指测量的准确度,以及工具是否真正测量了它声称要测量的内容。例如,用一份包含艰深英文词汇的试卷来测试学生的数学能力,最终测出的可能是阅读理解能力而非数学水平。
检验效度的方法:表面效度(乍看之下测试是否合适?)及内容效度(测试是否完整涵盖了所评估的课程范围?)。
飞镖靶比喻:
• 飞镖紧密聚集在一起,但远离靶心 = 具有信度,但无效度(表现一致,但存在系统性偏差)。
• 飞镖杂乱无章散落在整个靶上 = 既无信度,亦无效度。
• 飞镖紧密聚集在靶心之内 = 兼具信度与效度。
核心要点:一项测量工具可以高度可靠但无效,但它必须先具备信度,才有可能具备效度。
---7. 常见陷阱与考试提示
1. 混淆分层抽样与定额抽样:两者都会先将总体分组,但分层抽样在每组内采用随机选取(需要完整的成员名单),而定额抽样则依赖研究人员接触任何现成对象,直至额满为止。
2. 误判带有小数或分数的离散变量:鞋子尺码或像 \(\$1.50, \$2.25\) 这类金额数值属于离散数据而非连续数据,因为它们是以固定步长跳跃变化的,不存在中间值。
3. 关于偏差的考试答案过于空泛:若题目要求“指出此抽样方法的一项局限 (Suggest a limitation of this sampling method)”,切勿只写“它可能有偏差 (It might be biased)”。你必须结合语境具体解释为什么:“在早上 08:00 于学校图书馆外受访的学生可能更勤奋且作息更规律,这会导致高学业成就学生的代表比例过高。”
4. 审视指令词 (Command Terms):
• State / Write down(写出/写下):直接给出答案,无需计算或列出步骤。
• Explain / Justify(解释/证明…合理):结合具体情境或数学定义,给出详尽的理由与论据。