Data processing and information

欢迎来到 AS Level IT：数据处理与信息！

你好！本章“数据处理与信息”是我们 IT 学习的基石。你可以把它想象成学习如何将原材料变成一顿美味佳肴的过程。我们将探讨原始事实如何转化为有用的知识，我们如何确保这些知识的安全，以及计算机每天处理海量数据的不同方式。

如果有些术语看起来比较陌生，请不必担心——我们会将加密（encryption）和校验（validation）等复杂概念拆解成简单的步骤。让我们开始吧！

1.1 理解数据与信息

数据与信息有何区别？

这是考试中的经典考题，所以请务必仔细区分！

• 数据 (Data)： 指原始的、未经组织的各种事实、数字或符号。它们本身没有任何固有的含义或语境。
  示例：25.04.2024, 45, USD, A123。


• 信息 (Information)： 指经过处理、组织并赋予了语境的数据，这使其变得有用且具有意义。
  示例：在 25.04.2024，产品代码为 A123 的商品共售出 45 件，每件售价为 USD 200。

重点摘要： 数据通过语境 (context) 和含义 (meaning) 转化为信息。

数据的来源与用途

我们主要通过两种方式收集数据：直接收集（我们自己收集）或间接收集（使用他人收集的数据）。

直接数据（第一手来源）

这是专门为当前目的而收集的数据。它通常更准确、更有针对性，但获取过程往往更耗时且成本更高。

• 来源：
  • 问卷与调查（直接询问客户）。
  • 访谈（与专家或用户交流）。
  • 数据记录 (Data Logging)（传感器自动记录温度、压力等）。
  • 观察（观察并记录行为）。
• 适用场景： 当你需要高度相关、即时更新且完全定制化以符合你特定研究需求的数据时，这是理想选择。

间接数据（第二手来源）

这是已经存在的数据，通常是为了其他目的而收集的，但对你也有用。它的获取通常更快、成本更低，但可能已经过时或相关性较弱。

• 来源：
  • 气象数据（来自气象局）。
  • 人口普查数据或选民登记名册。
  • 教科书、期刊和网站上的研究成果。
  • 企业收集并出售给第三方的个人信息（例如：营销名单）。
• 适用场景： 非常适合大规模分析、历史比较，或者在预算和时间有限的情况下使用。

1.2 信息质量

即使数据经过了处理，如果它不是高质量的，它也没有用处。以下因素会影响所得信息的可靠性：

• 准确性 (Accuracy)： 数据是否正确且无错误？不准确的数据会导致错误的决策。
• 相关性 (Relevance)： 信息是否确实与所涉及的任务或问题有关？
• 时效性 (Age/Timeliness)： 信息是否最新？过时的信息可能毫无意义（例如：昨天的股价）。
• 详细程度 (Level of Detail)： 细节是否足以满足目的？（细节太少意味着缺乏语境；细节太多则会让用户感到应接不暇）。
• 完整性 (Completeness)： 是否包含了所有必要的数据？缺失字段或空白会降低可靠性。

类比：如果你在计算月度销售额，对于 CEO 来说，知道总数（低细节）可能就足够了；但销售经理需要按产品和地区细分的销售明细（高细节）。

1.3 加密：保护数据安全

加密的需求至关重要，因为数据经常在网络上传输或存储在可访问的位置。加密确保了即使未经授权的人获取了数据，数据也保持不可读状态。

加密 (Encryption) 是将信息或数据转换为代码（密文）的过程，以防止未经授权的访问。

加密方法

加密依赖于数学过程（算法）和一个密钥 (key)（一个秘密数值）来混淆和还原数据。

1. 对称加密 (Symmetric Encryption，仅含私钥)：
   

   加密和解密使用相同的密钥。它速度快，但难点在于如何安全地将私钥分享给接收者。
   示例：用一把共享的钥匙锁上日记本。

2. 非对称加密 (Asymmetric Encryption，含私钥和公钥)：
   

   使用两个数学相关的密钥：公钥 (Public Key)（广泛公开）和私钥 (Private Key)（由所有者严格保密）。用公钥加密的数据只能用匹配的私钥解密（反之亦然）。这解决了安全密钥共享的问题。
   示例：寄送一个锁上的箱子（公钥），只有收件人持有主钥匙（私钥）才能打开。

加密协议

这些是用于管理安全通信的标准规则集，特别是在客户端-服务器通信（如浏览网站）中。

• TLS/SSL (传输层安全性协议 / 安全套接层)：
  • 目的： 用于保护网络通信，最常见于你浏览安全网站 (HTTPS) 时。
  • 运作方式： 确保你的 Web 浏览器（客户端）与网站服务器之间交换的数据是私密的且不可篡改。它首先使用非对称加密来安全地商定一个对称密钥，用于后续大部分数据的传输。
• IPsec (网际协议安全性协议)：
  • 目的： 用于保护 IP 通信的一套协议。通常用于建立虚拟专用网 (VPN)。
  • 运作方式： 它在网络层运行，保护数据包在互联网上传输时的安全，从而保护整个通信流程。

加密的用途

加密对于以下方面至关重要：

• 数据保护： 保护存储在硬盘上的文件（磁盘加密）。
• 系统加密： 保护大型系统（如银行或政府系统）内的登录凭据和通信通道。

1.4 校验数据准确性

在处理数据之前，我们必须确保其正确。我们主要使用两种方法：数据校验 (Validation) 和 数据验证 (Verification)。

数据校验 (Validation，确保数据“合理”)

数据校验用于检查输入的数据是否在可接受的范围内或是否符合定义的规则。它不能保证数据在事实上是正确的，只能保证数据适合系统使用。

• 校验检查的类型：
  • 存在性检查 (Presence Check)： 确保必填字段已填写（例如，客户必须输入姓名）。
  • 范围检查/限制检查 (Range/Limit Check)： 检查数据是否在指定的最小值和最大值范围内（例如，年龄必须在 18 到 99 岁之间）。
  • 类型检查 (Type Check)： 确保数据是正确的数据类型（例如，电话号码字段只能包含数字，不能包含字母）。
  • 长度检查 (Length Check)： 检查字符数（例如，产品代码必须正好为 6 个字符）。
  • 格式检查 (Format Check)： 检查数据是否符合特定模式或结构（例如，电子邮件地址必须包含“@”符号）。
  • 查表检查 (Lookup Check)： 将输入与存储在其他地方的可接受值列表进行比较（例如，根据数据库列表检查国家代码）。
  • 一致性检查 (Consistency Check)： 检查不同字段中的数据在逻辑上是否一致（例如，发货日期不能早于订单日期）。
  • 校验位 (Check Digit)： 通过其余代码计算出的额外一位数字，用于检测输入错误（常见于 ISBN 或条形码）。

数据验证 (Verification，确保数据“正确”)

数据验证用于检查输入系统的数据是否与原始源数据完全一致。

• 验证方法：
  • 人工核对 (Visual Checking)： 人工查看屏幕上的输入内容并与源文件进行比对。（速度慢，但对于捕捉明显错误很有效）。
  • 双重输入 (Double Data Entry)： 由两个不同的人或系统输入两次数据。系统随后比较两次输入，并标记出任何不一致之处。（对准确性非常有效，但工作量加倍）。
  • 奇偶校验/校验和/散列总数/控制总数 (Parity Check/Checksum/Hash Total/Control Total)： 这些是主要用于传输或批处理的技术检查，用于确保数据在传输过程中没有损坏或丢失。
  • 控制总数/散列总数 (Control/Hash Total)： 从数据中导出的非意义数字（例如，对所有客户 ID 数字求和）。处理后检查该总数以确保所有记录都已包含在内。

1.5 数据处理方法

一旦拥有了高质量的数据，我们就需要对其进行处理。选择哪种方法完全取决于应用的需求，特别是对输出速度的要求，以及输入是否会影响处理过程本身。

1. 批处理 (Batch Processing)

数据在一段时间内收集，并在预定时间（通常是计算机使用率较低时，例如夜间）以小组（“批次”）形式集中处理。

• 特点：
  • 不需要即时交互。
  • 非常适合需要大量处理能力的大规模数据。
• 用途：
  • 计算公用事业账单（电费、水费）。
  • 更新信用卡和借记卡账户（交易会被汇集成批次，并在每晚处理）。
  • 薪资发放和客户账户更新。
• 顺序主文件更新流程：
  1. 数据被收集到事务文件 (Transaction File)（所有新的变更）中。
  2. 主文件 (Master File)（主要记录）和事务文件按相同顺序排序（通常按主键）。
  3. 系统顺序读取两个文件，比较记录。
  4. 主文件根据事务文件记录进行更新，创建一个新的、更新后的主文件。

2. 在线处理 (Online Processing)

数据在输入时即刻进行处理，通常涉及与用户或系统的直接交互，但该操作不一定会实时影响物理环境。

• 特点：
  • 要求即时反馈或交易完成。
  • 涉及用户的实时输入。
• 用途及涉及步骤：
  • 电子资金转账 (EFT)： 当你使用借记卡时，交易会立即处理以检查余额并更新你的银行账户。
  • 在线购物： 下订单会立即更新库存水平。
  • 自动库存控制： 系统在商品售出时更新库存。
  • 电子数据交换 (EDI)： 企业间文件的自动传输（如发票或订单）。
  • 企业对企业 (B2B) 的买卖。

3. 实时处理 (Real-Time Processing，关键联系：输出影响输入)

这是一种特殊的在线处理，其处理输出直接影响或控制下一个输入。响应时间是瞬时的，因为延迟可能导致严重后果。

• 特点：
  • 通常由微处理器或专门的计算机系统控制。
  • 连续反馈循环：感知（输入）-> 处理 -> 执行（输出）-> 感知...
• 用途（微处理器控制系统）：
  • 温室/中央供暖/空调： 传感器测量温度（输入）；如果太冷，系统启动加热器（输出）。
  • 防盗警报： 运动传感器（输入）触发警报器（输出）。
  • 交通/行人流控制： 红绿灯根据传感器检测到的车辆存在情况进行调整。
  • 停车场道闸： 传感器检测到票据，促使道闸执行器升起或保持关闭。
• 无线传感器和执行器网络 (WSANs)： 这是一组感测条件并随后进行无线操作的设备。
  • 智能家居： 根据环境条件控制照明或安防。
  • 自动驾驶车辆（汽车、无人机、船只）： 持续感知环境（距离、速度、障碍物）并立即调整转向、速度或高度（输出）。
  • 导航系统（太空火箭）： 感知当前位置并立即进行轨道校正。

第一章：最终总结

我们已经确立了数据（原始事实）与信息（经处理、语境化的数据）之间至关重要的关系。我们了解到数据必须具备高质量（准确、相关、及时），并通过加密（如 TLS/SSL 等对称和非对称协议）进行保护。最后，我们了解了如何通过数据校验（检查合理性）和数据验证（检查与来源的一致性）来维护数据完整性，并探索了批处理、在线处理和实时处理的应用场景。