Big Data

歡迎來到大數據的世界！

在本章中，我們將探索現代計算領域中最令人興奮的課題之一：大數據 (Big Data)。你有沒有想過 Netflix 是如何推薦完美的影集，或者 Google 地圖是如何精確知道哪裡發生交通擠塞的呢？這一切都歸功於對海量資訊的處理。如果一開始覺得這些概念有點難以消化，請別擔心；我們會把它們拆解成簡單易懂的小知識點。

到底什麼是「大數據」？

在過去，我們大多能將數據儲存在標準試算表或單一電腦上的資料庫中。但現今世界產生的數據量龐大到足以「擊垮」我們慣用的工具。大數據是一個總稱，指那些規模過大，無法放入傳統容器（如單一伺服器或標準關聯式資料庫）中的數據。

大數據的三個 V

為了幫助我們判斷某事物是否屬於「大數據」，我們可以使用三個 V。你可以將它們視為數據已經超出一般電腦處理能力的「警示訊號」：

1. 數據量 (Volume)：這是指數據的絕對數量。我們談論的不是幾 GB，而是 TB、PB 甚至更多。它大到無法放在單一硬碟或伺服器中。
比喻：想像一下試圖把整個泳池的水裝進一個水瓶裡。這就是「數據量太大」的感覺！

2. 速度 (Velocity)：這是指數據產生並需要被處理的速度。大數據通常是串流數據 (streaming data)，以毫秒為單位送達。如果不迅速處理，這些數據就會失去價值。
例子：信用卡公司在核准付款前的千分之一秒內，必須分析你的交易以檢測是否有詐欺行為。

3. 多樣性 (Variety)：過去的數據是「結構化」的（像整齊的表格）。但大數據包含多種形式：結構化數據（試算表）、非結構化數據（電郵、社交媒體貼文）、文字以及多媒體（影片和影像）。
比喻：結構化資料庫就像一個書架整齊的圖書館；大數據的多樣性則像是一個房間，裡面堆滿了書籍、隨手貼的便條紙、照片和語音錄音。

快速複習：要記住 3 個 V，試著記住：Very Vibrant Vacations (**V**olume, **V**elocity, **V**ariety，即容量、速度、多樣性）。

核心重點：大數據的特點在於其龐大的體積、極高的傳輸速度以及繁雜多樣的格式。

巨大挑戰：為什麼處理大數據這麼難？

問題不僅在於數據量大，還在於其缺乏結構。大多數傳統資料庫（關聯式資料庫）使用列和行，但對於大數據來說，這有兩個主要缺點：

1. 分析困難：由於數據混亂且缺乏結構，從中尋找規律比在整齊的表格中困難得多。
2. 擴展性 (Scaling)：關聯式資料庫在單一機器上表現良好，但無法在多台機器間良好地擴展。要處理大數據，我們需要將工作分配到數百甚至數千台伺服器上。

你知道嗎？由於數據太複雜，我們經常使用機器學習 (Machine Learning) 技術來協助我們尋找人類無法察覺的規律！

解決方案：分散式處理

由於數據無法存放在單一伺服器上，我們必須將處理過程分散到多台機器。這意味著我們將巨大的任務分解成較小的工作，並將每個工作分配給不同的電腦。

為什麼函數式程式設計是關鍵？

當你有數千台電腦共同運作時，情況會變得混亂。如果一台電腦修改了另一台電腦正在使用的數據，整個系統就會崩潰！這就是為什麼函數式程式設計 (Functional Programming) 成為處理大數據的首選解決方案。它有三個特殊功能：

1. 不可變數據結構 (Immutable Data Structures)：在函數式程式設計中，數據一旦建立就不能被修改。如果你想「修改」它，你會建立一個新版本。這意味著電腦不需要擔心「誰修改了什麼」。
2. 無狀態 (Statelessness)：函數的結果僅取決於你輸入的參數，不依賴任何可能改變的「外部」資訊。
3. 高階函數 (Higher-order Functions)：這些函數可以將其他函數作為參數。這使得編寫可以同時發送到數百台不同機器上運行的代碼變得容易得多。

快速複習：函數式程式設計透過避免修改數據所帶來的「混亂」，讓編寫分散式系統的正確且高效的代碼變得更簡單。

核心重點：因為大數據對單一伺服器來說太大了，我們必須使用多台機器。函數式程式設計就像「膠水」，讓這些機器在不出錯的情況下協同工作。

我們如何建模大數據？

既然行和列不再適用，我們需要新的方式來呈現資訊。課程大綱提到了兩種主要方法：

1. 基於事實的模型 (Fact-Based Model)

我們不使用隨時間變化的巨大表格，而是儲存事實 (facts)。每個事實都捕捉單一的資訊片段。我們從不刪除或更新這些事實，只會增加新的。如果有人更換了電話號碼，我們不會刪除舊號碼，而是增加一條帶有新號碼和時間戳記的「新事實」。

2. 圖形綱要 (Graph Schemas)

這是展示數據之間連接方式的最佳方法。想像一個社交網絡，我們使用圖形綱要來繪製它：

• 節點 (Nodes)：「事物」（例如：人、城市、歌曲）。
• 邊 (Edges)：「關係」（例如：「是...的朋友」、「住在...」、「聽過...」）。
• 屬性 (Properties)：額外資訊（例如：該人的名字是「Alice」）。

比喻：圖形綱要就像一張城市地圖。房屋是節點，連接它們的道路就是邊。

避免常見錯誤：不要認為大數據總意味著「更好」。如果數據品質低劣或種類過於混亂，可能會導致錯誤的結論！

核心重點：基於事實的模型儲存每一個獨立事件，而圖形綱要則能幫助我們理解數據之間錯綜複雜的關係。

總結檢查清單

• 你能定義 3 個 V（容量、速度、多樣性）嗎？
• 你知道為什麼關聯式資料庫在大數據面前會顯得無力嗎？
• 你能解釋為什麼函數式程式設計（不可變性與無狀態）對分散式處理很有幫助嗎？
• 你能使用節點和邊來描述圖形綱要嗎？