ยินดีต้อนรับสู่การสำรวจข้อมูล: "รูปร่างหน้าตา" ของข้อมูลคุณ
สวัสดีครับ! ก่อนที่เราจะกระโจนเข้าสู่โมเดลที่ซับซ้อนและอัลกอริทึมสุดล้ำ เราต้องเริ่มจากสิ่งที่สำคัญที่สุดก่อน นั่นก็คือ ข้อมูล (Data) ครับ ลองจินตนาการว่าข้อมูลเปรียบเสมือนวัสดุก่อสร้างบ้าน คุณคงไม่ใช้เครื่องมือเดียวกันในการจัดการกับไม้และอิฐใช่ไหมล่ะ? เช่นเดียวกัน ในการสอบ Exam PA คุณจำเป็นต้องแยกประเภทของข้อมูลให้ออก เพื่อที่จะเลือกใช้ "เครื่องมือ" (วิธีการทางสถิติ) ได้อย่างถูกต้องครับ
ในบทนี้ เราจะมาดูกันว่าข้อมูลแบบ มีโครงสร้าง (Structured) และ ไม่มีโครงสร้าง (Unstructured) คืออะไร ไม่ต้องกังวลหากคำพวกนี้ฟังดูเป็นวิชาการเกินไป เพราะเมื่อจบบทนี้ คุณจะสามารถแยกแยะความแตกต่างได้อย่างแม่นยำแน่นอนครับ!
1. ข้อมูลที่มีโครงสร้าง (Structured Data): ตารางที่เรียบร้อยและเป็นระเบียบ
ข้อมูลที่มีโครงสร้าง คือหัวใจสำคัญของการทำงานด้านคณิตศาสตร์ประกันภัยครับ หากคุณจินตนาการภาพข้อมูลที่วางตัวอยู่บนตาราง Excel ได้อย่างสมบูรณ์แบบ มีแถวและคอลัมน์ระบุชัดเจน นั่นแหละครับคือข้อมูลที่มีโครงสร้าง
อะไรทำให้มันเป็นข้อมูลที่มีโครงสร้าง?
1. มันมี รูปแบบที่กำหนดไว้ล่วงหน้า (Schema)
2. แต่ละคอลัมน์แทน ตัวแปร (Variable) เฉพาะอย่าง (เช่น อายุ, เบี้ยประกัน, หรือเพศ)
3. แต่ละแถวแทน ข้อมูลรายบุคคล (Observation) หนึ่งหน่วย (เช่น ผู้ถือกรมธรรม์รายหนึ่ง หรือการเรียกร้องค่าสินไหมหนึ่งครั้ง)
ตัวอย่างในโลกความเป็นจริง:
ลองนึกถึงรายการกรมธรรม์ประกันภัยรถยนต์ ทุกรายการจะมี "เลขที่กรมธรรม์", "วันที่เริ่มคุ้มครอง", และ "ยี่ห้อรถยนต์" ข้อมูลเหล่านี้มีความแน่นอนและคอมพิวเตอร์สามารถสืบค้นได้ง่ายมากครับ
คำเปรียบเทียบ:
ลองนึกภาพข้อมูลที่มีโครงสร้างเหมือน ถาดหลุมทำมัฟฟิน คุณจะรู้เป๊ะเลยว่ามัฟฟินแต่ละชิ้นต้องวางตรงไหน และมัฟฟินทุกชิ้นก็จะมีขนาดและรูปร่างใกล้เคียงกัน เพราะมีหลุมเตรียมไว้ให้พวกมันลงไปอยู่นั่นเองครับ
ทบทวนสั้นๆ: คุณสมบัติหลักของข้อมูลที่มีโครงสร้าง
• จัดเก็บง่ายใน Relational Databases (SQL)
• เป็นข้อมูลเชิงปริมาณ (มักเป็นตัวเลข หรือหมวดหมู่ที่ระบุชัดเจน)
• ต้องผ่านการ "ทำความสะอาด" (Cleaning) น้อยกว่าข้อมูลที่ไม่มีโครงสร้างก่อนนำไปใช้ในโมเดล
2. ข้อมูลที่ไม่มีโครงสร้าง (Unstructured Data): "แดนเถื่อน" แห่งข้อมูล
ข้อมูลที่ไม่มีโครงสร้าง คือข้อมูลที่เหลือทั้งหมดครับ มันไม่มีโมเดลที่กำหนดไว้ล่วงหน้าหรือตารางที่เรียบร้อยรองรับ ส่วนใหญ่มักจะเป็น "ก้อน" ข้อมูลที่เป็นข้อความ (Text), รูปภาพ หรือเสียง
ในบริบทของ Exam PA คุณอาจเจอข้อมูลประเภทนี้ในรูปแบบของ บันทึกการเคลม (Claim notes) ที่เขียนโดยเจ้าหน้าที่พิจารณาสินไหม หรือ อีเมลจากลูกค้า เนื่องจากมันไม่มีคอลัมน์หรือแถว คอมพิวเตอร์จึง "อ่าน" มันไม่ได้ง่ายเหมือนตารางข้อมูลทั่วไป เราจึงมักต้องใช้เทคนิคพิเศษ (เช่น Text Mining) เพื่อแปลงข้อมูลเหล่านี้ให้กลายเป็นตัวเลขก่อนจะนำไปสร้างโมเดลครับ
ตัวอย่างในโลกความเป็นจริง:
บันทึกที่แพทย์เขียนด้วยลายมือในแฟ้มประวัติผู้ป่วย แพทย์คนหนึ่งอาจเขียนว่า "ผู้ป่วยมีอาการไอ" ในขณะที่อีกคนอาจเขียนว่า "ตรวจพบอาการหายใจลำบาก" ซึ่งไม่มี "คอลัมน์" ตายตัวสำหรับบันทึกนี้ มันเป็นเพียงข้อความดิบๆ เท่านั้นครับ
คำเปรียบเทียบ:
ลองนึกถึงข้อมูลที่ไม่มีโครงสร้างเหมือน ตะกร้าผ้า ที่รวมเสื้อผ้าหลายชนิดปนกันอยู่ คุณมีทั้งเสื้อ, ถุงเท้า, และหมวกพันกันมั่วไปหมด เพื่อที่จะจัดการกับมัน คุณต้องคัดแยกพวกมันออกมาก่อนครับ!
คุณรู้หรือไม่?
มีการประเมินว่ากว่า 80% ของข้อมูลทั้งหมด ที่ถูกสร้างขึ้นในปัจจุบันเป็นข้อมูลที่ไม่มีโครงสร้าง! แม้ว่านักคณิตศาสตร์ประกันภัยจะคุ้นเคยกับการใช้ข้อมูลที่มีโครงสร้างมาโดยตลอด แต่การปฏิวัติของ "Big Data" ก็ทำให้ข้อมูลที่ไม่มีโครงสร้างมีความสำคัญมากขึ้นในการพยากรณ์สิ่งต่างๆ เช่น การฉ้อโกงหรือทัศนคติของลูกค้าครับ
3. พื้นที่ตรงกลาง: ข้อมูลกึ่งโครงสร้าง (Semi-Structured Data)
บางครั้งข้อมูลก็เป็นลูกผสมระหว่างสองแบบแรก เราเรียกสิ่งนี้ว่า ข้อมูลกึ่งโครงสร้าง มันไม่ได้อยู่ในตารางที่เรียบร้อย แต่มันมี แท็ก (Tags) หรือ เครื่องหมาย (Markers) ที่ช่วยแยกองค์ประกอบต่างๆ ออกจากกัน รูปแบบที่พบบ่อยคือไฟล์ JSON หรือ XML (ซึ่งคุณอาจเห็นเวลาดึงข้อมูลมาจากเว็บไซต์ครับ)
ตัวช่วยจำ:
• Structured = กำแพงอิฐ (เรียงตัวเป๊ะทุกก้อน)
• Semi-Structured = ชุดตัวต่อ LEGO (ชิ้นส่วนอาจต่างกัน แต่มี "ปุ่มล็อก" ให้ประกอบเข้าด้วยกันได้)
• Unstructured = กองดินเหนียว (ไม่มีรูปร่างจนกว่าคุณจะปั้นมัน)
4. เจาะลึก: ประเภทของตัวแปร (Types of Variables)
เมื่อเราได้ ข้อมูลที่มีโครงสร้าง มาแล้ว เราจำเป็นต้องจัดหมวดหมู่ตัวแปร (คอลัมน์ต่างๆ) ให้เป็น ซึ่งเรื่องนี้เป็นหัวข้อที่ออกสอบ บ่อยมาก ใน Exam PA ครับ!
A. ตัวแปรเชิงปริมาณ (Numerical Variables)
หมายถึงสิ่งที่วัดค่าได้ คุณสามารถคำนวณทางคณิตศาสตร์กับมันได้! เราแบ่งออกเป็นสองประเภท:
1. ต่อเนื่อง (Continuous): สามารถมีค่าใดก็ได้ในช่วงหนึ่ง (เช่น \( X = 152.45 \)) ตัวอย่าง: ส่วนสูง, เบี้ยประกัน, จำนวนเงินค่าสินไหม
2. ไม่ต่อเนื่อง (Discrete): เป็นค่าที่นับได้ มักจะเป็นจำนวนเต็ม ตัวอย่าง: จำนวนรถในครัวเรือน, จำนวนครั้งในการเคลมต่อปี
B. ตัวแปรเชิงคุณภาพ (Categorical Variables)
หมายถึงกลุ่มหรือป้ายกำกับ คุณไม่สามารถคำนวณ "ค่าเฉลี่ย" ของมันในรูปแบบปกติได้
1. Nominal: หมวดหมู่ที่ ไม่มีลำดับโดยธรรมชาติ ตัวอย่าง: สีของรถ (แดง, น้ำเงิน, เขียว) สีแดง "สูงกว่า" สีน้ำเงินไหม? ไม่เลย มันแค่เป็นคนละสีกันเท่านั้น
2. Ordinal: หมวดหมู่ที่มี ลำดับเชิงตรรกะที่ชัดเจน ตัวอย่าง: ระดับการศึกษา (มัธยม, ปริญญาตรี, ปริญญาโท, ปริญญาเอก) เรารู้ว่าปริญญาโท "สูงกว่า" มัธยม แต่เราไม่สามารถระบุได้เป๊ะๆ ว่าสูงกว่าเท่าไหร่โดยการลบเลขธรรมดา
ข้อผิดพลาดที่พบบ่อย:
กับดัก "ตัวเลข": อย่าเพิ่งเข้าใจผิดว่าตัวแปรไหนมีตัวเลขแปลว่ามันเป็น Numerical เสมอไป!
ตัวอย่าง: รหัสไปรษณีย์ (90210) เป็นตัวแปรประเภท Nominal การเอาเลขรหัสไปรษณีย์สองอันมาบวกกันไม่ได้มีความหมายอะไรเลย ตัวเลขนั้นเป็นเพียงแค่ป้ายกำกับสำหรับสถานที่เท่านั้นครับ!
ขั้นตอน: วิธีการระบุประเภทข้อมูลสำหรับ Exam PA
เมื่อคุณเจอชุดข้อมูลในข้อสอบ ให้ทำตามขั้นตอนเหล่านี้ครับ:
ขั้นตอนที่ 1: ดูรูปแบบ ข้อมูลอยู่ในตารางหรือไม่? (ถ้าใช่ แสดงว่าเป็น Structured)
ขั้นตอนที่ 2: ดูที่คอลัมน์นั้นๆ ว่าเป็นตัวเลขหรือคำ?
ขั้นตอนที่ 3: ถ้าเป็นตัวเลข ให้ถามตัวเองว่า: "ถ้าหา ค่าเฉลี่ย แล้วมันสมเหตุสมผลไหม?" (ถ้าใช่ แสดงว่าเป็น Numerical; ถ้าไม่ใช่ อาจเป็น Categorical/Nominal)
ขั้นตอนที่ 4: ถ้าเป็นคำ/หมวดหมู่ ให้ถามว่า: "มีลำดับหรือขั้นที่ชัดเจนไหม?" (ถ้าใช่ แสดงว่าเป็น Ordinal; ถ้าไม่ใช่ เป็น Nominal)
สรุปใจความสำคัญ
• Structured Data: จัดระเบียบในตาราง (แถว/คอลัมน์) พร้อมวิเคราะห์
• Unstructured Data: ไม่มีรูปแบบตายตัว (ข้อความ, รูปภาพ) ต้องผ่านการจัดการก่อน
• Numerical Variables: แบบต่อเนื่อง (ได้ทุกค่า) หรือแบบไม่ต่อเนื่อง (นับได้)
• Categorical Variables: แบบ Nominal (ไม่มีลำดับ) หรือแบบ Ordinal (มีลำดับ)
• จุดสำคัญ: การระบุประเภทข้อมูลคือขั้นตอนแรกของ Data Exploration เพราะมันจะเป็นตัวกำหนดว่าคุณต้องใช้กราฟแบบไหน (เช่น ใช้ Histogram สำหรับ Numerical แต่ใช้ Bar Chart สำหรับ Categorical)
ถ้ารู้สึกว่าเรื่องนี้พื้นฐานจัง ไม่ต้องกังวลไปนะครับ! การแม่นยำในนิยามเหล่านี้จะช่วยให้คุณเก็บคะแนนง่ายๆ ในข้อสอบตอนที่โจทย์เริ่มซับซ้อนขึ้นได้อย่างแน่นอน สู้ต่อไปครับ!