データの収集と整理
こんにちは！「データの活用」というセクションへようこそ。この章では、私たちが何かを分析しようと思ったときに、まず最初に行う「データの収集」と「データの整理」について学んでいきます。
「データ分析」と聞くと、難しい計算をイメージするかもしれませんが、実は一番大切なのは「きれいなデータを集めること」なんです。料理と同じで、素材（データ）が良くなければ、どんなに素晴らしいシェフ（分析手法）でも美味しい料理（正確な結果）は作れません。最初は難しく感じるかもしれませんが、一つずつ見ていけば大丈夫ですよ！
1. データを収集する
分析を始めるには、まず目的（何を知りたいか）に合わせてデータを集める必要があります。集め方には大きく分けて2つの種類があります。
(1) 一次データと二次データ
一次データ： 自分が知りたいことのために、自分で新しく集めたデータです。アンケート調査や実験、観察などがこれにあたります。目的にピッタリなデータが手に入りますが、時間と手間がかかります。
二次データ： すでに誰かが集めて公開しているデータです。政府が発表している統計（e-Statなど）や、企業の報告書、Webサイトで公開されているデータなどが含まれます。
(2) オープンデータの活用
最近では「オープンデータ」という言葉をよく耳にします。これは、国や地方公共団体、企業などが、誰でも自由に利用・再配布できるように公開しているデータのことです。これらをうまく活用することで、効率的に分析を始めることができます。
ポイント： データを集めるときは、「そのデータは最新か？」「信頼できる情報源か？」を必ず確認しましょう！
豆知識： 日本の政府が公開している統計データポータルサイト「e-Stat」では、人口や物価など、膨大なデータが無料で公開されています。宝探しみたいで面白いですよ！
2. データの整理（データクリーニング）
集めたばかりのデータは、実はそのままでは使えないことがほとんどです。表記がバラバラだったり、空欄があったりするからです。これを使える状態にすることを「データクリーニング（データクレンジング）」と呼びます。
(1) 表記の統一
例えば、同じ「10月1日」というデータでも、ある人は「10/1」、ある人は「10月1日」、ある人は「Oct 1st」と入力していたら、コンピュータは別々のものだと判断してしまいます。これをひとつの形式に揃える必要があります。
(2) 欠損値（けっそんち）の処理
データの中に空欄（入力漏れ）がある場合、それを「欠損値」と呼びます。欠損値があるまま計算すると、平均値などが正しく計算されないことがあります。
・そのデータを削除する
・平均値などで穴埋めをする
といった対応を考えます。
(3) 外れ値（はずれち）の確認
他のデータと比べて極端に大きかったり小さかったりする値のことです。入力ミス（100と打つところを10000と打ったなど）の場合もあれば、本当に珍しいケースである場合もあります。これらをどう扱うかを決めるのも整理の重要なステップです。
よくある間違い： 「外れ値は邪魔だから全部消してしまえ！」と考えるのは危険です。その外れ値こそが、新しい発見のヒントになることもあるからです。消す前に「なぜこの値になったのか？」を考える癖をつけましょう。
3. 分析の目的に応じた整理の視点
データを整理する際、共通テストでは「何を比較したいのか」という目的意識が問われます。シチュエーションに応じて、以下の4つのキーワードを意識してみましょう。
1. 比較： 2つのグループ（例：A組とB組のテスト結果）に違いがあるか？
2. 関連： 2つの事柄（例：気温とアイスの売上）に関係があるか？
3. 変化： 時間とともに（例：1ヶ月の体重の変化）どう変わったか？
4. 分類： 特徴ごとに（例：購入金額で顧客を分ける）グループ化できるか？
ポイント： 目的が「変化」を見ることなら、日付順にデータを並べ替える（ソートする）といった整理が必要になりますね。目的に合わせて整理の方法を選びましょう！
まとめ：ここだけは押さえよう！
・データ収集には、自分で行う調査（一次データ）と、公開されたデータ（二次データ・オープンデータ）がある。
・集めたデータは、そのまま使わずデータクリーニング（表記の統一、欠損値の処理など）を行う必要がある。
・データの整理は、「比較・関連・変化・分類」といった分析の目的に合わせて行うことが大切。
最初はデータの不備を見つけるのが大変かもしれませんが、慣れてくると「あ、ここが間違っているな」とパズルのように見つけるのが楽しくなります。次は、整理したデータを実際に分析する手法（平均や分散など）について学んでいきましょう！