2024年版、GCP資格 PDE試験の「BigQueryでのCSVデータ取り込みのトラブルシューティング」に関する練習問題を勉強していきましょう。平易な問題文 → 実践的な問題文 → 問題の解き方・解説 → 用語説明の順番で効率的に学べます。
なお、GCP資格のPDE練習問題を一気に勉強したい方は、下記リンクでまとめて学習できます。
「2024年版【GCP資格 PDE試験の練習問題】なんと5時間で学べる！」
GCP PDE問題文
「会社でBigQueryを使用してCSVファイルを読み込んでいますが、読み込んだデータがソースファイルとサイズが一致していない問題が発生しています。この問題の原因は何でしょうか？」
難解な表現での再記述
（GCPのPDE試験問題のような難解な表現での出題文。内容は上記問題文と同じ）
「企業がBigQueryにCSVファイルを読み込んでいますが、ソースファイルとバイト単位での一致が見られません。BigQueryにインポートされたデータがなぜソースファイルと異なるのか、その最も可能性の高い原因は何でしょうか？」
問題の解説
- BigQueryにCSVデータを読み込む際、データはBigQueryの列型（Capacitor）に変換されます。このプロセス中に、CSVファイルのサイズが変更される可能性があります。
- CSVデータ読み込み時の注意点として、BOM文字の削除、gzip圧縮の使用などがあり、これらの要因もサイズの不一致に影響を与える可能性があります。
解決手順の説明
- CSVファイルのデータをBigQueryに読み込む際、ファイルの形式やエンコーディングを確認し、BigQueryのデフォルト設定に適合していることを確認します。
- ファイルに含まれるBOM文字や圧縮形式、ファイルサイズの制限など、読み込みの制限事項を考慮して、適切な読み込み設定を行います。
- もしデータサイズの不一致が続く場合は、データの形式や内容を詳細に確認し、BigQueryの読み込みオプションを最適化します。
各用語の説明
- BigQuery: Google Cloud上で動作するフルマネージドなデータウェアハウスサービス。
- CSV: コンマ区切りの値を含むテキストファイル形式で、データベースやスプレッドシートのデータを保存するために使用されます。
- Capacitor: BigQueryの内部ストレージ形式で、データの読み込みとクエリ実行の効率を最適化するために使用されます。
IT起業家
▼IT人材は2030年に国内で79万人, 全世界で「8,500万人」以上不足！
▼世界の平均年収はなんと「1,000万円」以上！
▼自宅 + パソコン + 無料翻訳ツールで「全世界が仕事場！」
AIエンジニア
