2024年版【GCP資格の勉強 PDE編】BigQueryへのデータ集約とは？

2024年版【GCP資格の勉強 PDE編】BigQueryへのデータ集約とは？について解説します。
（★注意：GCP資格 Professional Data Engineer(PDE)試験の公式テキスト・問題集などを元に独自にまとめたものです）

Google Cloud Platform（GCP）のProfessional Data Engineer（PDE）試験において、BigQueryに関する知識はとても重要です。

BigQueryは、GCPのフルマネージド型大規模データウェアハウスサービスであり、大規模データセットに対して高速にクエリを実行できます。

以下に、BigQueryの特徴とデータ集約に関する主なポイントを説明します。

高速なクエリ実行：BigQueryは、大規模なデータセットに対して高速にクエリを実行する能力を持っています。高速なクエリ実行は、Googleの強力なインフラと分散処理技術によって実現されます。
分析用関数の豊富さ：統計集計関数、ウィンドウ関数、及びその他多くの分析用関数が用意されており、複雑なデータ分析を容易に行うことができます。
ユーザー定義関数（UDF）：BigQueryではJavaScriptやSQLを使用してUDFを作成できます。UDFにより、標準的なSQL関数では不十分な場合でも、カスタムデータ変換や分析が可能です。

ローカルからのアップロード：小規模なデータセットは、Web UIやコマンドラインツールを使用して直接BigQueryにアップロードできます。
Cloud Storageからのロード：大規模なデータセットは、まずCloud Storageにアップロードし、そこからBigQueryに移行するのが一般的です。
外部データソースからの取込：BigQueryでは、外部データソース（例：Google Sheets、Drive、または他のGoogle Cloudサービス）から直接データを取り込むことが可能です。
ストリーミング挿入：リアルタイムデータの取り込みにはストリーミングAPIを使用します。ストリーミングAPIにより、データを即座にBigQueryに挿入し、分析できます。
BigQuery Data Transfer Service (DTS)：DTSは自動的にデータをBigQueryに移行するためのサービスです。例えば、Google Analyticsのデータを定期的にBigQueryに転送できます。
データパイプライン：Dataflow, Dataproc, および Data Fusion などのGCPサービスを使用して、データの前処理、変換、集約を行った後にBigQueryにロードします。