2024年版【GCP資格の勉強 PDE編】ETLとDataprepとは？

2024年版【GCP資格の勉強 PDE編】ETLとDataprepについて解説します。

（★注意：GCP資格 Professional Data Engineer(PDE)試験の公式テキスト・問題集などを元に独自にまとめたものです）

ETLとDataprepの基本

ETLとは何か：基本概念と定義
- ETLは「Extract（抽出）、Transform（変換）、Load（読み込み）」の略で、データを一つの形式や場所から別の形式や場所へ効率的に移動させるプロセスを指します。企業はETLを使用して、異なるソースからデータを集め、統一された形式でデータベースやデータウェアハウスに保存します。
Dataprepの役割と特徴
- Dataprepは、データの準備やクレンジング（掃除）を自動化するツールです。ユーザーはコーディングせずに、データを簡単に加工・整理できます。Dataprepを利用することで、データ分析の品質と効率が向上します。
ETLとDataprepの違いと相互関係
- ETLはデータを移動させる一連のプロセスですが、Dataprepはデータの準備に特化しています。ETLはデータを変換してから保存するのに対し、Dataprepはデータのクレンジングや加工に重点を置いています。両者は相補的に機能し、データ処理の流れをスムーズにします。

BigQuery：データ分析の中心
- Google CloudのBigQueryは、大規模データセットの分析に最適なサーバーレスデータウェアハウスです。高速で柔軟な分析を可能にし、ETLプロセスの重要な出力先となります。
Cloud Dataprep：データ準備と掃除
- Cloud DataprepはGoogle Cloud上で動作するデータ準備サービスです。データの掃除、加工、整理をユーザーフレンドリーなインターフェースで行えます。
Dataflow：高度なデータ処理
- Google CloudのDataflowは、大規模データ処理のためのフルマネージドサービスです。ETLプロセスの複雑な変換や処理を効率的に実行できます。

ETLプロセスの設計に関するPDE試験ポイント
- PDE試験では、ETLプロセスの設計と実装に関する知識が問われます。データの抽出、変換、読み込みの各ステップで考慮すべきベストプラクティスや、パフォーマンスとコスト効率のバランスが重要です。
Dataprepの活用に関するPDE試験対策
- Dataprepのセクションでは、データの準備、クレンジング、加工の自動化に関する知識が求められます。ユーザーが直感的に操作できるインターフェースを通じて、どのようにデータを効率的に処理できるかがポイントとなります。