2024年版【GCP資格の勉強 PDE編】Cloud Data Fusionの特徴と構成要素とは？

Cloud Data Fusionの特徴
Cloud Data Fusionの構成要素
【練習問題】Cloud Data Fusionの特徴と構成要素
まとめ

2024年版【GCP資格の勉強 PDE編】Cloud Data Fusionの特徴と構成要素とは？について解説します。
（★注意：GCP資格 Professional Data Engineer(PDE)試験の公式テキスト・問題集などを元に独自にまとめたものです）

Google Cloud Platform（GCP）のProfessional Data Engineer（PDE）試験では、Cloud Data Fusionの知識が重要です。Cloud Data Fusionは、データパイプラインおよびワークフローの構築と管理を効率化するためのフルマネージド型のデータ統合サービスです。

以下に、Cloud Data Fusionの特徴と構成要素について説明します。

Cloud Data Fusionの特徴

Cloud Data Fusionは、Google Cloud Platform（GCP）のデータ統合ツールです。Cloud Data Fusionはデータパイプラインやワークフローを作って管理するのに役立ちます。特に、コーディングなしで直感的な操作が可能なのが特徴です。簡単に言うと、Cloud Data Fusionは、データを集めたり、整理したり、分析したりする作業を簡単にするためのツールです。

主な機能は以下の通りです。

データパイプラインの管理：データの流れを設計して管理するためのツールです。GUI（グラフィカルユーザーインターフェース）を使って、データの収集や処理の流れを簡単に作成できます。
CDAPの利用：Cloud Data Fusionは、CDAPというオープンソースのプラットフォームを使っています。CDAPにより、Google Cloud上でさまざまなデータ処理作業を実行できます。
バッチおよびストリーミング処理：データを一定期間ごとに処理するバッチ処理と、リアルタイムでデータを処理するストリーミング処理の両方に対応しています。

Cloud Data Fusionの構成要素

Cloud Data Fusionの構成要素は、以下のようになっています。

Dataprocとの連携：Cloud Data Fusionは、データの処理にDataprocを利用します。Dataprocにより、大規模なデータ処理が可能になります。
パイプライン構築：データの収集、変換、保存などを行うパイプラインを作成できます。
ノードとDAG：パイプライン内のタスクをノードで定義し、各ノード間の関係をDAG（有向非巡回グラフ）で表現します。