2024年版【GCP資格の勉強 PDE編】ComposerとData Fusionの使い分けとは？

Cloud Composerの特徴
Cloud Data Fusionの特徴
ComposerとData Fusionの使い分け
【練習問題】ComposerとData Fusionの使い分け
まとめ

2024年版【GCP資格の勉強 PDE編】ComposerとData Fusionの使い分けとは？について解説します。
（★注意：GCP資格 Professional Data Engineer(PDE)試験の公式テキスト・問題集などを元に独自にまとめたものです）

Google Cloud Platform（GCP）のProfessional Data Engineer（PDE）試験におけるCloud ComposerとCloud Data Fusionの使い分けについて、以下に主な違いと適用シナリオを説明します。

Google Cloud PlatformのProfessional Data Engineer試験で学ぶべきCloud ComposerとCloud Data Fusionの使い分けについて、説明します。

Cloud Composerの特徴

プログラムによるワークフロー制御：複雑なデータ処理の流れをプログラムで管理します。
ジョブの依存関係の整理：ジョブ間の関係や順序を「DAG」という図で整理して管理します。
対象ユーザー：プログラミングが得意なデータエンジニアや開発者が主に使います。
ETL/ELT処理：直接のデータ変換処理は行いませんが、データ処理タスクをスケジュールすることができます。

Cloud Data Fusionの特徴

GUIによるデータ統合：プログラミングなしで、画面上の操作でデータパイプラインを構築できます。
ジョブの独立性：作成したデータ処理の流れは独立しており、他のツールで管理することができます。
対象ユーザー：プログラミングスキルが限られているビジネスアナリストやデータサイエンティストに適しています。
ETL/ELT処理：データの結合や変換を直感的に行えます。

ComposerとData Fusionの使い分け

Cloud Composerは、プログラミングに精通したユーザーが複雑なデータワークフローを管理するのに適しています。
Cloud Data Fusionは、直感的な操作でデータパイプラインを構築したいユーザーに適しています。

Google CloudのPDE試験では、ComposerとData Fusionの機能と使い方について理解しておく必要があります。

【練習問題】ComposerとData Fusionの使い分け

練習問題1

問題: Cloud ComposerとCloud Data Fusionの主な違いとして適切なものは何ですか？

A. Cloud ComposerはGUIベース、Cloud Data Fusionはプログラミングベース
B. Cloud Data FusionはGUIベース、Cloud Composerはプログラミングベース
C. 両方とも完全にプログラミングベース
D. 両方とも完全にGUIベース

解答: B. Cloud Data FusionはGUIベース、Cloud Composerはプログラミングベース

解説: Cloud Composerは、プログラミングに基づいたApache Airflowを使用したワークフロー管理を提供し、複雑なデータワークフローやスケジューリングを制御します。一方で、Cloud Data FusionはGUIによる直感的なデータ統合ツールで、コーディングなしでデータパイプラインを構築できます。