2024年版、GCP資格 PDE試験の「Cloud Composerを用いた複雑なデータパイプラインの管理」に関する練習問題を勉強していきましょう。平易な問題文 → 実践的な問題文 → 問題の解き方・解説 → 用語説明の順番で効率的に学べます。
なお、GCP資格のPDE練習問題を一気に勉強したい方は、下記リンクでまとめて学習できます。
「2024年版【GCP資格 PDE試験の練習問題】なんと5時間で学べる！」
GCP PDE問題文
「私たちのチームは、Cloud Dataflowパイプラインの運用、オンプレミスサーバーからのデータアップロード、サードパーティデータプロバイダーからの情報取得など、3つの異なるデータ処理ジョブを管理しています。これらのプロセスを自動化し、必要に応じて手動で実行するための最適な方法を探しています。」
難解な表現での再記述
（GCPのPDE試験問題のような難解な表現での出題文。内容は上記問題文と同じ）
「あなたは、Cloud Dataflowパイプラインの実行、オンプレミス環境からのデータアップロード、外部データプロバイダーからの情報取得を含む、3つの異なるデータ処理ジョブの開発を行なっています。これらのジョブをスケジュールし、監視し、適宜手動でトリガーするための自動化プロセスを設計するためには、どのクラウドサービスを利用すべきでしょうか？」
問題の解説
- 複数のデータ処理ジョブを効率的に管理するためには、Cloud Composerが最適です。
- Cloud ComposerはApache Airflowをベースにしたマネージドワークフロー オーケストレーションサービスで、複数のジョブをスケジュールし、監視する機能を提供します。
- Cloud Composerを使用することで、異なるジョブ間の依存関係を管理し、スケジューリングや実行を柔軟に制御できます。
解決手順の説明
- Cloud ComposerでDirect Acyclic Graph (DAG)を作成します。このDAGは、複数のジョブの実行順序と依存関係を定義します。
- Cloud ComposerのDAGを使用して、各ジョブのスケジュールを設定し、必要に応じて監視します。
- Cloud Composerの管理下で、ジョブの実行状況を確認し、問題が発生した場合には手動で介入することができます。
各用語の説明
- Cloud Dataflow: 大規模なデータ処理ジョブを簡単に実行できるフルマネージドなサービス。
- Cloud Composer: Apache Airflowに基づくフルマネージドなワークフローオーケストレーションサービス。
- Direct Acyclic Graph (DAG): ジョブの実行順序と依存関係を定義するためのワークフロー設計図。
IT起業家
▼IT人材は2030年に国内で79万人, 全世界で「8,500万人」以上不足！
▼世界の平均年収はなんと「1,000万円」以上！
▼自宅 + パソコン + 無料翻訳ツールで「全世界が仕事場！」
AIエンジニア
