2024年版、GCP資格 PDE試験の「Cloud DataprocでのSparkジョブ自動化の最適なアプローチ」に関する練習問題を勉強していきましょう。平易な問題文 → 実践的な問題文 → 問題の解き方・解説 → 用語説明の順番で効率的に学べます。
なお、GCP資格のPDE練習問題を一気に勉強したい方は、下記リンクでまとめて学習できます。
「2024年版【GCP資格 PDE試験の練習問題】なんと5時間で学べる！」
GCP PDE問題文
「私たちのチームは、Cloud Dataprocクラスター上で実行される複数のSparkジョブを自動化したいと考えています。これらのジョブの中には順番に、または同時に実行されるものがあります。これらのジョブを効率的に自動化するためには、どのような手法を使うべきでしょうか？」
難解な表現での再記述
（GCPのPDE試験問題のような難解な表現での出題文。内容は上記問題文と同じ）
「Cloud Dataprocクラスター上でスケジュールに従って実行される複数のSparkジョブの自動化プロセスを構築する課題に直面しています。これらのジョブは、一部が連続して実行され、他のジョブは並行して実行される設計です。これらのプロセスを自動化するために、どのクラウドサービスとアプローチを採用すべきでしょうか？」
問題の解説
- Cloud Dataprocクラスターで実行される複数のSparkジョブを自動化するための最適な方法を見つける必要があります。
- これには、連続的または並行的に実行されるジョブのスケジューリングとオーケストレーションが含まれます。
- Cloud Composerは、Apache Airflowをベースにしたフルマネージドなワークフローオーケストレーションサービスであり、複雑なデータパイプラインの管理に適しています。
解決手順の説明
- Cloud Composerを使用して、Sparkジョブの実行を自動化するワークフローを構築します。
- Directed Acyclic Graph（DAG）を作成し、Sparkジョブ間の依存関係と実行順序を定義します。
- Cloud Composerのスケジューリング機能を利用して、ジョブの自動実行タイミングを設定します。
各用語の説明
- Cloud Dataproc: Google Cloud上で提供されるマネージドHadoopおよびSparkクラスタサービス。
- Apache Spark: 大規模データ処理のためのオープンソース分散処理システム。
- Cloud Composer: Google Cloud上で提供されるApache Airflowベースのワークフローオーケストレーションツール。
IT起業家
▼IT人材は2030年に国内で79万人, 全世界で「8,500万人」以上不足！
▼世界の平均年収はなんと「1,000万円」以上！
▼自宅 + パソコン + 無料翻訳ツールで「全世界が仕事場！」
AIエンジニア
