2024年版、GCP資格 PDE試験の「オンプレミスからCloud Dataprocへの効率的な移行戦略」に関する練習問題を勉強していきましょう。平易な問題文 → 実践的な問題文 → 問題の解き方・解説 → 用語説明の順番で効率的に学べます。
なお、GCP資格のPDE練習問題を一気に勉強したい方は、下記リンクでまとめて学習できます。
「2024年版【GCP資格 PDE試験の練習問題】なんと5時間で学べる！」
GCP PDE問題文
「オンプレミスのApache HadoopをGoogle Cloudに移行したいと考えています。長時間のバッチジョブを効率的に処理し、コストを抑えつつフォールト・トレラントな環境を構築したいです。どのようなアプローチを取るべきでしょうか？」
難解な表現での再記述
（GCPのPDE試験問題のような難解な表現での出題文。内容は上記問題文と同じ）
「現在運用中のオンプレミスのApache HadoopシステムをGoogle Cloudへ移行する計画を立てています。この移行は、長時間のバッチ処理を可能な限りフォールト・トレラントでコスト効率よく行うことが求められています。マネージドサービスの使用を希望しているこのケースで、どのようなクラウドデプロイメント戦略を選択するべきですか？」
問題の解説
- オンプレミスからGoogle Cloudへの移行には、Apache Spark/Hadoopクラスタを実行するためのCloud Dataprocの利用が推奨されています。
- 長時間のバッチジョブとコスト効率を考慮して、HDDパーシステントディスクを使用し、一部のワーカーをプリエンプト可能にすることでコストを抑制できます。
解決手順の説明
- Cloud Dataprocクラスタをデプロイし、HDDパーシステントディスクと50%のプリエンプト可能なワーカーを使用します。
- データをCloud Storageに保存し、スクリプトの参照先をhdfs://からgs://に変更して、クラウド環境に最適化します。
- これにより、コスト効率の高いフォールト・トレラントなクラウド環境を実現できます。
各用語の説明
- Cloud Dataproc: Google Cloud上で動作するマネージドHadoopおよびSparkクラスタを提供するサービス。
- HDDパーシステントディスク: ハードディスクドライブベースのデータストレージ。
- プリエンプト可能なワーカー: コスト効率のために中断される可能性があるインスタンス。
IT起業家
▼IT人材は2030年に国内で79万人, 全世界で「8,500万人」以上不足！
▼世界の平均年収はなんと「1,000万円」以上！
▼自宅 + パソコン + 無料翻訳ツールで「全世界が仕事場！」
AIエンジニア
