2024年版、GCP資格 PDE試験の「Apache KafkaとCloud Dataflowを活用したIoTデータパイプラインの最適化」に関する練習問題を勉強していきましょう。平易な問題文 → 実践的な問題文 → 問題の解き方・解説 → 用語説明の順番で効率的に学べます。
なお、GCP資格のPDE練習問題を一気に勉強したい方は、下記リンクでまとめて学習できます。
「2024年版【GCP資格 PDE試験の練習問題】なんと5時間で学べる！」
GCP PDE問題文
「私たちのチームは、Apache Kafkaを中心にしたIoTデータパイプラインを運用しており、通常は毎秒約10000件のメッセージを受信しています。Google Cloud Platformを使用して、1時間の移動平均が毎秒5000メッセージを下回った場合にすぐにアラートを出したいと考えています。この要件を達成するためには、どのような手順を踏むべきでしょうか？」
難解な表現での再記述
（GCPのPDE試験問題のような難解な表現での出題文。内容は上記問題文と同じ）
「あなたはApache Kafkaを軸として展開されたIoTデータストリームパイプラインの運用に携わっており、標準的な操作では秒間10000件のメッセージを受信しています。Google Cloud Platformを利用して、1時間の移動平均が1秒あたり5000メッセージ以下になった際に迅速にアラートを生成するシステムを構築する課題があります。この要件を満たすためには、どのようなアプローチが最適でしょうか？」
問題の解説
- Apache Kafkaを基盤としたIoTパイプラインでのデータストリーミングの管理に関する問題です。
- Cloud DataflowとKafkaIOを組み合わせて、リアルタイムのデータ処理とアラート生成のパイプラインを構築する必要があります。
- スライディングタイムウィンドウを使用して、メッセージの平均数を計算し、閾値を下回る場合にアラートをトリガーすることが推奨されます。
解決手順の説明
- Cloud Dataflowを使用して、Apache Kafkaからのデータストリームを消費するパイプラインを作成します。
- Kafka IOを用いて、Kafkaからのデータストリームを取り込みます。
- 5分ごとに1時間のスライディングタイムウィンドウを設定し、ウィンドウが閉じるたびに平均値を計算します。
- 平均値が5000メッセージ未満の場合は、アラートを生成する機能をパイプラインに組み込みます。
各用語の説明
- Apache Kafka: ハイスループットで耐久性のあるリアルタイムメッセージングシステム。
- Cloud Dataflow: Google Cloud上で提供されるストリーム及びバッチデータ処理サービス。
- Kafka IO: Cloud DataflowでKafkaのデータを読み書きするためのコンポーネント。
IT起業家
▼IT人材は2030年に国内で79万人, 全世界で「8,500万人」以上不足！
▼世界の平均年収はなんと「1,000万円」以上！
▼自宅 + パソコン + 無料翻訳ツールで「全世界が仕事場！」
AIエンジニア
