2024年版【GCP資格の勉強 PDE編】マルチクラウドでのDWH設計とは？

ストレージクラスの選択
データ転送コスト
BigQuery Omniの活用
総合的な考慮
【練習問題】マルチクラウドでのDWH設計
まとめ

2024年版【GCP資格の勉強 PDE編】マルチクラウドでのDWH設計とは？について解説します。
（★注意：GCP資格 Professional Data Engineer(PDE)試験の公式テキスト・問題集などを元に独自にまとめたものです）

マルチクラウド環境でのデータウェアハウス（DWH）設計では、特にストレージとデータ転送コストの最適化が重要なポイントになります。

マルチクラウドでのデータウェアハウス（DWH）設計は、異なるクラウドサービス（Google Cloud、AWS、Azureなど）を使ってデータを管理する方法です。重要なのは、データの保存場所や移動方法を効率的かつ経済的に選ぶことです。頻繁に使うデータはアクセスしやすい場所に、めったに使わないデータはコストが低い場所に保存します。

また、データを移動する時のコストも考える必要があります。BigQuery Omniなどのツールを使うと、データを移動せずに、複数のクラウドサービス上のデータを分析できます。

このように、マルチクラウド環境でのDWH設計では、データの保管と移動のコストを最適化することが重要です。

以下に、Google Cloud、AWS、Azureを含む一般的なクラウドストレージサービスでのストレージクラスの選択と、データ転送コストに関する考慮事項を説明します。

ストレージクラスの選択

アクセス頻度: 頻繁にアクセスするデータは、ストレージコストが高くてもアクセスや編集コストが低いクラスに格納するのが適切です。例えば、Amazon S3のStandardクラスなどが該当します。
アーカイブデータ: アクセス頻度の低いアーカイブデータは、ストレージコストが低くアクセス・編集コストが高いクラスに格納します。例としては、Amazon Glacierがあります。
保存環境の選択: アーカイブデータのように長期間保存するデータは、複数のクラウドサービス間での移動を避け、単一のクラウドストレージで保管する方が効率的です。

データ転送コスト

取込と取り出しのコスト: 一般的なクラウドストレージでは、データの取込は通常無料または安価ですが、データの取り出しにはコストがかかります。
専用線サービスの利用: データ転送コストを削減するために、Google CloudのCloud Interconnectのような専用線サービスを使用することが有効です。

BigQuery Omniの活用

マルチクラウド分析: BigQuery Omniを使用すると、Amazon S3やAzure Blob Storage上のデータに対してBigQueryの分析を実行できます。データをBigQueryに移動することなく、マルチクラウド環境での分析が可能になります。

総合的な考慮

コスト最適化: マルチクラウド環境でのDWH設計では、各クラウドプロバイダのストレージおよび転送コストを慎重に比較し、コスト効率の良い選択をすることが重要です。
データ管理の簡素化: データの管理を簡素化するために、データの性質や利用頻度に応じて適切なストレージクラスを選択し、不必要なデータの移動を避けることが重要です。
セキュリティとコンプライアンス: マルチクラウド環境では、セキュリティやコンプライアンスの要件を満たすために、データの保管場所や転送方法にも注意する必要があります。