2024年版【GCP資格の勉強 PDE編】BigQuery Data Transfer Service（DTS）とは？

BigQuery Data Transfer Serviceの概要
BigQuery DTSの制約事項
【練習問題】BigQuery Data Transfer Service（DTS）
最新情報とベストプラクティス

2024年版【GCP資格の勉強 PDE編】BigQuery Data Transfer Service（DTS）とは？について解説します。
（★注意：GCP資格 Professional Data Engineer(PDE)試験の公式テキスト・問題集などを元に独自にまとめたものです）

Google Cloud Platform（GCP）のProfessional Data Engineer（PDE）試験では、BigQuery Data Transfer Service（DTS）に関する知識が重要です。

BigQuery DTSは、さまざまなデータソースからBigQueryにデータを自動的に転送するためのサービスです。

以下に、BigQuery DTSの概要と、特に考慮すべき制約事項について説明します。

BigQuery Data Transfer Serviceの概要

BigQuery DTSは、Google Cloud Platform（GCP）のBigQueryにデータを自動で移行するためのサービスです。

例えば、あなたの会社で販売データや顧客データなどをExcelやCSVファイルで管理しているとします。これらのデータをBigQueryに移行したい場合、BigQuery DTSを使えば、手動でデータを移行する手間を省くことができます。

BigQuery DTSでは、あらかじめ設定したスケジュールに基づいて、データの移行を自動で実行します。そのため、毎日、毎週、毎月など、定期的にデータを移行したい場合に便利です。

また、BigQuery DTSでは、さまざまなデータソースからデータを移行できます。例えば、Google Cloud StorageやAmazon S3などのクラウドストレージ、SalesforceやOracleなどのデータベース、TwitterやFacebookなどのSNSなど、さまざまなデータソースに対応しています。

対応データソース：Googleのサービス（YouTube, Google Adsなど）
Cloud Storage
Amazon S3（CSV形式でのエクスポート）
Amazon Redshift
Teradata
その他のサードパーティのコネクタ（GCP Marketplaceを通じて利用可能）
自動データ転送：BigQuery DTSは定期的にデータソースからBigQueryへのデータ転送を自動化できます。BigQuery DTSにより、データを手動で移動する手間が省けます。

BigQuery DTSの制約事項

ロケーションを跨いだデータセットのJOIN制約：BigQueryでは、異なるロケーション（地域）にあるデータセット間でのJOINはできません。データ転送時には、データの目的地のロケーションに注意する必要があります。
異なるプラットフォーム間のコスト：例えば、Amazon S3からBigQuery DTSを使用してデータを転送する場合、追加のコストが発生する可能性があります。データ転送の際のネットワーク使用料や、ストレージコストなどを考慮します。
データのプレ処理加工の制限：BigQuery DTSを使用すると、データソースから直接データを転送することはできますが、データのプレ処理や加工を行うことはできません。プレ処理が必要な場合は、データ転送前に他のツール（例: Dataflow）を使用して処理を行う必要があります。