2024年版、GCP資格 PDE試験の「BigQueryテーブルの効率的な管理方法」に関する練習問題を勉強していきましょう。平易な問題文 → 実践的な問題文 → 問題の解き方・解説 → 用語説明の順番で効率的に学べます。
なお、GCP資格のPDE練習問題を一気に勉強したい方は、下記リンクでまとめて学習できます。
「2024年版【GCP資格 PDE試験の練習問題】なんと5時間で学べる！」
GCP PDE問題文
「私たちの会社は、3年前にゲームアプリをリリースしました。毎日のアプリログをBigQueryにアップロードしていますが、長期間のデータを含むクエリがテーブル数の制限を超えて失敗しています。どのように対応すればよいでしょうか？」
難解な表現での再記述
（GCPのPDE試験問題のような難解な表現での出題文。内容は上記問題文と同じ）
「アプリケーションバックエンドで「LOGS_yyyymmdd」という名前のログファイルをBigQueryに毎日アップロードしています。しかし、テーブル数が1,000の制限を超えてしまい、クエリが失敗しています。どのような対策を取れば、この問題を解決できるでしょうか？」
問題の解説
- BigQueryでは、テーブル数の上限が1,000であるため、長期に渡るデータを扱う場合にはこの制限に注意する必要があります。
- 日次のログテーブルが多数存在する場合、これらを一つのパーティション化されたテーブルに変換することで、テーブル数の制限を回避し、クエリの効率を向上させることができます。
- パーティション化されたテーブルを使用すると、クエリが特定のパーティションに対してのみ実行され、全テーブルをスキャンする必要がなくなります。
解決手順の説明
- 既存の日次ログテーブルを一つのパーティション化されたテーブルに変換します。これにより、データの組織化が改善され、クエリパフォーマンスが向上します。
- BigQueryのbqコマンドラインツールを使用して、パーティション化されたテーブルへのデータの移行を実行します。
- 移行後、新しいパーティション化されたテーブルを使用してクエリを実行し、パフォーマンスを検証します。
各用語の説明
- BigQuery: Google Cloudのフルマネージド型データウェアハウスサービス。
- パーティション化されたテーブル: 日付などの特定のキーに基づいてデータを分割するテーブル。
- bqコマンドラインツール: BigQueryの操作をコマンドラインから行うためのツール。
IT起業家
▼IT人材は2030年に国内で79万人, 全世界で「8,500万人」以上不足！
▼世界の平均年収はなんと「1,000万円」以上！
▼自宅 + パソコン + 無料翻訳ツールで「全世界が仕事場！」
AIエンジニア
