Databricksによるデータマートの再設計 ― メダリオンアーキテクチャ × Unity Catalog × Liquid Clusteringの実践記
1. はじめに はじめまして。ARISEanalyticsの佐藤です。私のチームでは、運用新技術・特化技術を利用して業務を効率化するための取り組みを行っています。 本記事では、EKS上でチームごとにバラバラに管理されていたデータマートを、Databricksを中核としたモダンな分析基盤へ移行したプロジェクトについてご紹介します。移行にあたっては、メダリオンアーキテクチャによるデータ設計、Unity Catalogによる統合管理、Liquid Clusteringによるクエリパフォーマンスの最適化を採用しました。 この記事は、以下のような方を想定しています。...