メダリオンアーキテクチャ
一言まとめ
データを Bronze(生)→ Silver(整形済み)→ Gold(業務で使う集計)の 3 層で段階的に磨く設計。Databricks が広めたレイクハウスの定番構成。
一言で
生データを直接使わず、3 段階で品質を上げながら保存する置き方。層の名前はメダルの色から来ている。
| 層 | 中身 | 誰が触るか |
|---|---|---|
| Bronze | 取り込んだままの生データ。スキーマも緩い | パイプライン |
| Silver | 重複除去・型変換・結合を済ませた「きれいな表」 | データエンジニア、分析者 |
| Gold | 集計済みで、BI や機械学習がそのまま読める形 | 業務部門、モデル |
例えで言うと
- AWS: S3 に生ログを置き(Bronze)、Glue で整形し(Silver)、Athena や Redshift 向けの集計テーブルを作る(Gold)。
- Python:
raw_df→df.dropna().astype(...)→df.groupby().agg()。生の DataFrame をそのままグラフにしない感覚と同じ。 - サッカー: スカウトの生メモ → 選手データベース → 監督が見るスタメン候補表。
つながり
| 向き | 語 |
|---|---|
| 上位 | レイクハウス(データレイクとデータウェアハウスの合体) |
| 隣 | ETL / ELT、dbt、Delta Lake / Iceberg / Hudi |
| 対義 | 生データ直使い(層を分けない) |
枝を伸ばすと: レイクハウス → データレイク(S3 に何でも放り込む)/ データウェアハウス(Redshift、Snowflake、BigQuery)。パイプライン → オーケストレーション(Airflow、Dagster)。データ品質 → データカタログ / リネージ(出どころを追える)。
関連
- Databricks
- モデルサービング — Gold 層のデータを学習・推論に使う
更新履歴
- 2026-10-08: 初版(気になるワード整理から)