Amazon Managed Workflows for Apache Airflow
マネージド Apache Airflow
MWAA は Apache Airflow を代わりに実行し、Python で書いた DAG でデータ pipeline をオーケストレーションできるようにします。scheduler、worker、web サーバー、アップグレードは AWS が担当します。
- コスト$$ ふつう
- 難易度●●●●●
- 未使用でも課金?はい
- AWS マネージド
- 出題試験SAA
たとえるならあなたが書いた楽譜どおりにデータのオーケストラを指揮するプロの指揮者を雇うようなものです。
いつ使う?
✓ 使うべき場面
チームが Airflow に慣れている、または相互に依存する複雑なデータ job を多数オーケストレーションする必要があるとき。
✗ 避けるべき場面
主に AWS サービスを使うシンプルな workflow → Step Functions。
よくある使い方
- Glue + EMR + Redshift の日次 ETL のオーケストレーション
- セルフホスト Airflow の AWS への移行
- 定期的なモデル学習のスケジューリング
料金はいくら?
- 課金方式: 環境の稼働時間(サイズ別)、追加の worker/scheduler、metadata database の容量に応じて課金されます。
⚠️ 料金の落とし穴
DAG が実行されていないときでも、環境には継続的に料金がかかります。