AWS Data Pipeline
旧世代の ETL オーケストレーション
2024年7月から新規顧客の受付を終了しています。Glue、Step Functions、または MWAA の利用が推奨されます。Data Pipeline は S3、RDS、DynamoDB、EMR… 間でスケジュールに沿ったデータの移動・処理フローを定義し、自身が作成した EC2/EMR 上で実行します。
- コスト$ 安い
- 難易度●●●●●
- 未使用でも課金？少し
- AWS マネージド
⚠️ 提供終了または終了予定のサービス
Data Pipeline をマップで開く →
2024年7月から新規顧客の受け付けを終了。Glue / Step Functions / MWAA を使用
たとえるなら古い工場のベルトコンベアのようなものです。使っている工場ではまだ動いていますが、新しい工場はより現代的なラインを導入します。
いつ使う？
✓ 使うべき場面
移行を待つ間、既存の pipeline を維持する場合のみ。
✗ 避けるべき場面
すべての新しいデータフロー → Glue / Step Functions / Managed Workflows for Apache Airflow。
よくある使い方
- 既存の DynamoDB から S3 へのバックアップジョブの維持
- Glue または MWAA への移行計画
料金はいくら？
- 課金方式: 毎月スケジュールされた activity/precondition の数に応じて課金され、さらに pipeline が起動する EC2/EMR の料金が加わります。
⚠️ 料金の落とし穴
pipeline が作成した EC2/EMR リソースが自動停止しない場合、料金が発生し続けます。
