Amazon EMR
Spark/Hadoop のビッグデータ cluster
Apache Spark、Hive、Presto、Flink などのビッグデータフレームワークを、AWS が構築した EC2（または EKS）cluster 上で実行します。データは通常 S3 に置きます。
- コスト$$ ふつう
- 難易度●●●●●
- 未使用でも課金？はい
- AWS マネージド
- 出題試験SAA
たとえるなら機械設備のそろった工場を丸ごと借りて一括生産し、終わったら返すようなものです。
いつ使う？
✓ 使うべき場面
Spark/Hadoop で大規模データを処理し、cluster のカスタマイズが必要なとき。
✗ 避けるべき場面
cluster を管理したくない → EMR Serverless / Glue。
よくある使い方
- Spark による TB 規模データの ETL
- オンプレミスの Hadoop cluster の AWS への移行
- 大規模データでの分散 ML 学習
料金はいくら？
- 課金方式: instance の稼働時間に応じて課金されます（EC2 料金に instance ごとの EMR 追加料金が加算）。
⚠️ 料金の落とし穴
task node に Spot を使い、job が終わったら cluster を自動停止して、アイドル状態の cluster に料金を払わないようにしましょう。
関連サービス
SAA-C03 対策
EMR は次の対策モジュールで扱っています：