AWS Glue
ETL serverless và data catalog
Dịch vụ tích hợp dữ liệu serverless: crawler tự đọc schema vào Glue Data Catalog, job ETL chạy Spark/Python để làm sạch và biến đổi dữ liệu.
- Chi phí$$ Vừa phải
- Độ khó●●●●●
- Để không có tốn tiền?Không
- Serverless
- Có trong đềSAA · DVA
Hình dungNhư người thủ thư vừa lập danh mục sách vừa sắp xếp lại sách cho gọn.
Khi nào nên dùng
✓ Nên dùng khi
ETL vào data lake/warehouse và cần metadata catalog dùng chung cho Athena, Redshift, EMR.
✗ Không nên dùng khi
Cần toàn quyền tuỳ biến cluster Spark → EMR; stream real-time → Managed Service for Apache Flink.
Ví dụ hay gặp
- Crawler tạo bảng cho dữ liệu S3
- Chuyển CSV sang Parquet
- Catalog dùng chung cho Athena
Tốn bao nhiêu tiền?
- Cách tính: Job ETL tính theo DPU-giờ (tính theo giây); Data Catalog tính theo số object lưu và request vượt free tier.
Đặt quá nhiều worker hoặc để crawler chạy quá thường xuyên làm DPU-giờ đội lên.
Đề hỏi “ETL serverless, tự khám phá schema và tạo data catalog cho Athena/Redshift Spectrum” thì chọn AWS Glue; “cần cluster Spark/Hadoop tuỳ biến sâu” thì chọn EMR; “chỉ chuyển luồng stream vào S3 không cần biến đổi phức tạp” thì Data Firehose.
Câu hỏi thường gặp
Glue khác gì EMR?
Glue là serverless: bạn chỉ định job ETL, AWS tự cấp tài nguyên và tính tiền theo thời gian chạy, không quản cluster. EMR cho bạn cluster Hadoop/Spark và nhiều framework khác với toàn quyền tuỳ biến và tinh chỉnh, đổi lại phải quản lý nhiều hơn. ETL thông thường chọn Glue; cần framework đặc thù hoặc kiểm soát sâu thì chọn EMR.
Glue Data Catalog và crawler dùng để làm gì?
Data Catalog là kho metadata trung tâm (tên bảng, cột, kiểu dữ liệu, vị trí trên S3). Crawler quét dữ liệu nguồn, tự suy ra schema và tạo hoặc cập nhật bảng trong catalog. Athena, Redshift Spectrum và EMR đều dùng catalog này, nên bạn định nghĩa schema một lần cho nhiều công cụ.
Glue job chạy lại có bị xử lý trùng dữ liệu không?
Job bookmark ghi nhớ phần dữ liệu đã xử lý, để lần chạy sau chỉ lấy dữ liệu mới thay vì đọc lại từ đầu. Glue cũng hỗ trợ streaming ETL đọc từ Kinesis hoặc Kafka. Tính tiền theo tài nguyên xử lý (DPU) nhân thời gian chạy, nên job nhỏ và gọn sẽ rẻ.
Dịch vụ liên quan
Ôn thi SAA-C03
Glue xuất hiện trong các chủ đề ôn thi sau: