Amazon Kinesis
Họ dịch vụ dữ liệu streaming
Tên chung cho nhóm dịch vụ xử lý dữ liệu streaming real-time của AWS: Kinesis Data Streams, Kinesis Video Streams (Firehose và Managed Service for Apache Flink từng mang tên Kinesis).
- Chi phí$$ Vừa phải
- Độ khó●●●●●
- Để không có tốn tiền?Không
- Serverless
- Có trong đềSAA · DVA
Hình dungNhư hệ thống băng chuyền của nhà máy: nhiều loại băng chuyền cho nhiều loại hàng.
Khi nào nên dùng
✓ Nên dùng khi
Cần thu thập và xử lý dữ liệu liên tục (log, clickstream, IoT, video).
✗ Không nên dùng khi
Xử lý theo lô định kỳ → Glue / EMR.
Ví dụ hay gặp
- Thu thập clickstream real-time
- Nạp log vào data lake
- Phân tích video từ camera
Tốn bao nhiêu tiền?
- Cách tính: Tuỳ dịch vụ con: theo shard-giờ, GB dữ liệu hoặc thời lượng xử lý.
Đề hỏi “thu thập và xử lý dữ liệu streaming real-time (clickstream, IoT, log)” thì nghĩ tới Kinesis; “nạp vào S3/Redshift không cần code” thì Data Firehose; “phân tích stream bằng SQL/Flink” thì Managed Service for Apache Flink; “video” thì Kinesis Video Streams; “tách rời các thành phần” thì SQS.
Câu hỏi thường gặp
Họ Kinesis gồm những dịch vụ nào và dùng khi nào?
Kinesis Data Streams thu và lưu stream để nhiều consumer xử lý real-time. Data Firehose giao stream tới S3, Redshift, OpenSearch mà không cần code. Managed Service for Apache Flink chạy phân tích stream bằng SQL hoặc Flink. Kinesis Video Streams nhận video từ camera, thiết bị. Tên Kinesis Data Analytics cũ nay đã đổi thành Flink.
Kinesis khác gì SQS?
SQS là hàng đợi tách rời các thành phần: mỗi message thường được một consumer xử lý rồi xoá, không đọc lại được. Kinesis Data Streams lưu bản ghi trong thời gian lưu, nhiều consumer đọc độc lập và đọc lại được, giữ thứ tự theo partition key. Cần tách service, retry từng message thì SQS; cần stream để phân tích, nhiều consumer thì Kinesis.
Kinesis khác gì Amazon MSK?
Cả hai là nền tảng streaming. Kinesis là dịch vụ AWS gốc, đơn giản, ít phải vận hành và tích hợp sâu với AWS. MSK là Apache Kafka được quản lý, hợp khi đã có ứng dụng Kafka hoặc cần hệ sinh thái và API Kafka chuẩn, đổi lại phải hiểu và cấu hình nhiều hơn.
