Amazon Kinesis Data Streams

シャードはストリームの容量単位で、シャードごとに書き込みと読み取りのスループット上限が決まっており、同じパーティションキーのレコードは順序を保つため常に同じシャードに入ります。特定のパーティションキーに偏る (ホットになる) と、他のシャードが空いていてもそのシャードがボトルネックになるため、均等に分散するキーを選びます。スループットを増やすにはシャード数を増やします (リシャーディング)。

プロビジョニングは、シャード数を自分で決めてシャード時間で課金され、負荷が予測できる場合に向きます。オンデマンドは、トラフィックに応じて AWS が自動でスケールし、データ量で課金されるため、シャード設計が不要で、負荷が変動する場合や不明な場合に向きます。どちらも設定した保持期間だけデータを保持します。

デフォルトではコンシューマーが各シャードの読み取りスループットを共有するため、コンシューマーを増やすと互いに遅くなります。拡張ファンアウトは各コンシューマーに専用のプッシュ型読み取り経路を与え、低遅延になります。1 つのストリームを多数のコンシューマーが読む場合に向き、追加コストがかかります。KCL を使うコンシューマーはチェックポイント保存用に DynamoDB も必要です。