share facebook facebook twitter menu hatena pocket slack

2013.12.13 FRI

CDPってなんじゃ?(Kinesisでstream chain)

三浦 悟

WRITTEN BY 三浦 悟

memorycraftです。

この記事は「CDP Advent Calendar 2013」12/9用の記事です。

前回前々回でKinesisを触りました。
資料などみていく中で、ストリームの終端になりえるものに、Redshift, S3, EMR, DynamoDBなどの他に、別のKinesisストリームもありえるということを知りました。
処理の内容が単純、高速であったり、データ数が少ない場合には1つのConsumerで事足りると思いますが、あまりにも大量であったり、処理の幾つかに非常に時間の掛かるものがあったり、複合的な処理が必要な場合には、複数のストリームを使うと全体の効率が上がる場合があるかと思います。

これは、CDPQueuing Chainパターンの派生的なものになるかと思います。
そこで、別のKinesisストリームに流すにはどういう場合が有効かを考えてみました。

■Stream Chianパターン

・統計的な処理を連続して行う場合、Producerが投入したデータ単位と、1つ目の処理が終わったデータ単位が異なる場合があります。その場合も1つ目が終わったときに別のストリームを使います。

・処理全体の中で、負荷の高い部分と低い部分を分けて別に処理を行うことで、
コストの最適化を行うことも考えられます。

・共通処理もあるが、データの種類によって個別の処理が必要という時も別のストリームを使える場合があります。

・おまけ:JettyをProducerにして、3つストリームのチェーンを使うと、ジェットストリームアタックになります。

最後のが言いたかっただけでした。
以上です。

こちらの記事はなかの人(memorycraft)監修のもと掲載しています。
元記事は、こちら

三浦 悟

三浦 悟

高円寺在住のなんじゃ系男子 またの名をmemorycraftといいます。 炭水化物大好き 日々の「なんじゃ?」を記事にしてます。

cloudpack

cloudpackは、Amazon EC2やAmazon S3をはじめとするAWSの各種プロダクトを利用する際の、導入・設計から運用保守を含んだフルマネージドのサービスを提供し、バックアップや24時間365日の監視/障害対応、技術的な問い合わせに対するサポートなどを行っております。
AWS上のインフラ構築およびAWSを活用したシステム開発など、案件のご相談はcloudpack.jpよりご連絡ください。