Apache Kafkaをはじめる

読書メモ


-nilog: 『Apache Kafkaをはじめる』をざっと読んだ。 「本書では分散ストリーミングプラットフォームのKafkaについて初学者向けに解説しています。Kafka初学者の開発者でもKafkaの基本操作やKafkaアプリケーションの開発の最初の一歩を踏み出せるようになります。」「Producerアプリケーション」「Consumerアプリケーション」「トランザクションによる堅牢なアプリケーションの構築」「Kafka Connectによるデータパイプライン」「Kafka Streamsによるストリーム処理」 Apache Kafkaをはじめる 技術の泉シリーズ (技術の泉シリーズ(NextPublishing)) | 佐々木 健太朗 (2024-11-08)
--http://www.nilab.info/nilog/?type=m01&id=113447885594810126
--

-event (record, message)
--header
--key
--timestamp
--value ← データ本体

-Topic
--Partition

-トピック内のパーティション間では順序が保証されない

-Producer: Kafka にイベントを送信するプログラム
-Consumer: Kafka からイベントを受信するプログラム

-Consumer はイベントの読み出し後に Partition ごとの処理済み Offset を記録するコミットを行う

-Consumer は2回以上イベントを読み取っても問題ないように処理を冪等にしておく

書籍情報


-Apache Kafkaをはじめる 技術の泉シリーズ (技術の泉シリーズ(NextPublishing)) | 佐々木 健太朗 | 工学 | Kindleストア | Amazon
--https://www.amazon.co.jp/dp/B0BDKQDJR7?tag=nilabwiki-22&linkCode=osi&th=1&psc=1
-->本書では分散ストリーミングプラットフォームのKafkaについて初学者向けに解説しています。Kafka初学者の開発者でもKafkaの基本操作やKafkaアプリケーションの開発の最初の一歩を踏み出せるようになります。
-->
-->【目次】
-->第1章 Kafka概要
-->第2章 Kafkaはじめの一歩
-->第3章 Producerアプリケーション
-->第4章 Consumerアプリケーション
-->第5章 トランザクションによる堅牢なアプリケーションの構築
-->第6章 Kafka Connectによるデータパイプライン
-->第7章 Kafka Streamsによるストリーム処理