nilog:

『Apache Kafkaをはじめる』をざっと読んだ。

「本書では分散ストリーミングプラットフォームのKafkaについて初学者向けに解説しています。Kafka初学者の開発者でもKafkaの基本操作やKafkaアプリケーションの開発の最初の一歩を踏み出せるようになります。」「Producerアプリケーション」「Consumerアプリケーション」「トランザクションによる堅牢なアプリケーションの構築」「Kafka Connectによるデータパイプライン」「Kafka Streamsによるストリーム処理」

Apache Kafkaをはじめる 技術の泉シリーズ (技術の泉シリーズ（NextPublishing）) | 佐々木 健太朗 https://www.amazon.co.jp/dp/B0BDKQDJR7?tag=nilab-22&linkCode=osi&th=1&psc=1

( ´∀｀)いいね

「一部引用なことも引用元も明記してるし、「誰かの作った不完全なものに、価値を認めた他人がボランティアで仕事を加えて完成度を上げる」という古の美しいネット文化」

「言葉を慎みたまえ、君はインターネット老人の前にいるのだ」

𝑷𝑲𝑨 on X https://x.com/PKAnzug/status/1854458623910666665

『Apache Kafkaをはじめる』をざっと読んだ。

「本書では分散ストリーミングプラットフォームのKafkaについて初学者向けに解説しています。Kafka初学者の開発者でもKafkaの基本操作やKafkaアプリケーションの開発の最初の一歩を踏み出せるようになります。」「Producerアプリケーション」「Consumerアプリケーション」「トランザクションによる堅牢なアプリケーションの構築」「Kafka Connectによるデータパイプライン」「Kafka Streamsによるストリーム処理」

Apache Kafkaをはじめる 技術の泉シリーズ (技術の泉シリーズ（NextPublishing）) | 佐々木 健太朗 https://www.amazon.co.jp/dp/B0BDKQDJR7?tag=nilab-22&linkCode=osi&th=1&psc=1

読書メモ。

-event (record, message)
--header
--key
--timestamp
--value ← データ本体

-Topic
--Partition

-トピック内のパーティション間では順序が保証されない

-Producer: Kafka にイベントを送信するプログラム
-Consumer: Kafka からイベントを受信するプログラム

-Consumer はイベントの読み出し後に Partition ごとの処理済み Offset を記録するコミットを行う

-Consumer は2回以上イベントを読み取っても問題ないように処理を冪等にしておく

Apache Kafkaをはじめる (BookB0BDKQDJR7 - MemoWiki v5) http://www.nilab.info/wiki/BookB0BDKQDJR7.html

Apache Kafka をどうして Kafka と名付けたのか、開発者のコメント。

「書くこと(データ書き込み？)に最適化されたシステムなので、作家の名前が良いと思った」「フランツ・カフカが好き」

"I thought that since Kafka was a system optimized for writing using a writer's name would make sense. I had taken a lot of lit classes in college and liked Franz Kafka. Plus the name sounded cool for an open source project."

Jay Kreps's answer to What is the relation between Kafka, the writer, and Apache Kafka, the distributed messaging system? - Quora https://www.quora.com/What-is-the-relation-between-Kafka-the-writer-and-Apache-Kafka-the-distributed-messaging-system/answer/Jay-Kreps

「Kafkaは、「プロデューサー」と呼ばれる任意の数のプロセスから送られてくるKey-Valueメッセージを保存する。データは、異なる「トピック」内の異なる「パーティション」に分割することができる。パーティション内では、メッセージはオフセット（パーティション内でのメッセージの位置）の順に記録され、タイムスタンプとともにインデックス化されて保存される。「コンシューマー」と呼ばれる他のプロセスは、パーティションからメッセージを読み取ることができる。」

Apache Kafka - Wikipedia https://ja.wikipedia.org/wiki/Apache_Kafka