Kafka分布式消息中间件

Kafka

Kafka 是一个分布式消息中间件，最初由 LinkedIn 公司开发，用作的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础软件设施。后来核心开发人员成立商业公司 Confluent 提供Kafka技术商业服务。Kafka 现在作为消息系统和多种类型的数据管道被广泛使用。

Kafka 社区版是Apache开源组织的顶级项目，多家公司基于Kafka上游，提供商业实现产品

Kafka 定位于分布式的，基于发布 / 订阅的消息系统。主要设计目标如下：

  • 以时间复杂度为 O(1) 的方式提供消息持久化能力，即使对 TB 级以上数据也能保证常数时间复杂度的访问性能
  • 高吞吐率。即使在普通机器上也能做到单机支持海量消息的传输
  • 支持 Kafka Server 间的消息分区(Partition)，分布式消费，同时保证每个分区内的消息顺序传输
  • 同时支持离线数据处理和实时数据处理
  • 支持在线水平(Scale out)扩展

Kafka 使用Scala语言开发核心系统，运行在JVM平台上。提供多个层次的消息访问接口。

Kafka 具备丰富完整的技术生态，Kafka Connect提供多种系统的集成能力，Kafka Stream提供强大的流式处理。

Kafka 社区版采用经典的大小版本号的产品发布方式，如v3.6.0

网址链接为：

我们提供针对 Kafka 源码级技术支持和二次开发服务。

同时提供深入技术培训，请参考 Kafka开发与管理

搜索