Kafka开发与管理

讲述Kafka 的设计原则和重点概念,Kafka 集群和数据处理。

时间2天。

Kafka 概述

  • Kafka 产品
  • 通用场景
  • 火车货场
  • 学校公告牌
  • Kafka 基础
  • Kafka架构
  • Kafka 主题队列
  • 部署
  • Kafka协议
  • API
  • 版本演进
  • 安全

Kafka 核心

  • 消息组成
  • 复制信息
  • 分区分布
  • Broker
  • 客户端
  • 生产者
  • 消费者
  • Leader读写消息
  • 分区指派
  • 消费者群组 Consumer Group
  • 复制实现失效备援
  • 容量估算指标(一)
  • 容量估算指标(二)
  • 参数设置
  • 硬件考虑
  • 配置实例个数

管理集群

  • 设置集群
  • 分区副本复制
  • 集群使用ZK
  • 集群架构改进

优化和度量

  • 消息优化
  • 消费者优化
  • 性能优化
  • Kafka监控
  • 查看度量指标
  • 重要的度量指标
  • 度量指标的对象
  • 管理工具
  • 显示消费者群组和详细信息
  • 需要考虑的重点要素

Kafka 生态

  • 社区版包括以下组件和工具
  • Kafka 连接器
  • Kafka Stream
  • Mirror maker