Kafka架构和实战

概念和基本架构

介绍

优势

1. 高吞吐量
2. 高性能
3. 持久化存储
4. 分布式系统
5. 可靠性
6. 客户端状态维护
7. 支持在线和离线场景
8. 支持多种语言

   应用场景

   日志收集：收集各种服务的Log，通过Kafka以统⼀接⼝服务的⽅式开放给各种 Consumer
   消息系统：解耦⽣产者和消费者、缓存消息等
   用户活动跟踪：记录Web⽤户或者App⽤户的各种活动
   运营指标：记录运营监控数据。包括收集各种分布式应⽤的数据，⽣产各种操作的集中反馈，⽐如报警和报告
   流式处理：Spark Streaming和Storm

   基本架构

   核心概念

安装和配置

开发实战

服务端参数配置

高级特性解析

生产者

消费者

主题

分区

物理存储

稳定性

延时队列

重试队列

Kafka集群和运维