消息中间件

白天 夜间 首页 下载 阅读记录
  我的书签   添加书签   移除书签

Flume

浏览 87 扫码 分享 2022-10-11 09:08:24
  • Flume对接Kafka

若有收获，就点个赞吧

0 人点赞

上一篇:
下一篇:
  • 书签
  • 添加书签 移除书签
  • 消息中间件面试题
  • 如何从0到1设计一个消息队列中间件
  • 📂SpringCloudStream
    • SpringCloudStream整合RocketMQ以及入门demo
  • kafka vs rabbitmq vs rocketmq
  • MQ选型
  • 📂RocketMQ
    • RocketMQ的事务消息的原理介绍和demo使用
      • 什么是事务、半事务消息？怎么实现的？
    • RocketMQ简介
    • 1
      • RocketMQ同一个消费组内的消费者订阅量不同tag，会有问题吗？
      • RocketMQ一直消费失败,消息积压怎么处理
      • 9 个维度告诉你怎么做能确保 RocketMQ 不丢失消息
        • RocketMQ消息丢失场景及解决办法
        • 消息可靠性怎么保证？
      • 消息重复
    • Spring整合使用[]
      • SpringBoot整合RocketMQ的一些Demo使用
    • 搭建[]
      • Linux执行RocketMQ的官方示例测试集群是否好用
      • Linux搭建 RocketMQ 2主2从集群
      • windows版本rocketmq-console 可视化插件安装
      • Linux写了个非常简单的集群启动RocketMQ的NamesrvStartup脚本
    • 概念和使用案例[]
      • 高吞吐量下如何优化生产者和消费者的性能?
      • RocketMQ的消息幂等
      • RocketMQ死信队列概念使用注意事项
      • RocketMQ消息重试机制使用以及注意事项原理
      • RocketMQ生产者和消费者的负载均衡分配策略
      • 消息存储原理[]
        • RocketMQ的消息存储结构
        • RocketMQ消息存储原理
        • RocketMQ消息主从复制原理
        • RocketMQ的刷盘机制
      • RocketMQ的 ACL权限控制
      • RocketMQ的消息过滤功能概念和demo
      • RocketMQ批量消息介绍和入门demo以及消息超过了限制如何解决
      • RocketMQ 延迟消息 的介绍和使用demo
      • RocketMQ的消息广播模式概念和使用
      • RocketMQ使用SelectMessageQueueByHash 保证顺序有序
      • RocketMQ保证消息有序之自定义消息队列选择器
      • RocketMQConsumer两种接收消息的方式
      • RocketMQProducer三种发送方式以及入门Demo
    • RocketMQ[有时间整理]
      • Broker 如何处理拉取请求的
      • RocketMQ如何保证消息的顺序消费？
      • RocketMQ消费模式有几种?
      • RocketMQ可靠异步发送代码
      • RocketMQ可靠同步发送代码
      • 安装启动RocketMQ单机版demo
      • RocketMQ之rocketmq-console可视化插件安装
  • 几大MQ产品特点比较
  • 📂Kafka
    • 二.实操
      • Linux命令
      • Kafka单机版安装和启动
      • Docker安装单机Kafka的Demo
      • Kafka查看日志信息
      • 配置 kafka环境变量
    • 一.概念
      • 08.事务
        • Exactly Once语义
        • 概念
      • 07.Kafka消费者相关
        • 01.消费方式
        • 02.Kafka分区分配的概念,哪个consumer消费哪个partition
        • offset的维护
        • 补充Consumer and Consumer group
        • 消费者组案例
      • 06.Kafka生产者相关
        • 生产者是怎么把数据给我们分区的?
        • 数据可靠性保证ACK机制
        • 集群partition故障处理细节LEO HW
        • 幂等性
        • 生产者发送消息的流程
      • 05.Kafka工作流程
      • 04.Kafka文件存储机制(分片和索引)
      • 03.Kafka简介和特点
      • 02.Kafka本身的架构
      • 01.Kafka核心概念
    • Kafka老的没总结,后续会总结一下
      • 其它概念
        • Controller选举
        • 09.Kafka在zookeeper中存储的信息
        • 记录broker集群中谁是controller机器
        • Kafka集群中每个broker是如何知道集群中的其它broker的
        • 如何查看消费者组是否存在滞后消费？
        • 如何重平衡Kafka集群
        • 如何保障Kafka中的消息是有序的？
        • Kafka可以保障永久不丢失数据吗？
        • Kafka的Broker集群是如何保障数据不丢失的？
        • kafka⼯作流程
        • kafka的数据offset读取流程
        • kafka数据分区和消费者的关系
        • 失效副本是指什么？有那些应对措施？
        • Kakfa的partition分区数弄多少个合适
        • Kafka中有那些地方需要选举？这些地方的选举策略又有哪些？
        • Kafka有内部的topic吗？
        • 已经设置好的Kafka的topic的分区数可不可以增加减少
        • 大数据场景下kafka有多少个Topic
        • Kakfa的partition分区数弄多少个合适
        • Kafka的硬盘大小
        • Kafka压测
        • Kafka过期数据清理
        • 如果传输的日志文件2m，会有什么问题？
        • Kafka内存啥的优化
        • Kafka重复数据问题
        • 离线数仓中Kafka挂了怎么办
        • 离线数仓中Kafka数据量问题
        • Kafka数据保存多久
        • 是先压测还是先评估机器数量?
        • 生产者峰值生产速率
        • Kafka消息数据积压，Kafka消费能力不足怎么处理？
        • rebalance有多少种？分别是什么？
        • Kafka的partitin副本几个合适?
        • 需要安装多少台Kafka
        • Kafka中是怎么体现消息顺序性的？
        • 为什么Kafka不支持读写分离？
        • Kafka中的消息是否会丢失和重复消费？
        • kafka的message格式是什么样的
        • 如果leader crash时，ISR为空怎么办
        • ack 的0, 1, -1 代表什么
        • kafka producer如何优化写入速度
        • 什么情况下一个 broker 会从 isr中踢出去
        • kafka follower如何与leader同步数据
        • Zookeeper中Kafka相关信息的存储
        • Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么
      • Flume
        • Flume对接Kafka
      • Java操作Kafka
        • SpringBoot操作
          • 事务案例
        • 拦截器
          • 拦截器案例
          • 概念
        • Consumer
          • 02.自定义存储Offset
          • 01.消费消息并提交Offset
        • Producer
          • 同步发送API
          • 异步发送API
      • Linux命令
        • Topic相关操作命令
  • 领导的要求：你来对 Kafka、RabbitMQ 以及 RocketMQ 进行技术选型调研
    • 那你们使用什么 mq？基于什么做的选型？
    • 多个MQ如何选型？
  • RabbitMQ
    • 1.基础概念
    • 2.AMQP 概论
      • 客户端与 RabbitMQ 的通讯
      • 生产者,消费者,消息
      • 交换器、队列、绑定、路由键关系
      • 消息的确认
      • 虚拟主机
    • 3.RabbitMQ工作模型
    • 5.交换器的概念和使用
      • Topic的案例
      • Fanout广播交换器Demo
      • Direct基本Demo
        • 一个队列多个消费者
        • 一个连接多个信道
        • 多个路由键的绑定
    • 6.RabbitMQ控制台
    • Linux操作命令
    • 集群
    • Linux安装
    • 消息的属性
    • 控制队列
    • 消费者对消息的消费
    • 生产者投递机制
暂无相关搜索结果！

    让时间为你证明

    展开/收起文章目录

    分享，让知识传承更久远

    文章二维码

    手机扫一扫，轻松掌上读

    文档下载

    请下载您需要的格式的文档，随时随地，享受汲取知识的乐趣！
    PDF文档 EPUB文档 MOBI文档

    书签列表

      阅读记录

      阅读进度: 0.00% ( 0/0 ) 重置阅读进度
        思维导图备注