• MantouDev
• Apache Atlas开发指南(中文版)
• Introduction
• 一、高级架构​
• 二、类型系统​
• 三、基本搜索
• 四、高级搜索
• 五、术语​
• 六、安全
• 七、认证
• 八、Atlas授权模型
  • 8.1 配置Atlas Simple Authorizer
  • 8.2 配置Atlas Ranger Authorizer
• 九、分类传播​
• 十、配置Atlas属性
• 十一、通知
• 十二、Hook & Bridge
  • 12.1 HBase Hook＆Bridge
  • 12.2 Hive Hook＆Bridge
  • 12.3 Sqoop Hook
  • 12.4 Storm Hook
  • 12.5 Kafka Bridge
• 十三、容错和高可用选项
• 本书使用 GitBook 发布

12.5 Kafka Bridge

• Apache Atlas Hook for Apache Kafka
• 1. Kafka 模型
• 2. 安装
• 3. 导入Kafka元数据

Apache Atlas Hook for Apache Kafka

1. Kafka 模型

Kafka模型包含以下类型(type):

• Entity types:
  • kafka_topic
    • super-types: DataSet
    • attributes: qualifiedName, name, description, owner, topic, uri, partitionCount

使用唯一属性qualifiedName在Atlas中创建和删除Kafka实体，其值应格式化如下。请注意，qualifiedName将以小写字母显示主题名称。

topic.qualifiedName: <topic>@<clusterName>

2. 安装

二进制文件存在于apache-atlas--kafka-hook.tar.gz中

将apache-atlas-kafka-hook-/hook/kafka文件夹复制到/hook/目录

将apache-atlas-kafka-hook-/hook-bin文件夹复制到/hook-bin目录

3. 导入Kafka元数据

Apache Atlas提供了一个命令行脚本import-kafka.sh，用于将Apache Kafka主题的元数据导入Apache Atlas。此脚本可用于使用Apache Kafka中存在的主题初始化Apache Atlas。此脚本支持导入特定主题或所有主题的元数据。

Usage 1: <atlas package>/hook-bin/import-kafka.sh
Usage 2: <atlas package>/hook-bin/import-kafka.sh [-t <topic prefix> OR --topic <topic prefix>]
Usage 3: <atlas package>/hook-bin/import-kafka.sh [-f <filename>]
         File Format:
            topic1
            topic2
            topic3

results matching ""

No results matching ""