分布式链路追踪是讲一个分布式请求还原成调用链路,进行日志记录、性能监控并将一次分布式请求的调用情况集中展示。
目前业界比较流行的链路追踪系统如:Twitter的Zipkin,阿里的鹰眼,美团的Mtrace,大众点评的cat等,大部分都是基于google发表的Dapper。Dapper阐述了分布式系统,特别是微服务架构中链路追踪的概念、数据表示、埋点、传递、收集、存储与展示等技术细节。

1 sleuth概述

1.1 简介

sleuth只要功能是在分布式系统中提供追踪解决方案,并且兼容支持了zipkin。
只需要在pom文件引入依赖即可

1.2 相关概念

span

基本工作单元

trace

一系列的spans组成的一个树状结构

annotation

用来及时记录一个时间的存在,一个annotations用来定义一个请求的开始和结束

  • cs - Client Sent -客户端发起一个请求,这个annotion描述了这个span的开始
  • sr - Server Received -服务端获得请求并准备开始处理它,如果将其sr减去cs时间戳便可得到网络延迟
  • ss - Server Sent -注解表明请求处理的完成(当请求返回客户端),如果ss减去sr时间戳便可得到服务端需要的处理请求时间
  • cr - Client Received -表明span的结束,客户端成功接收到服务端的回复,如果cr减去cs时间戳便可得到客户端从服务端获取回复的所有所需时间

1.3 入门

依赖

  1. <dependency>
  2. <groupId>org.springframework.cloud</groupId>
  3. <artifactId>spring-cloud-starter-sleuth</artifactId>
  4. <version>3.0.4</version>
  5. </dependency>

application.yml

logging:
    level:
        root:InFO
        org.springframework.web.servlet.DispatcherServlet: DEBUG
        org.springframework.cloud.sleuth: DEBUG

2 zipkin

致力于收集服务的定时间数据,以解决微服务架构中的延迟问题,包括数据的收集、存储、查找、展现

2.1 核心组件

image.png

  1. collector:收集器组件,用于处理从外部系统发送过来的跟踪信息,将这些信息转换成zipkin内部处理的span格式,以支持后续的存储、分析、展示
  2. storage:存储组件,处理收集器接收到的跟踪信息,默认将这些信息存储到内存中
  3. restful API:api组件,提供外部访问接口
  4. web ui :ui组件,通过ui组件用户可以方便直观地查询和分析跟踪信息

2.2 分类

  • zipkin客户端:配置服务端的url地址,一旦发生服务件的调用时,会被配置在微服务里面的sleuth的监听器监听,并生成相应的trace和span信息发送给服务端
    • 发送方式
      • http报文
      • 消息总线:rabbitmq
  • zipkin服务端

无论哪种方式,都需要

  1. 一个eureka服务注册中心
  2. 一个zipkin服务端
  3. 多个微服务,微服务中配置zipkin客户端

2.3 zipkin部署

下载zipkin :https://repo1.maven.org/maven2/io/zipkin/zipkin-server/
启动:在命令行输入 java -jar zipkin-server-2.12.9-exec.jar

默认端口:9411
管理后台:http://127.0.0.1:9411/

2.4 zipkin+sleuth整合

依赖

<dependency>
  <groupId>org.springframework.cloud</groupId>
  <artifactId>spring-cloud-starter-zipkin</artifactId>
  <version>2.2.8.RELEASE</version>
</dependency>

application.yml

spring:
        zipkin:
        base-url: http://127.0.0.1:9411/
        sender:
            type: web #请求方式,默认以http的方式向zipkin server发送追踪数据
    sleuth:
      sampler:
          probability: 1.0 #采样的百分比

测试

2.5 基于消息中间件收集数据

在默认情况下,Zipkin客户端和Server之间是使用HTTP请求的方式进行通信(即同步的请求方式),在网络波动,Server端异常等情况下可能存在信息收集不及时的问题。Zipkin支持与rabbitMQ整合完成异步消息传输。

image.png

2.5.1 安装rabbitmq

2.5.2 启动服务端

java -jar zipkin-server-2.12.9-exec.jar --RABBIT_ADDRESSES=127.0.0.1:5672
  1. RABBIT_ADDRESSES:指定rabbitmq地址
  2. RABBIT_USER:用户名,默认guest
  3. RABBIT_PASSWORD:密码。默认guest

启动Zipkin Server之后,我们打开RabbitMQ的控制台可以看到多了一个Queue

2.5.3 客户端配置

                <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-sleuth</artifactId>
            <version>3.0.4</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-zipkin</artifactId>
            <version>2.2.8.RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-sleuth-zipkin</artifactId>
            <version>3.0.4</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.amqp</groupId>
            <artifactId>spring-rabbit</artifactId>
        </dependency>

application.yml

spring:
     zipkin:
        sender:
            type: rabbit
    sleuth:
      sampler:
          probability: 1.0 #采样的百分比

    rabbitmq:
        host: localhost
        port: 5672
        username: guest
        password: guest
        listener: #配置重试策略
          direct:
            retry:
                enabled: true
          simple:
            retry:
                enabled: true

测试
关闭Zipkin Server,并随意请求连接。打开rabbitmq管理后台可以看到,消息已经推送到rabbitmq。
当Zipkin Server启动时,会自动的从rabbitmq获取消息并消费,展示追踪数据

2.6 存储跟踪数据
zipkin默认时间追踪数据信息保存到内存,一旦service关闭重启或者服务崩溃,就会导致历史数据消失。
zipkin支持追踪数据持久化到mysql数据库或者存储到elasticsearch

官网查找zipkin持久mysql数据库脚本

 CREATE TABLE IF NOT EXISTS zipkin_spans (
        `trace_id_high` BIGINT NOT NULL DEFAULT 0 COMMENT 'If non zero, this
means the trace uses 128 bit traceIds instead of 64 bit',
        `trace_id` BIGINT NOT NULL,
`id` BIGINT NOT NULL,
`name` VARCHAR(255) NOT NULL,
`parent_id` BIGINT,
`debug` BIT(1),
`start_ts` BIGINT COMMENT 'Span.timestamp(): epoch micros used for endTs
query and to implement TTL',
`duration` BIGINT COMMENT 'Span.duration(): micros used for minDuration
and maxDuration query'
    ) ENGINE=InnoDB ROW_FORMAT=COMPRESSED CHARACTER SET=utf8 COLLATE
utf8_general_ci;
    ALTER TABLE zipkin_spans ADD UNIQUE KEY(`trace_id_high`, `trace_id`, `id`)
COMMENT 'ignore insert on duplicate';
ALTER TABLE zipkin_spans ADD INDEX(`trace_id_high`, `trace_id`, `id`) COMMENT 'for joining with zipkin_annotations';
    ALTER TABLE zipkin_spans ADD INDEX(`trace_id_high`, `trace_id`) COMMENT 'for
getTracesByIds';
    ALTER TABLE zipkin_spans ADD INDEX(`name`) COMMENT 'for getTraces and
getSpanNames';
    ALTER TABLE zipkin_spans ADD INDEX(`start_ts`) COMMENT 'for getTraces
ordering and range';
    CREATE TABLE IF NOT EXISTS zipkin_annotations (
        `trace_id_high` BIGINT NOT NULL DEFAULT 0 COMMENT 'If non zero, this
means the trace uses 128 bit traceIds instead of 64 bit',
        `trace_id` BIGINT NOT NULL COMMENT 'coincides with
zipkin_spans.trace_id',
`span_id` BIGINT NOT NULL COMMENT 'coincides with zipkin_spans.id',
        `a_key` VARCHAR(255) NOT NULL COMMENT 'BinaryAnnotation.key or
Annotation.value if type == -1',
        `a_value` BLOB COMMENT 'BinaryAnnotation.value(), which must be smaller
than 64KB',
`a_type` INT NOT NULL COMMENT 'BinaryAnnotation.type() or -1 if
Annotation',
        `a_timestamp` BIGINT COMMENT 'Used to implement TTL;
Annotation.timestamp or zipkin_spans.timestamp',
        `endpoint_ipv4` INT COMMENT 'Null when Binary/Annotation.endpoint is
null',
        `endpoint_ipv6` BINARY(16) COMMENT 'Null when Binary/Annotation.endpoint
is null, or no IPv6 address',
        `endpoint_port` SMALLINT COMMENT 'Null when Binary/Annotation.endpoint
is null',
        `endpoint_service_name` VARCHAR(255) COMMENT 'Null when
Binary/Annotation.endpoint is null'
    ) ENGINE=InnoDB ROW_FORMAT=COMPRESSED CHARACTER SET=utf8 COLLATE
utf8_general_ci;
ALTER TABLE zipkin_annotations ADD UNIQUE KEY(`trace_id_high`, `trace_id`, `span_id`, `a_key`, `a_timestamp`) COMMENT 'Ignore insert on duplicate';
    ALTER TABLE zipkin_annotations ADD INDEX(`trace_id_high`, `trace_id`,
`span_id`) COMMENT 'for joining with zipkin_spans';
    ALTER TABLE zipkin_annotations ADD INDEX(`trace_id_high`, `trace_id`)
COMMENT 'for getTraces/ByIds';
ALTER TABLE zipkin_annotations ADD INDEX(`endpoint_service_name`) COMMENT 'for getTraces and getServiceNames';
ALTER TABLE zipkin_annotations ADD INDEX(`a_type`) COMMENT 'for getTraces';
    ALTER TABLE zipkin_annotations ADD INDEX(`a_key`) COMMENT 'for getTraces';
    ALTER TABLE zipkin_annotations ADD INDEX(`trace_id`, `span_id`, `a_key`)
COMMENT 'for dependencies job';
    CREATE TABLE IF NOT EXISTS zipkin_dependencies (
        `day` DATE NOT NULL,
        `parent` VARCHAR(255) NOT NULL,
        `child` VARCHAR(255) NOT NULL,
        `call_count` BIGINT
    ) ENGINE=InnoDB ROW_FORMAT=COMPRESSED CHARACTER SET=utf8 COLLATE
utf8_general_ci;
    ALTER TABLE zipkin_dependencies ADD UNIQUE KEY(`day`, `parent`, `child`);

配置启动服务器

java -jar zipkin-server-2.12.9-exec.jar --STORAGE_TYPE=mysql --
MYSQL_HOST=127.0.0.1 --MYSQL_TCP_PORT=3306 --MYSQL_DB=zipkin --MYSQL_USER=root -
-MYSQL_PASS=root
  1. STORAGE_TYPE:存储类型
  2. MYSQL_HOST:mysql主机地址
  3. MYSQL_TCP_PORT:mysql端口
  4. MYSQL_DB:数据库名称
  5. MYSQL_USER:用户名
  6. MYSQL_PASS密码