资料来源：https://www.bilibili.com/video/BV1ZJ411s7Mn/?p=2
学习目标

  1. 能够知道什么是Skywalking
  2. 能够搭建Skywalking环境
  3. 能够使用Skywalking进行rpc调用监控
  4. 能够使用Skywalking进行mysql调用监控
  5. 了解Skywalking插件
  6. 了解Skywalking agent和Open Tracing原理

image.png

  1. 当调用出现异常时，能够快速定位到是哪个服务异常从而导致整个调用出现异常

  2. 了解当前服务线上性能指标

    1、Skywalking概述

    1.1 APM系统概述

    APM（Application Performance Management）即应用性能管理系统，是对企业系统即时监控以实现对应用程序性能管理和故障管理的系统化的解决方案。应用性能管理，主要指对企业的关键业务应用进行监测、优化，提高企业应用的可靠性和质量，保证用户得到良好的服务，降低IT总拥有成本。
    APM系统是可以帮助理解系统行为、用于分析性能问题的工具，以便发生故障的时候，能够快速定位和解决问题。

    1.2 分布式链路追踪

    随着分布式系统和微服务架构的出现，一次用户的请求会经过多个系统，不同服务之间的调用关系十分复杂，任何一个系统出错都可能影响整个请求的处理结果。以往的监控系统往往只能知道单个系统的健康状况、一次请求的成功失败，无法快速定位失败的根本原因。
    image.png
    除此之外，复杂的分布式系统也面临这下面这些问题：

  3. 性能分析：一个服务依赖很多服务，被依赖的服务也依赖了其他服务。如果某个接口耗时突然变长了，那未必是直接调用的下游服务慢了，也可能是下游的下游慢了造成的，如何快速定位耗时变长的根本原因呢

  4. 链路梳理：需求迭代很快，系统之间调用关系变化频繁，靠人工很难梳理清楚系统链路拓扑（系统之间的调用关系）。

为了解决这些问题，Google推出了一个分布式链路跟踪系统Dapper，之后各个互联网公司都参照Dapper的思想推出了自己的分布式链路跟踪系统，而这些系统就是分布式系统下的APM系统。

1.3 OpenTracing概述

分布式链路跟踪最先由Google在Dapper论文中提出，而OpenTracing通过提供平台无关、厂商无关的API，使得开发人员能够方便的添加（或更换）追踪系统的实现。
下图是一个分布式调用的例子，客户端发起请求，请求首先到达负载均衡器，接着经过认证服务，订单服务，然后请求资源，最后返回结果。
image.png
虽然这种图对于看清各组件的组合关系是很有用的，但是存在下面两个问题：

  1. 它不能很好显示组件的调用时间，是串行调用还是并行调用，如果展现更复杂的调用关系，会更加复杂，甚至无法画出这样的图。
  2. 这种图也无法显示调用间的时间间隔以及是否通过定时调用来启动调用。

一种更有效的展现一个调用过程的图：
image.png
基于OpenTracing我们就可以很轻松的构建出上面这幅图。

1.4 主流的开源APM产品

PinPoint

Pinpoint是由一个韩国团队实现并开源，针对Java编写的大规模分布式系统设计，通过JavaAgent的机制做字节代码植入，实现加入traceid和获取性能数据的目的，对应用代码零侵入。
官方网站：https://github.com/naver/pinpoint
image.png

SkyWalking

SkyWalking是apache基金会下面的一个开源APM项目，为微服务架构和云原生架构系统设计。它通过探针自动收集所需的指标，并进行分布式追踪。通过这些调用链路以及指标，Skywalking APM会感知应用间关系和服务间关系，并进行相应的指标统计。Skywalking支持链路追踪和监控应用组件基本涵盖主流框架和容器，如国产RPC Dubbo和motan等，国际化的spring boot，spring cloud。
官方网站：http://skywalking.apache.org/

Zipkin

Zipkin是由Twitter开源，是分布式链路调用监控系统，聚合各业务系统调用延迟数据，达到链路调用监控跟踪。Zipkin基于Google的Dapper论文实现，主要完成数据的收集、存储、搜索与界面展示。
官方网站：https://zipkin.io/
image.png

CAT

CAT是由大众点评开源的项目，基于Java开发的实时应用监控平台，包括实时应用监控，业务监控，可以提供十几张报表展示。
官方网站：https://github.com/dianping/cat

1.5 Skywalking

1.5.1 Skywalking概述

根据官方的解释，Skywalking是一个可观测性分析平台（Observability Analysis Platform简称OAP）和应用性能管理系统（Application Performance Management简称APM）。
提供分布式链路追踪、服务网格（Service Mesh）遥测分析、度量（Metric）聚合和可视化一体化解决方案。
下面是Skywalking的几大特点：

  1. 多语言自动探针，Java，.NET Core和Node.JS
  2. 多种监控手段，语言探针和service mesh
  3. 轻量高效。不需要额外搭建大数据平台
  4. 模块化架构。UI、存储、集群管理多种机制可选
  5. 支持告警
  6. 优秀的可视化效果。

Skywalking整体架构如下：
image.png
Skywalking提供Tracing和Metrics数据的获取和聚合。

  1. Metric的特点是，它是可累加的：他们具有原子性，每个都是一个逻辑计量单元，或者一个时间段内的柱状图。 例如：队列的当前深度可以被定义为一个计量单元，在写入或读取时被更新统计；输入HTTP请求的数量可以被定义为一个计数器，用于简单累加；请求的执行时间可以被定义为一个柱状图，在指定时间片上更新和统计汇总。
  2. Tracing的最大特点就是，它在单次请求的范围内，处理信息。 任何的数据、元数据信息都被绑定到系统中的单个事务上。 例如：一次调用远程服务的RPC执行过程；一次实际的SQL查询语句；一次HTTP请求的业务性ID。
  3. 总结，Metric主要用来进行数据的统计，比如HTTP请求数的计算。Tracing主要包含了某一次请求的链路数据。
  4. 详细的内容可以查看Skywalking开发者吴晟翻译的文章，Metrics, tracing 和 logging 的关系：http://blog.oneapm.com/apm-tech/811.html

整体架构包含如下三个组成部分：

  1. 探针（agent）负责进行数据的收集，包含了Tracing和Metrics的数据，agent会被安装到服务所在的服务器上，以方便数据的获取。
  2. 可观测性分析平台OAP（Observability Analysis Platform），接收探针发送的数据，并在内存中使用分析引擎（Analysis Core)进行数据的整合运算，然后将数据存储到对应的存储介质上，比如Elasticsearch、MySQL数据库、H2数据库等。同时OAP还使用查询引擎(Query Core)提供HTTP查询接口。

  3. Skywalking提供单独的UI进行数据的查看，此时UI会调用OAP提供的接口，获取对应的数据然后进行展示。

    1.5.2 Skywalking优势

    Skywalking相比较其他的分布式链路监控工具，具有以下特点：

  4. 社区相当活跃：Skywalking已经进入apache孵化，目前的start数已经超过11K，最新版本6.5.0已经发布。开发者是国人，可以直接和项目发起人交流进行问题的解决。

  5. Skywalking支持Java，.NET Core和Node.JS语言。相对于其他平台：比如Pinpoint支持Java和PHP,具有较大的优势。
  6. 探针无倾入性：对比CAT具有倾入性的探针，优势较大。不修改原有项目一行代码就可以进行集成。
  7. 探针性能优秀：有网友对Pinpoint和Skywalking进行过测试，由于Pinpoint收集的数据过多，所以对性能损耗较大，而Skywalking探针性能十分出色。

  8. 支持组件较多：特别是对Rpc框架的支持，这是其他框架所不具备的。Skywalking对Dubbo、gRpc等有原生的支持，甚至连小众的motan和sofarpc都支持。

    1.5.3 Skywalking主要概念介绍

    使用如下案例来进行Skywalking主要概念的介绍，Skywalking主要概念包含：

  9. 服务（Service）

  10. 端点（Endpoint）
  11. 实例（Instance）

image.png
上图中，我们编写了用户服务，这是一个web项目，在生产中部署了两个节点：192.168.1.100和192.168.1.101。

  1. 用户服务就是Skywalking的服务（Service），用户服务其实就是一个独立的应用（Application），在6.0之后的Skywalking将应用更名为服务（Service）
  2. 用户服务对外提供的HTTP接口/usr/queryAll就是一个端点，端点就是对外提供的接口

  3. 192.168.1.100和192.168.1.101这两个相同服务部署的节点就是实例，实例指同一服务可以部署多个

    1.6 环境搭建

    接下来我们在虚拟机CentOS中搭建Skywalking的可观测性分析平台OAP环境。Skywalking默认使用H2内存中进行数据的存储（重启服务数据会丢失），我们可以替换存储源为ElasticSearch保证其查询的高效及可用性。
    具体的安装步骤可以在Skywalking的官方github上找到：
    https://github.com/apache/skywalking/blob/master/docs/en/setup/README.md

    1.6.1 安装ElasticSearch

    1、创建目录（服务器192.168.195.104） 

    1. [root@node4 ~]# mkdir /usr/local/skywalking
    2. [root@node4 ~]#
    3. [root@node4 ~]# cd /usr/local/skywalking

    建议将虚拟机内存设置为3G并且将CPU设置成2核，防止资源不足。
    image.png
    2、将资源目录中的elasticsearch和skywalking安装包上传到虚拟机/usr/local/skywalking目录下。
    elasticsearch-6.4.0.tar.gz —-elasticsearch 6.4的安装包，Skywalking对es版本号有一定要求，最好使用6.3.2以上版本，如果是7.x版本需要额外进行配置。
    apache-skywalking-apm-6.5.0.tar.gz —-Skywalking最新的安装包
    3、首先安装elasticsearch，将压缩包解压。 

    1. [root@node4 skywalking]# ll
    2. 总用量 233560
    3. -rw-r--r--. 1 root root 141262599 11月  6 10:16 apache-skywalking-apm-6.5.0.tar.gz
    4. -rw-r--r--. 1 root root  97901357 11月  6 10:16 elasticsearch-6.4.0.tar.gz
    5. [root@node4 skywalking]#
    6. [root@node4 skywalking]# tar -zxvf elasticsearch-6.4.0.tar.gz
    7. elasticsearch-6.4.0/
    8. elasticsearch-6.4.0/lib/
    9. elasticsearch-6.4.0/lib/elasticsearch-6.4.0.jar
    10. .........

    修改Linux系统的限制配置，将文件创建数修改为65536个。

  4. 修改系统中允许应用最多创建多少文件等的限制权限。Linux默认来说，一般限制应用最多创建的文件是65535个。但是ES至少需要65536的文件创建数的权限。

  5. 修改系统中允许用户启动的进程开启多少个线程。默认的Linux限制root用户开启的进程可以开启任意数量的线程，其他用户开启的进程可以开启1024个线程。必须修改限制数为4096+。因为ES至少需要4096的线程池预备 ```powershell [root@node4 elasticsearch-6.4.0]# vi /etc/security/limits.conf

新增如下内容在limits.conf文件末尾

es soft nofile 65536 es hard nofile 65536 es soft nproc 4096 es hard nproc 4096

  1. 修改系统控制权限，ElasticSearch需要开辟一个65536字节以上空间的虚拟内存。Linux默认不允许任何用户和应用程序直接开辟这么大的虚拟内存。 
  2. ```powershell
  3. [root@node4 elasticsearch-6.4.0]# vi /etc/sysctl.conf
  5. # 新增如下内容在sysctl.conf文件末尾，当前用户拥有的内存权限大小
  6. vm.max_map_count=262144
  8. # 让系统控制权限配置生效
  9. [root@node4 elasticsearch-6.4.0]# sysctl -p
  10. vm.max_map_count = 262144

image.png
建一个用户，用于ElasticSearch启动。 ES在5.x版本之后，强制要求在linux中不能使用root用户启动ES进程。所以必须使用其他用户启动ES进程才可以。 

  1. # 创建用户
  2. [root@node4 elasticsearch-6.4.0]# useradd es
  4. # 修改上述用户的密码：qwe123QWE.
  5. [root@node4 elasticsearch-6.4.0]# passwd es
  6. 更改用户 es 的密码 。
  7. 新的 密码：
  8. 重新输入新的 密码：
  9. passwd：所有的身份验证令牌已经成功更新。
  10. [root@node4 elasticsearch-6.4.0]#
  11. [root@node4 elasticsearch-6.4.0]# cd ..
  13. # 修改elasicsearch目录的拥有者
  14. [root@node4 skywalking]# chown -R es elasticsearch-6.4.0
  15. [root@node4 skywalking]#
  16. [root@node4 skywalking]# su es
  17. [es@node4 skywalking]$

使用es用户启动elasticsearch 

  1. # 切换用户
  2. [root@node4 skywalking]# su es
  3. [es@node4 skywalking]$
  4. [es@node4 skywalking]$ cd elasticsearch-6.4.0/
  5. [es@node4 elasticsearch-6.4.0]$
  6. [es@node4 elasticsearch-6.4.0]$ ll
  7. 总用量 436
  8. drwxr-xr-x.  3 es root   4096 11月  6 10:17 bin
  9. drwxr-xr-x.  2 es root    148 8月  18 2018 config
  10. drwxr-xr-x.  3 es root   4096 8月  18 2018 lib
  11. -rw-r--r--.  1 es root  13675 8月  18 2018 LICENSE.txt
  12. drwxr-xr-x.  2 es root      6 8月  18 2018 logs
  13. drwxr-xr-x. 27 es root   4096 8月  18 2018 modules
  14. -rw-r--r--.  1 es root 401465 8月  18 2018 NOTICE.txt
  15. drwxr-xr-x.  2 es root      6 8月  18 2018 plugins
  16. -rw-r--r--.  1 es root   8511 8月  18 2018 README.textile
  17. [es@node4 elasticsearch-6.4.0]$
  19. # 到ElasticSearch的bin目录下
  20. [es@node4 elasticsearch-6.4.0]$ cd bin
  22. # 需要先安装JDK
  23. [root@node4 bin]# yum install java-1.8.0-openjdk* -y
  24. 已加载插件：fastestmirror, langpacks
  25. Loading mirror speeds from cached hostfile
  26. ........
  28. [root@node4 bin]# java -version
  29. openjdk version "1.8.0_352"
  30. OpenJDK Runtime Environment (build 1.8.0_352-b08)
  31. OpenJDK 64-Bit Server VM (build 25.352-b08, mixed mode)
  33. # 后台启动
  34. [es@node4 bin]$ ./elasticsearch -d
  36. [es@node4 bin]$ cd ..
  37. [es@node4 elasticsearch-6.4.0]$ tail -f logs/elasticsearch.log
  38. [2022-11-06T10:43:24,507][INFO ][o.e.g.GatewayService     ] [zUpUL-V] recovered [0] indices into cluster_state
  39. [2022-11-06T10:43:24,627][INFO ][o.e.c.m.MetaDataIndexTemplateService] [zUpUL-V] adding template [.watches] for index patterns [.watches*]
  40. [2022-11-06T10:43:24,678][INFO ][o.e.c.m.MetaDataIndexTemplateService] [zUpUL-V] adding template [.watch-history-9] for index patterns [.watcher-history-9*]
  41. ......

默认ElasticSearch是不支持跨域访问的，所以在不修改配置文件的情况下我们只能从虚拟机内部进行 访问测试ElasticSearch是否安装成功，使用curl命令访问9200端口： 

  1. [es@node4 elasticsearch-6.4.0]$ curl http://localhost:9200

如果显示出如下信息，就证明ElasticSearch安装成功： 

  1. {
  2.   "name" : "zUpUL-V",
  3.   "cluster_name" : "elasticsearch",
  4.   "cluster_uuid" : "aEJUuZ0xSBKuDgOyya1rcg",
  5.   "version" : {
  6.     "number" : "6.4.0",
  7.     "build_flavor" : "default",
  8.     "build_type" : "tar",
  9.     "build_hash" : "595516e",
  10.     "build_date" : "2018-08-17T23:18:47.308994Z",
  11.     "build_snapshot" : false,
  12.     "lucene_version" : "7.4.0",
  13.     "minimum_wire_compatibility_version" : "5.6.0",
  14.     "minimum_index_compatibility_version" : "5.0.0"
  15.   },
  16.   "tagline" : "You Know, for Search"
  17. }

1.6.2 安装Skywalking

安装Skywalking分为两个步骤：

  1. 安装Backend后端服务：收集探针上报的数据，并对其加工，加工完成后将数据放入elasticsearch。提交前端ui接口访问，提供查询数据的接口
  2. 安装UI

首先切回到root用户，切换到目录下，解压Skywalking压缩包。

  1. [es@node4 skywalking]$ ll
  2. 总用量 233560
  3. -rw-r--r--. 1 root root 141262599 11月  6 10:16 apache-skywalking-apm-6.5.0.tar.gz
  4. drwxr-xr-x. 9 es   root       155 11月  6 10:43 elasticsearch-6.4.0
  5. -rw-r--r--. 1 root root  97901357 11月  6 10:16 elasticsearch-6.4.0.tar.gz
  7. # 切换到root用户，密码为root
  8. [es@node4 skywalking]$ su root
  9. 密码：
  11. # 切换到skywalking目录
  12. [root@node4 skywalking]# cd /usr/local/skywalking
  13. [root@node4 skywalking]#
  14. [root@node4 skywalking]# pwd
  15. /usr/local/skywalking
  18. # 解压压缩包
  19. [root@node4 skywalking]# tar -zxvf apache-skywalking-apm-6.5.0.tar.gz
  20. apache-skywalking-apm-bin/webapp/skywalking-webapp.jar
  21. apache-skywalking-apm-bin/webapp/webapp.yml
  22. ........

修改Skywalking存储的数据源配置： 

  1. [root@node4 skywalking]# cd apache-skywalking-apm-bin/
  2. [root@node4 apache-skywalking-apm-bin]#
  3. [root@node4 apache-skywalking-apm-bin]# ll
  4. 总用量 88
  5. drwxrwxr-x. 8 1001 1002   143 11月 12 2019 agent
  6. drwxr-xr-x. 2 root root   241 11月  6 10:48 bin
  7. drwxr-xr-x. 2 root root   186 11月  6 10:48 config
  8. -rwxrwxr-x. 1 1001 1002 28903 11月 12 2019 LICENSE
  9. drwxrwxr-x. 3 1001 1002  4096 11月  6 10:48 licenses
  10. -rwxrwxr-x. 1 1001 1002 31850 11月 12 2019 NOTICE
  11. drwxrwxr-x. 2 1001 1002 12288 11月 12 2019 oap-libs
  12. -rw-rw-r--. 1 1001 1002  1978 11月 12 2019 README.txt
  13. drwxr-xr-x. 2 root root    53 11月  6 10:48 webapp
  14. [root@node4 apache-skywalking-apm-bin]#
  15. [root@node4 apache-skywalking-apm-bin]# vi config/application.yml

我们可以看到默认配置中，使用了H2作为数据源。我们将其全部注释。 

  1. # h2:
  2. # driver: ${SW_STORAGE_H2_DRIVER:org.h2.jdbcx.JdbcDataSource}
  3. # url: ${SW_STORAGE_H2_URL:jdbc:h2:mem:skywalking-oap-db}
  4. # user: ${SW_STORAGE_H2_USER:sa}
  5. # metadataQueryMaxSize: ${SW_STORAGE_H2_QUERY_MAX_SIZE:5000}
  6. # mysql:
  7. # metadataQueryMaxSize: ${SW_STORAGE_H2_QUERY_MAX_SIZE:5000}

将ElasticSearch对应的配置取消注释： 

  1. storage:
  2.   elasticsearch:
  3.     nameSpace: ${SW_NAMESPACE:""}
  4.     clusterNodes: ${SW_STORAGE_ES_CLUSTER_NODES:localhost:9200}
  5.     protocol: ${SW_STORAGE_ES_HTTP_PROTOCOL:"http"}
  6.     trustStorePath: ${SW_SW_STORAGE_ES_SSL_JKS_PATH:"../es_keystore.jks"}
  7.     trustStorePass: ${SW_SW_STORAGE_ES_SSL_JKS_PASS:""}
  8.     user: ${SW_ES_USER:""}
  9.     password: ${SW_ES_PASSWORD:""}
  10.     indexShardsNumber: ${SW_STORAGE_ES_INDEX_SHARDS_NUMBER:2}
  11.     indexReplicasNumber: ${SW_STORAGE_ES_INDEX_REPLICAS_NUMBER:0}
  12.     # Those data TTL settings will override the same settings in core module.
  13.     recordDataTTL: ${SW_STORAGE_ES_RECORD_DATA_TTL:7} # Unit is day
  14.     otherMetricsDataTTL: ${SW_STORAGE_ES_OTHER_METRIC_DATA_TTL:45} # Unit is day
  15.     monthMetricsDataTTL: ${SW_STORAGE_ES_MONTH_METRIC_DATA_TTL:18} # Unit is month
  16.     # # Batch process setting, refer to https://www.elastic.co/guide/en/elasticsearch/client/java-api/5.5/java-docsbulk-processor.html
  17.     bulkActions: ${SW_STORAGE_ES_BULK_ACTIONS:1000} # Execute the bulk every 1000 requests
  18.     flushInterval: ${SW_STORAGE_ES_FLUSH_INTERVAL:10} # flush the bulk every 10 seconds whatever the number of requests
  19.     concurrentRequests: ${SW_STORAGE_ES_CONCURRENT_REQUESTS:2} # the number of concurrent requests
  20.     metadataQueryMaxSize: ${SW_STORAGE_ES_QUERY_MAX_SIZE:5000}
  21.     segmentQueryMaxSize: ${SW_STORAGE_ES_QUERY_SEGMENT_SIZE:200}

image.png
默认使用了localhost下的ES，所以我们可以不做任何处理，直接进行使用。启动OAP程序： 

  1. [root@node4 bin]# ll
  2. 总用量 40
  3. -rwxr-xr-x. 1 1001 1002 1352 11月 12 2019 oapService.bat
  4. -rwxr-xr-x. 1 1001 1002 1364 11月 12 2019 oapServiceInit.bat
  5. -rwxr-xr-x. 1 1001 1002 1597 11月 12 2019 oapServiceInit.sh
  6. -rwxr-xr-x. 1 1001 1002 1367 11月 12 2019 oapServiceNoInit.bat
  7. -rwxr-xr-x. 1 1001 1002 1616 11月 12 2019 oapServiceNoInit.sh
  8. -rwxr-xr-x. 1 1001 1002 1599 11月 12 2019 oapService.sh
  9. -rwxr-xr-x. 1 1001 1002  941 11月 12 2019 startup.bat
  10. -rwxr-xr-x. 1 1001 1002  934 11月 12 2019 startup.sh
  11. -rwxr-xr-x. 1 1001 1002 1426 11月 12 2019 webappService.bat
  12. -rwxr-xr-x. 1 1001 1002 1630 11月 12 2019 webappService.sh
  14. [root@node4 bin]# bin/oapService.sh

这样安装Backend后端服务就已经完毕了，接下来我们安装UI。先来看一下UI的配置文件： 

  1. [root@node4 apache-skywalking-apm-bin]# cd webapp/
  2. [root@node4 webapp]#
  3. [root@node4 webapp]# ls
  4. skywalking-webapp.jar  webapp.yml
  5. [root@node4 webapp]#
  6. [root@node4 webapp]# vim webapp.yml
  9. # 默认启动端口为8080，修改为9010
  10. server:
  11.     port: 9010
  13. collector:
  14.   path: /graphql
  15.   ribbon:
  16.     ReadTimeout: 10000
  17.     # OAP服务，如果有多个用逗号隔开
  18.       listOfServers: 127.0.0.1:12800

目前的默认配置不用修改就可以使用，启动UI程序： 

  1. [root@node4 bin]# /bin/webappService.sh

然后我们就可以通过浏览器访问Skywalking的可视化页面了，访问地址：http://虚拟机IP地址:9010，如果出现下面的图，就代表安装成功了。
/bin/startup.sh可以同时启动backend和ui（不需要再执行oapService.sh和webappService.sh），后续可以执行该文件进行重启。

  1. [root@node4 bin]# pwd
  2. /usr/local/skywalking/apache-skywalking-apm-bin/bin
  3. [root@node4 bin]#
  4. [root@node4 bin]# ll
  5. 总用量 40
  6. -rwxr-xr-x. 1 1001 1002 1352 11月 12 2019 oapService.bat
  7. -rwxr-xr-x. 1 1001 1002 1364 11月 12 2019 oapServiceInit.bat
  8. -rwxr-xr-x. 1 1001 1002 1597 11月 12 2019 oapServiceInit.sh
  9. -rwxr-xr-x. 1 1001 1002 1367 11月 12 2019 oapServiceNoInit.bat
  10. -rwxr-xr-x. 1 1001 1002 1616 11月 12 2019 oapServiceNoInit.sh
  11. -rwxr-xr-x. 1 1001 1002 1599 11月 12 2019 oapService.sh
  12. -rwxr-xr-x. 1 1001 1002  941 11月 12 2019 startup.bat
  13. -rwxr-xr-x. 1 1001 1002  934 11月 12 2019 startup.sh
  14. -rwxr-xr-x. 1 1001 1002 1426 11月 12 2019 webappService.bat
  15. -rwxr-xr-x. 1 1001 1002 1630 11月 12 2019 webappService.sh
  16. [root@node4 bin]# ./startup.sh
  17. SkyWalking OAP started successfully!
  18. SkyWalking Web Application started successfully!
  20. [root@node4 apache-skywalking-apm-bin]# tail -f logs/webapp.log
  22. # 需要关闭防火墙才能访问
  23. [root@node4 ~]# systemctl stop firewalld
  25. # 永久性关闭防火墙
  26. [root@node4 ~]# systemctl disable firewalld
  27. Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
  28. Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

image.png
image.png

1.6.3 启动注意点

  1. # 切换用户
  2. [root@node4 skywalking]# su es
  3. [es@node4 skywalking]$
  4. [es@node4 skywalking]$ cd elasticsearch-6.4.0/
  6. # 到ElasticSearch的bin目录下
  7. [es@node4 elasticsearch-6.4.0]$ cd bin
  9. # 后台启动
  10. [es@node4 bin]$ ./elasticsearch -d
  1. [root@node4 bin]# pwd
  2. /usr/local/skywalking/apache-skywalking-apm-bin/bin
  3. [root@node4 bin]#
  4. [root@node4 bin]# ./startup.sh
  5. SkyWalking OAP started successfully!
  6. SkyWalking Web Application started successfully!
  1. # 启动应用程序，比如springboot项目
  2. [root@node4 skywalking]# 
  3. [root@node4 skywalking]# java -javaagent:/usr/local/skywalking/apache-skywalking-apm-bin/agent_boot/skywalking-agent.jar -Dserver.port=8082 -jar skywalking_springboot.jar &

2、Skywalking基础

2.1 agent的使用

agent探针可以让我们不修改代码的情况下，对java应用上使用到的组件进行动态监控，获取运行数据发送到OAP上进行统计和存储。agent探针在java中是使用java agent技术实现的，不需要更改任何代码，java agent会通过虚拟机(VM)接口来在运行期更改代码。
Agent探针支持 JDK1.6-12的版本，Agent探针所有的文件在Skywalking的agent文件夹下。文件目录如下：

  1. +-- agent
  2.   +-- activations
  3.     apm-toolkit-log4j-1.x-activation.jar
  4.     apm-toolkit-log4j-2.x-activation.jar
  5.     apm-toolkit-logback-1.x-activation.jar
  6.       ...
  8.   // 配置文件
  9.   +-- config
  10.       agent.config
  12.   // 组件的所有插件
  13.   +-- plugins
  14.     apm-dubbo-plugin.jar
  15.     apm-feign-default-http-9.x.jar
  16.     apm-httpClient-4.x-plugin.jar
  17.     .....
  19.   // 可选插件
  20.   +-- optional-plugins
  21.     apm-gson-2.x-plugin.jar
  22.     .....
  23.   +-- bootstrap-plugins
  24.     jdk-http-plugin.jar
  25.     .....
  26.   +-- logs
  27.       skywalking-agent.jar

部分插件在使用上会影响整体的性能或者由于版权问题放置于可选插件包中，不会直接加载，如果需要使用，将可选插件中的jar包拷贝到plugins包下。
由于没有修改agent探针中的应用名，所以默认显示的是Your_ApplicationName。我们修改下应用名称，让他显示的更加正确。编辑agent配置文件： 

  1. [root@node4 agent]# pwd
  2. /usr/local/skywalking/apache-skywalking-apm-bin/agent
  3. [root@node4 agent]#
  4. [root@node4 agent]# ll
  5. 总用量 17592
  6. drwxrwxr-x. 2 1001 1002      256 11月  6 10:48 activations
  7. drwxrwxr-x. 2 1001 1002       43 11月  6 10:48 bootstrap-plugins
  8. drwxrwxr-x. 2 1001 1002       26 11月  6 10:48 config
  9. drwxrwxr-x. 2 1001 1002        6 11月 12 2019 logs
  10. drwxrwxr-x. 2 1001 1002     4096 11月  6 10:48 optional-plugins
  11. drwxrwxr-x. 2 1001 1002     4096 11月  6 10:48 plugins
  12. -rw-rw-r--. 1 1001 1002 18004816 11月 12 2019 skywalking-agent.jar
  13. [root@node4 agent]#
  14. [root@node4 agent]# cd config/
  15. [root@node4 config]#
  16. [root@node4 config]# ls
  17. agent.config
  18. [root@node4 config]#
  19. [root@node4 config]# vim agent.config

我们在配置中找到这么一行： 

  1. # The service name in UI
  2. agent.service_name=${SW_AGENT_NAME:Your_ApplicationName}

这里的配置含义是可以读取到SW_AGENT_NAME配置属性，如果该配置没有指定，那么默认名称为Your_ApplicationName。这里我们把Your_ApplicationName替换成skywalking_tomcat。 

  1. # The service name in UI
  2. agent.service_name=${SW_AGENT_NAME:skywalking_tomcat}

2.1.1 Linux下Tomcat7和8中使用

要使用Skywalking监控Tomcat中的应用，需要先准备一个Spring Mvc项目，在资源中已经提供了打包好的文件skywalking_springmvc-1.0-SNAPSHOT.war

  1. package com.itcast.controller;
  3. import org.springframework.stereotype.Controller;
  4. import org.springframework.web.bind.annotation.RequestMapping;
  5. import org.springframework.web.bind.annotation.ResponseBody;
  7. @Controller
  8. @RequestMapping("/hello")
  9. public class HelloController {
  11.     @RequestMapping("/sayHello")
  12.     @ResponseBody
  13.     public String sayHello(String name){
  14.         return "hello world";
  15.     }
  16. }

将资源文件下的 apache-tomcat-8.5.47.tar.gz 文件上传至虚拟机/usr/local/skywalking目录下，然后解压：

  1. [root@node4 skywalking]# ll
  2. 总用量 251620
  3. -rw-r--r--.  1 root root 141262599 11月  6 10:16 apache-skywalking-apm-6.5.0.tar.gz
  4. drwxrwxr-x. 11 1001 1002       188 11月  6 11:00 apache-skywalking-apm-bin
  5. -rw-r--r--.  1 root root  10267082 11月  6 11:18 apache-tomcat-8.5.47.tar.gz
  6. drwxr-xr-x.  9 es   root       155 11月  6 10:43 elasticsearch-6.4.0
  7. -rw-r--r--.  1 root root  97901357 11月  6 10:16 elasticsearch-6.4.0.tar.gz
  8. -rw-r--r--.  1 root root   8221017 11月  6 11:18 skywalking_springmvc-1.0-SNAPSHOT.war
  9. [root@node4 skywalking]#
  10. [root@node4 skywalking]# tar -zxvf apache-tomcat-8.5.47.tar.gz
  11. apache-tomcat-8.5.47/conf/
  12. apache-tomcat-8.5.47/conf/catalina.policy
  13. ..........

将skywalking_springmvc-1.0-SNAPSHOT.war包上传至/usr/local/skywalking/apache-tomcat-8.5.47/webapps/下（名称修改为skywalking_springmvc.war）。编辑 /usr/local/skywalking/apache-tomcat-8.5.47/bin/catalina.sh文件，在文件顶部添加： 

  1. # 通过javaagent方式将skywalking-agent.jar与我们的应用程序一起启动，此时可以通过skywalking-agent.jar内定义的方法进行方法拦截
  2. # export CATALINA_OPTS表示导出变量CATALINA_OPTS
  4. CATALINA_OPTS="$CATALINA_OPTS -javaagent:/usr/local/skywalking/apache-skywalking-apm-bin/agent/skywalking-agent.jar"; export CATALINA_OPTS
  7. [root@node4 bin]# pwd
  8. /usr/local/skywalking/apache-tomcat-8.5.47/bin
  9. [root@node4 bin]#
  10. [root@node4 bin]# ls
  11. bootstrap.jar       ciphers.bat                   configtest.bat  digest.sh         shutdown.sh      tomcat-native.tar.gz  version.sh
  12. catalina.bat        ciphers.sh                    configtest.sh   setclasspath.bat  startup.bat      tool-wrapper.bat
  13. catalina.sh         commons-daemon.jar            daemon.sh       setclasspath.sh   startup.sh       tool-wrapper.sh
  14. catalina-tasks.xml  commons-daemon-native.tar.gz  digest.bat      shutdown.bat      tomcat-juli.jar  version.bat
  15. [root@node4 bin]#
  16. [root@node4 bin]# vim catalina.sh

image.png
修改tomcat启动端口： 

  1. [root@node4 conf]# pwd
  2. /usr/local/skywalking/apache-tomcat-8.5.47/conf
  3. [root@node4 conf]#
  4. [root@node4 conf]# vim server.xml
  6. # 修改未被注释的这一行端口为8081
  7. <Connector port="8080" protocol=...

执行bin目录下的./startup.sh文件启动tomcat。然后访问地址： 

  1. [root@node4 bin]# pwd
  2. /usr/local/skywalking/apache-tomcat-8.5.47/bin
  3. [root@node4 bin]#
  4. [root@node4 bin]# ./startup.sh
  5. Using CATALINA_BASE:   /usr/local/skywalking/apache-tomcat-8.5.47
  6. Using CATALINA_HOME:   /usr/local/skywalking/apache-tomcat-8.5.47
  7. Using CATALINA_TMPDIR: /usr/local/skywalking/apache-tomcat-8.5.47/temp
  8. Using JRE_HOME:        /usr
  9. Using CLASSPATH:       /usr/local/skywalking/apache-tomcat-8.5.47/bin/bootstrap.jar:/usr/local/skywalking/apache-tomcat-8.5.47/bin/tomcat-juli.jar
  10. Tomcat started.

http://192.168.195.104:8081/skywalking_springmvc/hello/sayHello.do
如果正确打开，能输出hello world。
image.png
注意：一定要保证虚拟机和物理机的时间一致，否则访问数据的时候会因为时间不一致而获取不到数据。
此时再访问Skywalking的页面，会发现出现了一个服务和端点，同时有一笔调用显示了调用的应用名和接口地址。
image.png
image.png
image.png
由于没有修改agent探针中的应用名，所以默认显示的是Your_ApplicationName。接下来我们修改下应用名称，让他显示的更加正确。编辑agent配置文件： 

  1. cd /usr/local/skywalking/apache-skywalking-apm-bin/agent/config
  2. vi agent.config

我们在配置中找到这么一行： 

  1. # The service name in UI
  2. agent.service_name=${SW_AGENT_NAME:Your_ApplicationName}

这里的配置含义是可以读取到SW_AGENT_NAME配置属性，如果该配置没有指定，那么默认名称为Your_ApplicationName。这里我们把Your_ApplicationName替换成skywalking_tomcat。

  1. # The service name in UI
  2. agent.service_name=${SW_AGENT_NAME:skywalking_tomcat}

然后将tomcat重启: 

  1. ./shutdown.sh
  2. ./startup.sh

image.png
image.png

2.1.2 Windows下Tomcat7和8中使用(了解)

Windows下只需要修改tomcat目录/bin/catalina.bat 文件的第一行为： 

  1. set "CATALINA_OPTS=-javaagent:/path/to/skywalking-agent/skywalking-agent.jar"

2.1.3 Spring Boot中使用

Skywalking与Spring Boot集成提供了完善的支持。
1、首先我们复制一份agent，防止与tomcat使用的冲突。 

  1. cd /usr/local/skywalking/apache-skywalking-apm-bin/
  2. cp -r agent agent_boot
  3. vi config/agent.config
  5. [root@node4 config]# cd /usr/local/skywalking/apache-skywalking-apm-bin/
  6. [root@node4 apache-skywalking-apm-bin]#
  7. [root@node4 apache-skywalking-apm-bin]# cp -r agent agent_boot
  8. [root@node4 apache-skywalking-apm-bin]#
  9. [root@node4 apache-skywalking-apm-bin]# cd agent_boot/
  10. [root@node4 agent_boot]#
  11. [root@node4 agent_boot]# vi config/agent.config
  13. # 修改配置中的应用名为：SW_AGENT_NAME:skywalking_boot
  14. # The service name in UI
  15. agent.service_name=${SW_AGENT_NAME:skywalking_boot}

2、将资源文件夹中skywalking_springboot.jar 文件上传到 /usr/local/skywalking 目录下。Controller层代码如下，提供了一个正常访问的接口和一个异常访问接口： 

  1. package com.itcast.skywalking_springboot.controller;
  3. import org.springframework.web.bind.annotation.RequestMapping;
  4. import org.springframework.web.bind.annotation.RestController;
  6. @RestController
  7. public class MyController {
  9.     // 正常访问接口
  10.     @RequestMapping("/sayBoot")
  11.     public String sayBoot(){
  12.         return "Hello Boot!";
  13.     }
  15.     // 异常访问接口
  16.     @RequestMapping("/exception")
  17.     public String exception(){
  18.         int i = 1/0;
  19.         return "Hello Boot!";
  20.     }
  21. }

使用命令启动spring boot项目: 

  1. [root@node4 skywalking]# java -javaagent:/usr/local/skywalking/apache-skywalking-apm-bin/agent_boot/skywalking-agent.jar -Dserver.port=8082 -jar skywalking_springboot.jar &

使用jar包启动的项目如果需要集成skywalking，需要添加-javaagent参数，参数值为agent的jar包所在位置。
-Dserver.port参数用于指定端口号，防止与tomcat冲突。
末尾添加 & 后台运行模式启动Spring Boot项目。
此时我们可以访问http://虚拟机IP:8082/sayBoot地址来进行访问，访问之后稍等片刻访问Skywalking的UI页面。
image.png
image.png
image.png
image.png
image.png

  1. [root@node4 skywalking]# netstat -nlp | grep 8082
  2. tcp6       0      0 :::8082                 :::*                    LISTEN      1641/java
  3. [root@node4 skywalking]#
  4. [root@node4 skywalking]# kill -9 1641
  5. [root@node4 skywalking]#
  6. [1]+  已杀死               java -javaagent:/usr/local/skywalking/apache-skywalking-apm-bin/agent_boot/skywalking-agent.jar -Dserver.port=8082 -jar skywalking_springboot.jar
  7. [root@node4 skywalking]# netstat -ano | grep 8082
  8. [root@node4 skywalking]#

2.2 RocketBot的使用

Skywalking的监控UI页面成为RocketBot，我们可以通过8080端口进行访问，由于8080端口很容易冲突，可以修改webapp/webapp.yml来更改启动端口： 

  1. server:
  2.     port: 9010

本例中我们更改为9010端口防止冲突。访问http://虚拟机IP:9010/打开RocketBot的页面。

2.2.1 仪表盘

打开RocketBot默认会出现仪表盘页面：
image.png
仪表盘页面分为两大块：

  1. 服务仪表盘，展示服务的调用情况
  2. 数据库仪表盘，展示数据库的响应时间等数据

选中服务仪表盘，有四个维度的统计数据可以进行查看：

  1. 全局，查看全局接口的调用，包括全局响应时长的百分比，最慢的端点，服务的吞吐量等
  2. 服务，显示服务的响应时长、SLA、吞吐量等信息

image.png

  1. 端点，显示端点的响应时长、SLA、吞吐量等信息

image.png

  1. 实例，显示实例的响应时长、SLA、吞吐量等信息，还可以查看实例的JVM的GC信息、CPU信息、内存信息

image.png

2.2.2 拓扑图

Skywalking提供拓扑图，直观的查看服务之间的调用关系：
image.png
User代表用户应用，目前案例中其实是浏览器
图中Skywalking_boot应用被User调用，同时显示它是一个Spring MVC的应用。后续案例中会出现多个应用调用，使用拓扑图就能清楚的分析其调用关系了。

2.2.3 追踪

在Skywalking中，每一次用户发起一条请求，就可以视为一条追踪数据，每条追踪数据携带有一个ID值。追踪数据在追踪页面中可以进行查询：
image.png
左侧是追踪列表，也可以通过上方的追踪ID来进行查询。点击追踪列表某一条记录之后，右侧会显示出此条追踪的详细信息。有三种显示效果：

  1. 列表
  2. 树结构
  3. 表格

可以很好的展现此条追踪的调用链情况而链路上每个节点，可以通过左键点击节点查看详细信息：
image.png
当前的接口是HTTP的GET请求，相对比较简单，后续的示例中出现异常情况或者数据库访问，可以打印出异常信息、堆栈甚至详细的SQL语句。

2.2.4 告警

Skywalking中的告警功能相对比较简单，在达到告警阈值之后会生成一条告警记录，在告警页面上进行展示。后面会有独立的章节介绍告警功能如何使用，本节中暂不详细介绍。

3、Skywalking高级

3.1 Rpc调用监控

Skywalking（6.5.0）支持的Rpc框架有以下几种：

  1. Dubbo 2.5.4 -> 2.6.0
  2. Dubbox 2.8.4
  3. Apache Dubbo 2.7.0
  4. Motan 0.2.x -> 1.1.0
  5. gRPC 1.x
  6. Apache ServiceComb Java Chassis 0.1 -> 0.5,1.0.x
  7. SOFARPC 5.4.0

本节中我们使用Spring Boot和Dubbo搭建一个简单的服务提供方和服务消费方来测试Skywalking对于Rpc调用的支持。可以使用资源文件夹下已经完成打包的 skywalking_dubbo_consumer.jar 和 skywalking_dubbo_provider.jar来进行测试。

3.1.1 服务提供方

pom文件： 

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <project xmlns="http://maven.apache.org/POM/4.0.0"
  3.   xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  4.   xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
  5.   https://maven.apache.org/xsd/maven-4.0.0.xsd">
  7.   <modelVersion>4.0.0</modelVersion>
  9.   <parent>
  10.     <groupId>org.springframework.boot</groupId>
  11.     <artifactId>spring-boot-starter-parent</artifactId>
  12.     <version>2.1.10.RELEASE</version>
  13.     <relativePath/> <!-- lookup parent from repository -->
  14.   </parent>
  16.   <groupId>com.itcast</groupId>
  17.   <artifactId>skywalking_dubbo_provider</artifactId>
  18.   <version>0.0.1-SNAPSHOT</version>
  19.   <name>skywalking_dubbo_provider</name>
  20.   <description>Demo project for Spring Boot</description>
  22.   <properties>
  23.     <java.version>1.8</java.version>
  24.   </properties>
  25.   <dependencies>
  26.     <dependency>
  27.       <groupId>org.springframework.boot</groupId>
  28.       <artifactId>spring-boot-starter-web</artifactId>
  29.     </dependency>
  31.     <dependency>
  32.       <groupId>org.springframework.boot</groupId>
  33.       <artifactId>spring-boot-starter-test</artifactId>
  34.       <scope>test</scope>
  35.     </dependency>
  37.     <!--添加springboot和dubbo集成配置-->
  38.     <dependency>
  39.       <groupId>com.alibaba.spring.boot</groupId>
  40.       <artifactId>dubbo-spring-boot-starter</artifactId>
  41.       <version>2.0.0</version>
  42.     </dependency>
  43.   </dependencies>
  44.   <build>
  45.     <plugins>
  46.       <plugin>
  47.         <groupId>org.springframework.boot</groupId>
  48.         <artifactId>spring-boot-maven-plugin</artifactId>
  49.       </plugin>
  50.     </plugins>
  51.   </build>
  52. </project>

这里直接使用了dubbo-spring-boot-starter这一dubbo与spring-boot集成的组件。
官方文档地址：https://github.com/alibaba/dubbo-spring-boot-starter/blob/master/README_zh.md
application.properties:

  1. spring.application.name=skywalking_dubbo_provider
  2. spring.dubbo.server=true
  3. # N/A表示不使用注册中心注册，只是将服务发布到本地。
  4. # 如果服务消费方需要调用这个服务提供方，消费方需要显式的指定提供方的ip地址和端口
  5. spring.dubbo.registry=N/A
  6. server.port=8086

为了简化环境搭建，采用了本地直接调用的方式，所以将注册中心写成N/A表示不注册到注册中心。
IHelloService接口： 

  1. package com.itcast.api;
  3. public interface IHelloService {
  4.     public String hello();
  5. }

简化项目的开发，将IHelloService接口在消费方和提供方都编写一份。
HelloServiceImpl实现类： 

  1. package com.itcast.skywalking_dubbo_provider.service;
  3. import com.alibaba.dubbo.config.annotation.Service;
  4. import com.itcast.api.IHelloService;
  5. import org.springframework.stereotype.Component;
  7. @Service(interfaceClass = IHelloService.class)
  8. @Component
  9. public class HelloServiceImpl implements IHelloService {
  11.     @Override
  12.     public String hello() {
  13.         return "hello skywalking";
  14.     }
  15. }
  1. package com.itcast.skywalking_dubbo_provider;
  3. import com.alibaba.dubbo.spring.boot.annotation.EnableDubboConfiguration;
  4. import org.springframework.boot.SpringApplication;
  5. import org.springframework.boot.autoconfigure.SpringBootApplication;
  7. @SpringBootApplication
  8. // 添加dubbo生效注解
  9. @EnableDubboConfiguration
  10. public class SkywalkingDubboProviderApplication {
  12.     public static void main(String[] args) {
  13.         SpringApplication.run(SkywalkingDubboProviderApplication.class, args);
  14.     }
  15. }

需要添加@EnableDubboConfifiguration注解。

3.1.2 服务消费方

pom文件： 

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <project xmlns="http://maven.apache.org/POM/4.0.0"
  3.   xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  4.   xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
  5.   https://maven.apache.org/xsd/maven-4.0.0.xsd">
  7.   <modelVersion>4.0.0</modelVersion>
  9.   <parent>
  10.     <groupId>org.springframework.boot</groupId>
  11.     <artifactId>spring-boot-starter-parent</artifactId>
  12.     <version>2.1.10.RELEASE</version>
  13.     <relativePath/> <!-- lookup parent from repository -->
  14.   </parent>
  16.   <groupId>com.itcast</groupId>
  17.   <artifactId>skywalking_dubbo_consumer</artifactId>
  18.   <version>0.0.1-SNAPSHOT</version>
  19.   <name>skywalking_dubbo_consumer</name>
  20.   <description>Demo project for Spring Boot</description>
  22.   <properties>
  23.     <java.version>1.8</java.version>
  24.   </properties>
  26.   <dependencies>
  27.     <dependency>
  28.       <groupId>org.springframework.boot</groupId>
  29.       <artifactId>spring-boot-starter-web</artifactId>
  30.     </dependency>
  32.     <dependency>
  33.       <groupId>org.springframework.boot</groupId>
  34.       <artifactId>spring-boot-starter-test</artifactId>
  35.       <scope>test</scope>
  36.     </dependency>
  38.     <dependency>
  39.       <groupId>com.alibaba.spring.boot</groupId>
  40.       <artifactId>dubbo-spring-boot-starter</artifactId>
  41.       <version>2.0.0</version>
  42.     </dependency>
  43.   </dependencies>
  45.   <build>
  46.     <plugins>
  47.       <plugin>
  48.         <groupId>org.springframework.boot</groupId>
  49.         <artifactId>spring-boot-maven-plugin</artifactId>
  50.       </plugin>
  51.     </plugins>
  52.   </build>
  53. </project>

application.properties: 

  1. spring.application.name=skywalking_dubbo_consumer
  2. server.port=8085

IHelloService接口： 

  1. package com.itcast.api;
  3. public interface IHelloService {
  4.     public String hello();
  5. }

简化项目的开发，将IHelloService接口在消费方和提供方都编写一份。
TestController： 

  1. package com.itcast.skywalking_dubbo_consumer.controller;
  3. import com.alibaba.dubbo.config.annotation.Reference;
  4. import com.itcast.api.IHelloService;
  5. import org.springframework.web.bind.annotation.GetMapping;
  6. import org.springframework.web.bind.annotation.RestController;
  8. @RestController
  9. public class TestController {
  11.     // 调用服务提供方提供的接口，因为在服务提供方未指定端口，此处20880是dubbo默认端口
  12.     // 使用dubbo协议去调用服务提供方
  13.     // 程序启动后helloService会变成一个动态代理对象，由dubbo框架远程调用服务提供方中的方法
  14.     @Reference(url = "dubbo://127.0.0.1:20880")
  15.     private IHelloService helloService;
  17.     @GetMapping("/hello")
  18.     public String hello(){
  19.         return helloService.hello();
  20.     }
  21. }

采用直连而非从注册中心获取服务地址的方式，在@Reference注解中声明 

  1. url = "dubbo://127.0.0.1:20880"

SkywalkingDubboConsumerApplication启动类：

  1. package com.itcast.skywalking_dubbo_consumer;
  3. import com.alibaba.dubbo.spring.boot.annotation.EnableDubboConfiguration;
  4. import org.springframework.boot.SpringApplication;
  5. import org.springframework.boot.autoconfigure.SpringBootApplication;
  7. @SpringBootApplication
  8. //添加dubbo生效注解
  9. @EnableDubboConfiguration
  10. public class SkywalkingDubboConsumerApplication {
  12.     public static void main(String[] args) {
  13.         SpringApplication.run(SkywalkingDubboConsumerApplication.class, args);
  14.     }
  15. }

需要添加@EnableDubboConfifiguration注解。

3.1.3 部署方式

1、将skywalking_dubbo_consumer.jar和skywalking_dubbo_provider.jar上传至 /usr/local/skywalking目录下。
2、首先我们复制两份agent，防止使用的冲突。 

  1. cd /usr/local/skywalking/apache-skywalking-apm-bin/
  2. cp -r agent agent_dubbo_provider
  3. cp -r agent agent_dubbo_consumer
  4. vi agent_dubbo_provider/config/agent.config
  7. [root@node4 agent_boot]# cd /usr/local/skywalking/apache-skywalking-apm-bin/
  8. [root@node4 apache-skywalking-apm-bin]#
  9. [root@node4 apache-skywalking-apm-bin]# cp -r agent_boot agent_dubbo_provider
  10. [root@node4 apache-skywalking-apm-bin]#
  11. [root@node4 apache-skywalking-apm-bin]# cp -r agent_boot agent_dubbo_consumer
  12. [root@node4 apache-skywalking-apm-bin]#
  13. [root@node4 apache-skywalking-apm-bin]# ls
  14. agent       agent_dubbo_consumer  bin     LICENSE   logs         NOTICE    README.txt    webapp
  15. agent_boot  agent_dubbo_provider  config  licenses  mesh-buffer  oap-libs  trace-buffer
  18. # 修改agent_dubbo_provider配置中的应用名为：agent.service_name=${SW_AGENT_NAME:dubbo_provider}
  19. [root@node4 apache-skywalking-apm-bin]# vi agent_dubbo_provider/config/agent.config
  20. [root@node4 apache-skywalking-apm-bin]#
  23. # 修改agent_dubbo_consumer配置中的应用名为：agent.service_name=${SW_AGENT_NAME:dubbo_consumer}
  24. [root@node4 apache-skywalking-apm-bin]# vi agent_dubbo_consumer/config/agent.config

image.png
image.png
3、先启动provider，等待启动成功。 

  1. # 切换到目录下
  2. [root@node4 apache-skywalking-apm-bin]# cd /usr/local/skywalking
  4. # 启动provider
  5. [root@node4 skywalking]# java -javaagent:/usr/local/skywalking/apache-skywalking-apm-bin/agent_dubbo_provider/skywalking-agent.jar -jar skywalking_dubbo_provider.jar &

出现如图所示内容，应用就已经启动成功了。
image.png
4、启动consumer，等待启动成功。 

  1. # 启动consumer
  2. [root@node4 skywalking]# java -javaagent:/usr/local/skywalking/apache-skywalking-apm-bin/agent_dubbo_consumer/skywalking-agent.jar -jar skywalking_dubbo_consumer.jar &

5、调用接口，消费方接口地址为：http://虚拟机IP地址:8085/hello
6、此时如果页面显示
image.png
那么dubbo的调用就成功了。
7、打开skywalking查看dubbo调用的监控情况。
仪表盘：
image.png
目前dubbo_provider和dubbo_consumer的服务已经出现，同时出现了两个接口分别是：

  1. /hello接口，是浏览器调用dubb_consumer的http接口
  2. com.itcast.api.IHelloService.hello()是dubbo_consumer调用dubbo_provider的dubbo接口

拓扑图：
image.png
该图中已经表示出了一个调用的链路关系：
User(浏览器) ——> dubber_consumer ——> dubbo_provider
并且在服务的上方标识出了每个服务代表的内容，dubbo_consumer是SpringMvc的服务，而dubbo_provider是Dubbo的服务。

追踪：
image.png
image.png
追踪图中显示本次调用耗时49ms，其中dubbo接口耗时29ms，那么另外的20ms其实是SpringMVC接口的开销，这样就能很好的评估出每个环节的耗时时间。

3.2 MySql调用监控

3.2.1 使用docker启动Mysql

虚拟机（192.168.195.104）安装并启动docker：https://www.yuque.com/fangniudexingxing-uymcu/wxedug/huigno#JKSak

  1. [root@node4 skywalking]# systemctl restart docker
  2. [root@node4 skywalking]#
  3. [root@node4 skywalking]# systemctl enable docker
  4. Created symlink from /etc/systemd/system/multi-user.target.wants/docker.service to /usr/lib/systemd/system/docker.service.
  5. [root@node4 skywalking]#
  6. [root@node4 skywalking]# docker version
  7. Client:
  8.  Version:           18.06.3-ce
  9.  API version:       1.38
  10.  Go version:        go1.10.3
  11.  Git commit:        d7080c1
  12.  Built:             Wed Feb 20 02:26:51 2019
  13.  OS/Arch:           linux/amd64
  14.  Experimental:      false
  16. Server:
  17.  Engine:
  18.   Version:          18.06.3-ce
  19.   API version:      1.38 (minimum version 1.12)
  20.   Go version:       go1.10.3
  21.   Git commit:       d7080c1
  22.   Built:            Wed Feb 20 02:28:17 2019
  23.   OS/Arch:          linux/amd64
  24.   Experimental:     false
  25. [root@node4 skywalking]# systemctl start docker

使用docker下载并启动mysql： 

  1. [root@node4 ~]# docker images
  2. REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
  3. [root@node4 ~]#
  4. [root@node4 ~]# docker pull centos/mysql-57-centos7
  5. Using default tag: latest
  6. latest: Pulling from centos/mysql-57-centos7
  7. d8d02d457314: Pull complete
  8. a11069b6e245: Pull complete
  9. 596303fb1aa3: Pull complete
  10. a29499e779a7: Pull complete
  11. 17d1a52c2e00: Pull complete
  12. ed24591227fe: Pull complete
  13. de0ad46e3ed9: Pull complete
  14. c62e4a984a9c: Pull complete
  15. 01d54c6bda68: Pull complete
  16. Digest: sha256:e08ee4d43b7356607685b69bde6335e27cf20c020f345b6c6c59400183882764
  17. Status: Downloaded newer image for centos/mysql-57-centos7:latest
  18. [root@node4 ~]#
  19. [root@node4 ~]# docker images
  20. REPOSITORY                TAG                 IMAGE ID            CREATED             SIZE
  21. centos/mysql-57-centos7   latest              f83a2938370c        3 years ago         452MB
  22. [root@node4 ~]#
  23. [root@node4 ~]# docker run -di --name=skywalking_mysql -p 33306:3306 -e MYSQL_ROOT_PASSWORD=123456 centos/mysql-57-centos7
  24. 201c640456827432f78f5e1731f00600d5297a712cceb129aebb115fb9b4a1ba

MYSQL_ROOT_PASSWORD环境变量指定root的密码为123456
image.png
这样就可以在外部访问mysql了。使用工具连接mysql，端口为33306密码为123456。创建数据库：
image.png
执行建表语句： 

  1. CREATE TABLE `t_user` (
  2.     `id` int(11) NOT NULL AUTO_INCREMENT,
  3.     `name` varchar(50) DEFAULT NULL,
  4.     PRIMARY KEY (`id`)
  5. ) ENGINE=InnoDB DEFAULT CHARSET=utf8

插入几条数据： 

  1. insert into `t_user`(`name`) values ('张三'),('李四'),('王五');

3.2.2 Spring Data JDBC访问Mysql

创建一个Spring Boot工程，集成Spring Data JDBC。
可以直接使用资源文件中提供的skywalking_mysql.jar。
pom文件： 

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <project xmlns="http://maven.apache.org/POM/4.0.0"
  3.   xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  4.   xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
  5.   https://maven.apache.org/xsd/maven-4.0.0.xsd">
  7.   <modelVersion>4.0.0</modelVersion>
  9.   <parent>
  10.     <groupId>org.springframework.boot</groupId>
  11.     <artifactId>spring-boot-starter-parent</artifactId>
  12.     <version>2.1.10.RELEASE</version>
  13.     <relativePath/> <!-- lookup parent from repository -->
  14.   </parent>
  16.   <groupId>com.itcast</groupId>
  17.   <artifactId>skywalking_mysql</artifactId>
  18.   <version>0.0.1-SNAPSHOT</version>
  19.   <name>skywalking_mysql</name>
  20.   <description>Demo project for Spring Boot</description>
  22.   <properties>
  23.     <java.version>1.8</java.version>
  24.   </properties>
  26.   <dependencies>
  27.     <dependency>
  28.       <groupId>org.springframework.boot</groupId>
  29.       <artifactId>spring-boot-starter-data-jdbc</artifactId>
  30.     </dependency>
  32.     <dependency>
  33.       <groupId>org.springframework.boot</groupId>
  34.       <artifactId>spring-boot-starter-web</artifactId>
  35.     </dependency>
  37.     <dependency>
  38.       <groupId>org.springframework.boot</groupId>
  39.       <artifactId>spring-boot-starter-test</artifactId>
  40.       <scope>test</scope>
  41.     </dependency>
  43.     <dependency>
  44.       <groupId>mysql</groupId>
  45.       <artifactId>mysql-connector-java</artifactId>
  46.       <version>5.1.46</version>
  47.     </dependency>
  48.   </dependencies>
  50.   <build>
  51.     <plugins>
  52.       <plugin>
  53.         <groupId>org.springframework.boot</groupId>
  54.         <artifactId>spring-boot-maven-plugin</artifactId>
  55.       </plugin>
  56.     </plugins>
  57.   </build>
  58. </project>

引入了spring-boot-starter-data-jdbc，由于使用了5.7的mysql版本，所以驱动版本固定为5.1.46。
pojo类：

  1. package com.itcast.skywalking_mysql.pojo;
  3. import org.springframework.data.annotation.Id;
  4. import org.springframework.data.relational.core.mapping.Table;
  6. @Table("t_user")
  7. public class User {
  8.     @Id
  9.     private Integer id;
  10.     private String name;
  11.     public Integer getId() {
  12.         return id;
  13.     }
  14.     public void setId(Integer id) {
  15.         this.id = id;
  16.     }
  17.     public String getName() {
  18.         return name;
  19.     }
  20.     public void setName(String name) {
  21.         this.name = name;
  22.     }
  23.     @Override
  24.     public String toString() {
  25.         return "User{" +
  26.             "id=" + id +
  27.             ", name='" + name + '\'' +
  28.             '}';
  29.     }
  30. }

添加Table注解，修改表明为t_user。
dao接口： 

  1. package com.itcast.skywalking_mysql.dao;
  3. import com.itcast.skywalking_mysql.pojo.User;
  4. import org.springframework.data.repository.CrudRepository;
  6. public interface UserRepository extends CrudRepository<User, Integer> {
  8. }

controller： 

  1. package com.itcast.skywalking_mysql.controller;
  3. import com.itcast.skywalking_mysql.dao.UserRepository;
  4. import com.itcast.skywalking_mysql.pojo.User;
  5. import org.springframework.beans.factory.annotation.Autowired;
  6. import org.springframework.web.bind.annotation.GetMapping;
  7. import org.springframework.web.bind.annotation.RequestMapping;
  8. import org.springframework.web.bind.annotation.RestController;
  9. import java.util.ArrayList;
  10. import java.util.List;
  12. @RestController
  13. public class MysqlController {
  15.     @Autowired
  16.     private UserRepository userRepository;
  18.     @GetMapping("/users")
  19.     public List<User> findAll(){
  21.         List<User> result = new ArrayList<>();
  22.         //使用迭代器进行遍历
  23.         userRepository.findAll().forEach((user) -> {
  24.             result.add(user);
  25.         });
  26.         return result;
  27.     }
  28. }

由于Spring Data JDBC的fifindAll方法返回的是一个迭代器，所以需要遍历迭代器将数据进行返回。
启动类： 

  1. package com.itcast.skywalking_mysql;
  3. import org.springframework.boot.SpringApplication;
  4. import org.springframework.boot.autoconfigure.SpringBootApplication;
  6. @SpringBootApplication
  7. public class SkywalkingMysqlApplication {
  9.     public static void main(String[] args) {
  10.         SpringApplication.run(SkywalkingMysqlApplication.class, args);
  11.     }
  12. }

application.properties： 

  1. spring.datasource.url=jdbc:mysql://localhost:33306/skywalking
  2. spring.datasource.driver-class-name=com.mysql.jdbc.Driver
  3. spring.datasource.username=root
  4. spring.datasource.password=123456
  5. server.port=8087

3.2.3 部署方式

1、将skywalking_mysql.jar上传至/usr/local/skywalking目录下。
2、首先我们复制agent，防止使用的冲突。 

  1. [root@node4 skywalking]# pwd
  2. /usr/local/skywalking
  3. [root@node4 skywalking]#
  4. [root@node4 skywalking]# cd /usr/local/skywalking/apache-skywalking-apm-bin/
  5. [root@node4 apache-skywalking-apm-bin]#
  6. [root@node4 apache-skywalking-apm-bin]# cp -r agent agent_mysql
  7. [root@node4 apache-skywalking-apm-bin]#
  8. [root@node4 apache-skywalking-apm-bin]# vi agent_mysql/config/agent.config
  10. # 修改agent_mysql配置agent.config中的应用名为： 
  11. # The service name in UI
  12. agent.service_name=${SW_AGENT_NAME:skywalking_mysql}

3、启动skywalking_mysql应用，等待启动成功

  1. # 切换到目录下
  2. [root@node4 skywalking]# cd /usr/local/skywalking
  3. # 启动spring boot
  4. [root@node4 skywalking]# java -javaagent:/usr/local/skywalking/apache-skywalking-apm-bin/agent_mysql/skywalking-agent.jar -jar skywalking_mysql.jar &

4、调用接口，接口地址为：http://虚拟机IP地址:8087/users
5、此时如果页面显示
image.png
那么mysql的调用就成功了。
6、打开skywalking查看mysql调用的监控情况。
服务仪表盘：
image.png
数据库仪表盘：
image.png
点击数据库仪表盘可以看到详细的数据库响应时长、吞吐量、SLA等数据。
拓扑图：
image.png
该图中已经表示出了一个调用的链路关系：
User(浏览器) ——> skywalking_mysql ——> localhost:33306
并且在服务的上方标识出了每个服务代表的内容，skywalking_mysql是SpringMvc的服务，而localhost:33306是mysql的服务。
追踪：
image.png
追踪图中显示本次调用耗时5ms，其中spring MVC接口耗时4ms，那么另外的1ms是调用Mysql的耗时。
点击mysql的调用，可以看到详细的sql语句。
image.png
这样可以很好的定位问题产生的原因，特别是在某些sql语句执行慢的场景下。
image.png

3.3 Skywalking常用插件

3.3.1 配置覆盖

在之前的案例中，我们每次部署应用都需要复制一份agent，修改其中的服务名称，这样显得非常麻烦。可以使用Skywalking提供的配置覆盖功能通过启动命令动态指定服务名，这样agent只需要部署一
份即可。
Skywalking支持的几种配置方式：
系统配置（System properties)
使用skywalking. + 配置文件中的配置名（agent.service_name）作为系统配置项来进行覆盖

  1. 为什么需要添加前缀（skywalking.）?
    1. agent的系统配置和环境与目标应用共享，所以加上前缀可以有效的避免冲突。
  2. 案例：通过如下进行agent.service_name的覆盖 ```powershell

    -D表示指定参数

    skywalking.表示前缀

    agent.service_name为配置文件中的配置名

-Dskywalking.agent.service_name=skywalking_mysql

  2. **探针配置（Agent options） **<br />Add the properties after the agent path in JVM arguments. 
  3. ```powershell
  4. -javaagent:/path/to/skywalking-agent.jar=[option1]=[value1],[option2]=[value2]

案例：通过如下进行 agent.service_name的覆盖 

  1. -javaagent:/path/to/skywalking-agent.jar=agent.service_name=skywalking_mysql

特殊字符：如果配置中包含分隔符( , 或者 = ) , 就必须使用引号包裹起来 

  1. -javaagent:/path/to/skywalking-agent.jar=agent.ignore_suffix='.jpg,.jpeg'

系统环境变量（System environment variables）
案例：由于agent.service_name配置项如下所示： 

  1. # The service name in UI
  2. agent.service_name=${SW_AGENT_NAME:Your_ApplicationName}

可以在环境变量中设置SW_AGENT_NAME的值来指定服务名。

覆盖优先级：
探针配置 > 系统配置 >系统环境变量 > 配置文件中的值
所以我们的启动命令可以修改为： 

  1. java -javaagent:/usr/local/skywalking/apache-skywalking-apm-bin/agent_mysql/skywalking-agent.jar - Dskywalking.agent.service_name=skywalking_mysql -jar skywalking_mysql.jar &

或者

  1. java -javaagent:/usr/local/skywalking/apache-skywalking-apm-bin/agent_mysql/skywalking-agent.jar=agent.service_name=skywalking_mysql -jar skywalking_mysql.jar &

3.3.2 获取追踪ID

Skywalking提供我们Trace工具包，用于在追踪链路时进行信息的打印或者获取对应的追踪ID。我们使用Spring Boot编写一个案例，也可以直接使用资源下的skywalking_plugins.jar进行测试。
pom：

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <project xmlns="http://maven.apache.org/POM/4.0.0"
  3.   xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  4.   xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
  5.   https://maven.apache.org/xsd/maven-4.0.0.xsd">
  6.   <modelVersion>4.0.0</modelVersion>
  7.   <parent>
  8.     <groupId>org.springframework.boot</groupId>
  9.     <artifactId>spring-boot-starter-parent</artifactId>
  10.     <version>2.1.10.RELEASE</version>
  11.     <relativePath/> <!-- lookup parent from repository -->
  12.   </parent>
  13.   <groupId>com.itcast</groupId>
  14.   <artifactId>skywalking_plugins</artifactId>
  15.   <version>0.0.1-SNAPSHOT</version>
  16.   <name>skywalking_plugins</name>
  17.   <description>Demo project for Spring Boot</description>
  18.   <properties>
  19.     <java.version>1.8</java.version>
  20.     <skywalking.version>6.5.0</skywalking.version>
  21.   </properties>
  22.   <dependencies>
  23.     <dependency>
  24.       <groupId>org.springframework.boot</groupId>
  25.       <artifactId>spring-boot-starter-web</artifactId>
  26.     </dependency>
  27.     <dependency>
  28.       <groupId>org.projectlombok</groupId>
  29.       <artifactId>lombok</artifactId>
  30.       <optional>true</optional>
  31.     </dependency>
  32.     <dependency>
  33.       <groupId>org.springframework.boot</groupId>
  34.       <artifactId>spring-boot-starter-test</artifactId>
  35.       <scope>test</scope>
  36.     </dependency>
  38.     <!--skywalking trace工具包-->
  39.     <dependency>
  40.       <groupId>org.apache.skywalking</groupId>
  41.       <artifactId>apm-toolkit-trace</artifactId>
  42.       <version>${skywalking.version}</version>
  43.     </dependency>
  44.   </dependencies>
  46.   <build>
  47.     <plugins>
  48.       <plugin>
  49.         <groupId>org.springframework.boot</groupId>
  50.         <artifactId>spring-boot-maven-plugin</artifactId>
  51.       </plugin>
  52.     </plugins>
  53.   </build>
  54. </project>

添加了对应的坐标： 

  1. <!--skywalking trace工具包-->
  2. <dependency>
  3.   <groupId>org.apache.skywalking</groupId>
  4.   <artifactId>apm-toolkit-trace</artifactId>
  5.   <version>${skywalking.version}</version>
  6. </dependency>

本案例中使用6.5.0的版本号。
PluginController： 

  1. package com.itcast.skywalking_plugins.controller;
  3. import org.apache.skywalking.apm.toolkit.trace.ActiveSpan;
  4. import org.apache.skywalking.apm.toolkit.trace.TraceContext;
  5. import org.springframework.web.bind.annotation.GetMapping;
  6. import org.springframework.web.bind.annotation.RestController;
  8. @RestController
  9. public class PluginController {
  11.     // 获取trace id，可以在RocketBot追踪中进行查询
  12.     @GetMapping("/getTraceId")
  13.     public String getTraceId(){
  15.         // 使当前链路报错，并且提示报错信息
  16.         ActiveSpan.error(new RuntimeException("Test-Error-Throwable"));
  18.         // 打印info信息
  19.         ActiveSpan.info("Test-Info-Msg");
  21.         // 打印debug信息
  22.         ActiveSpan.debug("Test-debug-Msg");
  23.         return TraceContext.traceId();
  24.     }
  25. }

使用TraceContext.traceId()可以打印出当前追踪的ID，方便在RocketBot中进行搜索。
ActiveSpan提供了三个方法进行信息的打印：

  1. error方法会将本次调用变为失败状态，同时可以打印对应的堆栈信息和错误提示。
  2. info方法打印info级别的信息。
  3. debug方法打印debug级别的信息。

部署方式
1、将skywalking_plugins.jar上传至 /usr/local/skywalking目录下。
2、启动skywalking_plugins应用，等待启动成功。 

  1. [root@node4 skywalking]# java -javaagent:/usr/local/skywalking/apache-skywalking-apm-bin/agent/skywalking-agent.jar -Dskywalking.agent.service_name=skywalking_plugins -jar skywalking_plugins.jar &

4、调用接口，接口地址为：http://虚拟机IP地址:8088/getTraceId
5、此时如果页面显示
image.png
可以看到追踪ID已经打印出来，然后我们在RocketBot上进行搜索。
image.png
可以搜索到对应的追踪记录，但是显示调用是失败的，这是因为使用了ActiveSpan.error方法。点开追踪的详细信息：
image.png
异常的信息包含了以下几个部分：

  1. 事件类型为error
  2. 调用方法时传递的异常类型RuntimeException
  3. 调用方法时传递的异常信息Test-Error-Throwable
  4. 异常堆栈

通过上述内容，我们可以根据业务来定制调用异常时的详细信息。
image.png
除了异常信息之外，还有info信息和debug信息也都会被打印。

3.3.3 过滤指定的端点

在开发过程中，有一些端点（接口）并不需要去进行监控，比如Swagger相关的端点。这个时候我们就可以使用Skywalking提供的过滤插件来进行过滤。在skywalking_plugins中编写两个接口进行测试： 

  1. package com.itcast.skywalking_plugins.controller;
  3. import org.springframework.web.bind.annotation.GetMapping;
  4. import org.springframework.web.bind.annotation.RestController;
  6. @RestController
  7. public class FilterController {
  9.     // 此接口可以被追踪
  10.     @GetMapping("/include")
  11.     public String include(){
  12.         return "include";
  13.     }
  15.     // 此接口不可被追踪
  16.     @GetMapping("/exclude")
  17.     public String exclude(){
  18.         return "exclude";
  19.     }
  20. }

部署方式：
1、将skywalking_plugins.jar上传至 /usr/local/skywalking目录下。
2、将agent中的/agent/optional-plugins/apm-trace-ignore-plugin-6.5.0.jar插件拷贝到plugins目录中

  1. [es@node4 elasticsearch-6.4.0]$ cd /usr/local/skywalking/apache-skywalking-apm-bin
  2. [es@node4 apache-skywalking-apm-bin]$
  3. [es@node4 apache-skywalking-apm-bin]$ cd agent
  4. [es@node4 agent]$
  5. [es@node4 agent]$ cd optional-plugins/
  6. [es@node4 optional-plugins]$
  7. [es@node4 optional-plugins]$ ll
  8. 总用量 196
  9. -rw-rw-r--. 1 1001 1002 31955 11月 12 2019 apm-customize-enhance-plugin-6.5.0.jar
  10. -rw-rw-r--. 1 1001 1002 16478 11月 12 2019 apm-gson-2.x-plugin-6.5.0.jar
  11. -rw-rw-r--. 1 1001 1002 32069 11月 12 2019 apm-lettuce-5.x-plugin-6.5.0.jar
  12. -rw-rw-r--. 1 1001 1002 16521 11月 12 2019 apm-play-2.x-plugin-6.5.0.jar
  13. -rw-rw-r--. 1 1001 1002 15898 11月 12 2019 apm-spring-annotation-plugin-6.5.0.jar
  14. -rw-rw-r--. 1 1001 1002 32451 11月 12 2019 apm-spring-cloud-gateway-2.x-plugin-6.5.0.jar
  15. -rw-rw-r--. 1 1001 1002 19344 11月 12 2019 apm-trace-ignore-plugin-6.5.0.jar
  16. -rw-rw-r--. 1 1001 1002 20944 11月 12 2019 apm-zookeeper-3.4.x-plugin-6.5.0.jar
  17. [es@node4 optional-plugins]$
  18. [es@node4 optional-plugins]$ cp apm-trace-ignore-plugin-6.5.0.jar ../plugins/
  19. cp: 无法创建普通文件"../plugins/apm-trace-ignore-plugin-6.5.0.jar": 权限不够
  20. [es@node4 optional-plugins]$
  21. [es@node4 optional-plugins]$ su root
  22. 密码：
  23. [root@node4 optional-plugins]#
  24. [root@node4 optional-plugins]# cp apm-trace-ignore-plugin-6.5.0.jar ../plugins/

3、启动skywalking_plugins应用，等待启动成功。 

  1. # 重启oapService
  2. [root@node4 bin]# ps -ef | grep oap
  3. root       2172      1 12 17:12 pts/0    00:02:27 java -Xms256M -Xmx512M -Doap
  4. .....
  6. [root@node4 bin]# kill -9 2172
  7. [root@node4 bin]#
  8. [root@node4 bin]# ./oapService.sh
  9. SkyWalking OAP started successfully!
  10. [root@node4 bin]#
  11. [root@node4 bin]# ps -ef | grep plugins
  12. root       2310   1579  3 17:23 pts/0    00:00:20 java -javaagent:/usr/local/skywalking/apache-skywalking-apm-bin/agent/skywalking-agent.jar -Dskywalking.agent.service_name=skywalking_plugins -jar skywalking_plugins.jar
  13. root       2492   2385  0 17:33 pts/1    00:00:00 grep --color=auto plugins
  15. [root@node4 bin]# ps -ef | grep plugins
  16. root       2310   1579  3 17:23 pts/0    00:00:20 java -javaagent:/usr/local/skywalking/apache-skywalking-apm-bin/agent/skywalking-agent.jar -Dskywalking.agent.service_name=skywalking_plugins -jar skywalking_plugins.jar
  17. root       2492   2385  0 17:33 pts/1    00:00:00 grep --color=auto plugins
  18. [root@node4 bin]#
  19. [root@node4 bin]# kill -9 2310
  20. [root@node4 bin]#
  21. [root@node4 bin]# cd ..
  22. [root@node4 apache-skywalking-apm-bin]# cd ..
  23. [root@node4 skywalking]#
  24. [root@node4 skywalking]# pwd
  25. /usr/local/skywalking
  26. [root@node4 skywalking]#
  27. [root@node4 skywalking]# java -javaagent:/usr/local/skywalking/apache-skywalking-apm-bin/agent/skywalking-agent.jar -Dskywalking.agent.service_name=skywalking_plugins -Dskywalking.trace.ignore_path=/exclude -jar skywalking_plugins.jar &
  28. [1] 2509

这里添加-Dskywalking.trace.ignore_path=/exclude参数来标识需要过滤哪些请求，支持Ant Path表达式：

  1. /path/ , /path/* , /path/?
    1. ? 匹配任何单字符
      • 匹配0或者任意数量的字符
    3. 匹配0或者更多的目录

4、调用接口，接口地址为：
http://虚拟机IP地址:8088/exclude
http://虚拟机IP地址:8088/include
5、在追踪中进行查看：
image.png
exclude接口已经被过滤，只有include接口能被看到。

3.4 告警功能

3.4.1 告警功能简介

Skywalking每隔一段时间根据收集到的链路追踪的数据和配置的告警规则（如服务响应时间、服务响应时间百分比）等，判断如果达到阈值则发送相应的告警信息。发送告警信息是通过调用webhook接口完成，具体的webhook接口可以使用者自行定义，从而开发者可以在指定的webhook接口中编写各种告警方式，比如邮件、短信等。告警的信息也可以在RocketBot中查看到。
以下是默认的告警规则配置，位于skywalking安装目录下的confifig文件夹下 alarm-settings.yml 文件中： 

  1. [root@node4 config]# pwd
  2. /usr/local/skywalking/apache-skywalking-apm-bin/config
  3. [root@node4 config]#
  4. [root@node4 config]# ll
  5. 总用量 44
  6. -rw-rw-r--. 1 1001 1002 1680 11月 12 2019 alarm-settings-sample.yml
  7. -rw-rw-r--. 1 1001 1002 2679 11月 12 2019 alarm-settings.yml
  8. -rw-rw-r--. 1 1001 1002 9159 11月  6 10:54 application.yml
  9. -rwxrwxr-x. 1 1001 1002 6538 11月 12 2019 component-libraries.yml
  10. -rwxrwxr-x. 1 1001 1002  963 11月 12 2019 gateways.yml
  11. -rw-rw-r--. 1 1001 1002 1814 11月 12 2019 log4j2.xml
  12. -rwxrwxr-x. 1 1001 1002 7051 11月 12 2019 official_analysis.oal
  13. [root@node4 config]#
  14. [root@node4 config]# cat alarm-settings.yml
  1. # Licensed to the Apache Software Foundation (ASF) under one
  2. # or more contributor license agreements.  See the NOTICE file
  3. # distributed with this work for additional information
  4. # regarding copyright ownership.  The ASF licenses this file
  5. # to you under the Apache License, Version 2.0 (the
  6. # "License"); you may not use this file except in compliance
  7. # with the License.  You may obtain a copy of the License at
  8. #
  9. #     http://www.apache.org/licenses/LICENSE-2.0
  10. #
  11. # Unless required by applicable law or agreed to in writing, software
  12. # distributed under the License is distributed on an "AS IS" BASIS,
  13. # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14. # See the License for the specific language governing permissions and
  15. # limitations under the License.
  17. # Sample alarm rules.
  18. rules:
  19.   # Rule unique name, must be ended with `_rule`.
  20.   service_resp_time_rule:
  21.     metrics-name: service_resp_time
  22.     op: ">"
  23.     threshold: 1000
  24.     period: 10
  25.     count: 3
  26.     silence-period: 5
  27.     message: Response time of service {name} is more than 1000ms in 3 minutes of last 10 minutes.
  28.   service_sla_rule:
  29.     # Metrics value need to be long, double or int
  30.     metrics-name: service_sla
  31.     op: "<"
  32.     threshold: 8000
  33.     # The length of time to evaluate the metrics
  34.     period: 10
  35.     # How many times after the metrics match the condition, will trigger alarm
  36.     count: 2
  37.     # How many times of checks, the alarm keeps silence after alarm triggered, default as same as period.
  38.     silence-period: 3
  39.     message: Successful rate of service {name} is lower than 80% in 2 minutes of last 10 minutes
  40.   service_p90_sla_rule:
  41.     # Metrics value need to be long, double or int
  42.     metrics-name: service_p90
  43.     op: ">"
  44.     threshold: 1000
  45.     period: 10
  46.     count: 3
  47.     silence-period: 5
  48.     message: 90% response time of service {name} is more than 1000ms in 3 minutes of last 10 minutes
  49.   service_instance_resp_time_rule:
  50.     metrics-name: service_instance_resp_time
  51.     op: ">"
  52.     threshold: 1000
  53.     period: 10
  54.     count: 2
  55.     silence-period: 5
  56.     message: Response time of service instance {name} is more than 1000ms in 2 minutes of last 10 minutes
  57. #  Active endpoint related metrics alarm will cost more memory than service and service instance metrics alarm.
  58. #  Because the number of endpoint is much more than service and instance.
  59. #
  60. #  endpoint_avg_rule:
  61. #    metrics-name: endpoint_avg
  62. #    op: ">"
  63. #    threshold: 1000
  64. #    period: 10
  65. #    count: 2
  66. #    silence-period: 5
  67. #    message: Response time of endpoint {name} is more than 1000ms in 2 minutes of last 10 minutes
  69. webhooks:
  70. #  - http://127.0.0.1/notify/
  71. #  - http://127.0.0.1/go-wechat/

以上文件定义了默认的4种规则：
1. 最近3分钟内服务的平均响应时间超过1秒
2. 最近2分钟服务成功率低于80%
3. 最近3分钟90%服务响应时间超过1秒
4. 最近2分钟内服务实例的平均响应时间超过1秒
规则中的参数属性如下：
image.png
webhooks可以配置告警产生时的调用地址。

3.4.2 告警功能测试代码

编写告警功能接口来进行测试，创建skywalking_alarm项目
可以直接使用资源中的skywalking_alarm.jar
流程：首先调用AlarmController接口模拟超时，产生告警信息，此时会触发webhook调用项目中WebHooks接口中的webhook方法，并将告警信息传递给webhook方法，最后可以通过WebHooks接口中的show方法打印告警信息

AlarmController：
该接口主要用于模拟超时，多次调用之后就可以生成告警信息。 

  1. package com.itcast.skywalking_alarm.controller;
  3. import org.springframework.web.bind.annotation.GetMapping;
  4. import org.springframework.web.bind.annotation.RestController;
  6. @RestController
  7. public class AlarmController {
  9.     // 每次调用睡眠1.5秒，模拟超时的报警
  10.     @GetMapping("/timeout")
  11.     public String timeout(){
  12.         try {
  13.             Thread.sleep(1500);
  14.         } catch (InterruptedException e) {
  15.             e.printStackTrace();
  16.         }
  17.         return "timeout";
  18.     }
  19. }

WebHooks：

  1. package com.itcast.skywalking_alarm.controller;
  3. import com.itcast.skywalking_alarm.pojo.AlarmMessage;
  4. import org.springframework.web.bind.annotation.GetMapping;
  5. import org.springframework.web.bind.annotation.PostMapping;
  6. import org.springframework.web.bind.annotation.RequestBody;
  7. import org.springframework.web.bind.annotation.RestController;
  8. import java.util.ArrayList;
  9. import java.util.List;
  11. @RestController
  12. public class WebHooks {
  14.     private List<AlarmMessage> lastList = new ArrayList<>();
  16.     // 产生告警时调用的接口
  17.     @PostMapping("/webhook")
  18.     public void webhook(@RequestBody List<AlarmMessage> alarmMessageList){
  19.         lastList = alarmMessageList;
  20.     }
  22.     // 展示告警的信息
  23.     @GetMapping("/show")
  24.     public List<AlarmMessage> show(){
  25.         return lastList;
  26.     }
  27. }

产生告警时会调用webhook接口，该接口必须是Post类型，同时接口参数使用RequestBody。参数格式为： 

  1. [{
  2.     "scopeId": 1,
  3.     "scope": "SERVICE",
  4.     "name": "serviceA",
  5.     "id0": 12,
  6.     "id1": 0,
  7.     "ruleName": "service_resp_time_rule",
  8.     "alarmMessage": "alarmMessage xxxx",
  9.     "startTime": 1560524171000
  10. }, {
  11.     "scopeId": 1,
  12.     "scope": "SERVICE",
  13.     "name": "serviceB",
  14.     "id0": 23,
  15.     "id1": 0,
  16.     "ruleName": "service_resp_time_rule",
  17.     "alarmMessage": "alarmMessage yyy",
  18.     "startTime": 1560524171000
  19. }]

AlarmMessage: 

  1. package com.itcast.skywalking_alarm.pojo;
  3. public class AlarmMessage {
  5.     private int scopeId;
  6.     private String name;
  7.     private int id0;
  8.     private int id1;
  9.     // 告警的消息
  10.     private String alarmMessage;
  11.     // 告警的产生时间
  12.     private long startTime;
  13.     public int getScopeId() {
  14.         return scopeId;
  15.     }
  16.     public void setScopeId(int scopeId) {
  17.         this.scopeId = scopeId;
  18.     }
  19.     public String getName() {
  20.         return name;
  21.     }
  22.     public void setName(String name) {
  23.         this.name = name;
  24.     }
  25.     public int getId0() {
  26.         return id0;
  27.     }
  28.     public void setId0(int id0) {
  29.         this.id0 = id0;
  30.     }
  31.     public int getId1() {
  32.         return id1;
  33.     }
  34.     public void setId1(int id1) {
  35.         this.id1 = id1;
  36.     }
  37.     public String getAlarmMessage() {
  38.         return alarmMessage;
  39.     }
  40.     public void setAlarmMessage(String alarmMessage) {
  41.         this.alarmMessage = alarmMessage;
  42.     }
  43.     public long getStartTime() {
  44.         return startTime;
  45.     }
  46.     public void setStartTime(long startTime) {
  47.         this.startTime = startTime;
  48.     }
  49.     @Override
  50.     public String toString() {
  51.         return "AlarmMessage{" +
  52.             "scopeId=" + scopeId +
  53.             ", name='" + name + '\'' +
  54.             ", id0=" + id0 +
  55.             ", id1=" + id1 +
  56.             ", alarmMessage='" + alarmMessage + '\'' +
  57.             ", startTime=" + startTime +
  58.             '}';
  59.     }
  60. }

3.4.3 部署测试

首先需要修改告警规则配置文件，将webhook地址修改为： 

  1. webhooks:
  2. - http://127.0.0.1:8089/webhook

image.png
然后重启skywalking

  1. [root@node4 bin]# pwd
  2. /usr/local/skywalking/apache-skywalking-apm-bin/bin
  3. [root@node4 bin]#
  4. [root@node4 bin]# ./startup.sh restart
  5. SkyWalking OAP started successfully!
  6. SkyWalking Web Application started successfully!

1、将skywalking_alarm.jar上传至 /usr/local/skywalking 目录下。
2、启动skywalking_alarm应用，等待启动成功。 

  1. java -javaagent:/usr/local/skywalking/apache-skywalking-apm-bin/agent/skywalking-agent.jar -Dskywalking.agent.service_name=skywalking_alarm -jar skywalking_alarm.jar

3、不停调用接口，接口地址为：http://虚拟机IP:8089/timeout
4、直到出现告警：
image.png
5、查看告警信息接口：http://虚拟机IP:8089/show
image.png
从上图中可以看到，我们已经获取到了告警相关的信息，在生产中使用可以在webhook接口中对接短信、邮件等平台，当告警出现时能迅速发送信息给对应的处理人员，提高故障处理的速度。

4、Skywalking原理

4.1 java agent原理

上文中我们知道，要使用Skywalking去监控服务，需要在其VM参数中添加“- javaagent:/usr/local/skywalking/apache-skywalking-apm-bin/agent/skywalking-agent.jar”。这里就使用到了java agent技术。
Java agent是什么？
Java agent是java命令的一个参数。参数 javaagent 可以用于指定一个 jar 包。

  1. 这个 jar 包的 MANIFEST.MF 文件必须指定 Premain-Class 项。
  2. Premain-Class 指定的那个类必须实现 premain() 方法。

当Java 虚拟机启动时，在执行 main 函数之前，JVM 会先运行 -javaagent 所指定 jar 包内 Premain-Class 这个类的 premain方法 。

如何使用java agent？
使用 java agent 需要几个步骤：

  1. 定义一个 MANIFEST.MF 文件，必须包含 Premain-Class 选项，通常也会加入Can-Redefifine-Classes 和 Can-Retransform-Classes 选项。
  2. 创建一个Premain-Class 指定的类，类中包含 premain 方法，方法逻辑由用户自己确定。
  3. 将 premain 的类和 MANIFEST.MF 文件打成 jar 包。
  4. 使用参数 -javaagent: jar包路径 启动要代理的方法。

    4.1.1 搭建java agent工程

    使用maven创建java_agent_demo工程：
    image.png
    在java文件夹下新建PreMainAgent类： ```java import java.lang.instrument.Instrumentation;

public class PreMainAgent { /**

  1. * 在这个 premain 函数中，开发者可以进行对类的各种操作。
  2. * 1、agentArgs是premain函数得到的程序参数，随同 “– javaagent”一起传入。与main函数不同的是，这个参数是一个字符串而不是一个字符串数组，如果程序参数有多个，程序将自行解析这个字符串。
  3. * 2、Inst是一个java.lang.instrument.Instrumentation的实例，由JVM自动传入。*
  4. *    java.lang.instrument.Instrumentation是instrument包中定义的一个接口，也是这个包的核心部分，集中了其中几乎所有的功能方法，例如类定义的转换和操作等等。
  5. * @param agentArgs
  6. * @param inst
  7. */
  8. public static void premain(String agentArgs, Instrumentation inst) {
  9.     System.out.println("=========premain方法执行1========");
  10.     System.out.println(agentArgs);
  11. }

/**

  1. * 如果不存在 premain(String agentArgs, Instrumentation inst)
  2. * 则会执行 premain(String agentArgs)
  3. * @param agentArgs
  4. */
  5. public static void premain(String agentArgs) {
  6.     System.out.println("=========premain方法执行2========");
  7.     System.out.println(agentArgs);
  8. }

}

  1. 类中提供两个静态方法，方法名均为premain，不能拼错。 <br />在pom文件中添加打包插件：
  2. ```xml
  3. <build>
  4.   <plugins>
  5.     <plugin>
  6.       <artifactId>maven-assembly-plugin</artifactId>
  7.       <configuration>
  8.         <appendAssemblyId>false</appendAssemblyId>
  9.         <descriptorRefs>
  10.           <descriptorRef>jar-with-dependencies</descriptorRef>
  11.         </descriptorRefs>
  12.         <archive>
  13.           <!--自动添加META-INF/MANIFEST.MF -->
  14.           <manifest>
  15.             <addClasspath>true</addClasspath>
  16.           </manifest>
  17.           <manifestEntries>
  18.             <Premain-Class>PreMainAgent</Premain-Class>
  19.             <Agent-Class>PreMainAgent</Agent-Class>
  20.             <Can-Redefine-Classes>true</Can-Redefine-Classes>
  21.             <Can-Retransform-Classes>true</Can-RetransformClasses>
  22.           </manifestEntries>
  23.         </archive>
  24.       </configuration>
  25.       <executions>
  26.         <execution>
  27.           <id>make-assembly</id>
  28.           <phase>package</phase>
  29.           <goals>
  30.             <goal>single</goal>
  31.           </goals>
  32.         </execution>
  33.       </executions>
  34.     </plugin>
  35.   </plugins>
  36. </build>

该插件会在自动生成META-INF/MANIFEST.MF文件时，帮我们添加agent相关的配置信息。
使用maven的package命令进行打包：
image.png
打包成功之后，复制打包出来的jar包地址。
image.png

4.1.2 搭建主工程

使用maven创建java_agent_user工程：
image.png
Main类代码： 

  1. public class Main {
  3.     public static void main(String[] args) {
  4.         System.out.println("Hello World");
  5.     }
  6. }

先运行一次，然后点击编辑MAIN启动类：
image.png
在VM options中添加代码：
image.png
代码为 

  1. -javaagent:路径\java-agent-demo-1.0-SNAPSHOT.jar=HELLOAGENT

启动时加载javaagent，指向上一节中编译出来的java agent工程jar包地址，同时在最后追加参数HELLOAGENT。
运行MAIN方法，查看结果:
image.png
可以看到java agent的代码优先于MAIN函数的方法运行，证明java agent运行正常。

4.1.3 统计方法调用时间

Skywalking中对每个调用的时长都进行了统计，这一小节中我们会使用ByteBuddy和Java agent技术来统计方法的调用时长。
Byte Buddy是开源的、基于Apache 2.0许可证的库，它致力于解决字节码操作和instrumentation API的复杂性。Byte Buddy所声称的目标是将显式的字节码操作隐藏在一个类型安全的领域特定语言背后。通过使用Byte Buddy，任何熟悉Java编程语言的人都有望非常容易地进行字节码操作。Byte Buddy提供了额外的API来生成Java agent，可以轻松的增强我们已有的代码。
添加依赖： 

  1. <dependencies>
  2.   <dependency>
  3.     <groupId>net.bytebuddy</groupId>
  4.     <artifactId>byte-buddy</artifactId>
  5.     <version>1.9.2</version>
  6.   </dependency>
  7.   <dependency>
  8.     <groupId>net.bytebuddy</groupId>
  9.     <artifactId>byte-buddy-agent</artifactId>
  10.     <version>1.9.2</version>
  11.   </dependency>
  12. </dependencies>

修改PreMainAgent代码： 

  1. import net.bytebuddy.agent.builder.AgentBuilder;
  2. import net.bytebuddy.description.method.MethodDescription;
  3. import net.bytebuddy.description.type.TypeDescription;
  4. import net.bytebuddy.dynamic.DynamicType;
  5. import net.bytebuddy.implementation.MethodDelegation;
  6. import net.bytebuddy.matcher.ElementMatchers;
  7. import net.bytebuddy.utility.JavaModule;
  8. import java.lang.instrument.Instrumentation;
  10. public class PreMainAgent {
  12.     public static void premain(String agentArgs, Instrumentation inst) {
  14.         //创建一个转换器，转换器可以修改类的实现
  15.         //ByteBuddy对java agent提供了转换器的实现，直接使用即可
  16.         AgentBuilder.Transformer transformer = new AgentBuilder.Transformer() {
  17.             public DynamicType.Builder<?> transform(DynamicType.Builder<?>
  18.                                                     builder, TypeDescription typeDescription, ClassLoader classLoader, JavaModule
  19.                                                     javaModule) {
  20.                 return builder
  21.                     // 拦截任意方法
  22.                     .method(ElementMatchers.<MethodDescription>any())
  23.                     // 拦截到的方法委托给TimeInterceptor
  24.                     .intercept(MethodDelegation.to(MyInterceptor.class));
  25.             }
  26.         };
  27.         new AgentBuilder // Byte Buddy专门有个AgentBuilder来处理Java Agent的场景
  28.             .Default()
  29.             // 根据包名前缀拦截类
  30.             .type(ElementMatchers.nameStartsWith("com.agent"))
  31.             // 拦截到的类由transformer处理
  32.             .transform(transformer)
  33.             .installOn(inst);
  34.     }
  35. }

先生成一个转换器，ByteBuddy提供了java agent专用的转换器。通过实现Transformer接口利用builder对象来创建一个转换器。转换器可以配置拦截方法的格式，比如用名称，本例中拦截所有方
法，并定义一个拦截器类MyInterceptor。
创建完拦截器之后可以通过Byte Buddy的AgentBuilder建造者来构建一个agent对象。AgentBuilder可以对指定的包名前缀来生效，同时需要指定转换器对象。
MyInterceptor类： 

  1. import net.bytebuddy.implementation.bind.annotation.Origin;
  2. import net.bytebuddy.implementation.bind.annotation.RuntimeType;
  3. import net.bytebuddy.implementation.bind.annotation.SuperCall;
  4. import java.lang.reflect.Method;
  5. import java.util.concurrent.Callable;
  7. public class MyInterceptor {
  9.     @RuntimeType
  10.     public static Object intercept(@Origin Method method,
  11.                                    @SuperCall Callable<?> callable)
  12.     throws Exception {
  13.         long start = System.currentTimeMillis();
  14.         try {
  15.             //执行原方法
  16.             return callable.call();
  17.         } finally {
  18.             //打印调用时长
  19.             System.out.println(method.getName() + ":" +
  20.                                (System.currentTimeMillis() - start) + "ms");
  21.         }
  22.     }
  23. }

MyInterceptor就是一个拦截器的实现，统计的调用的时长。参数中的method是反射出的方法对象，而callable就是调用对象，可以通过callable.call（）方法来执行原方法。
重新打包，执行maven package命令。接下来修改主工程代码。主工程将Main类放置到 com.agent 包下。修改代码内容为：

  1. package com.agent;
  3. public class Main {
  5.     public static void main(String[] args) {
  6.         try {
  7.             Thread.sleep(1000);
  8.         } catch (InterruptedException e) {
  9.             e.printStackTrace();
  10.         }
  11.         System.out.println("Hello World");
  12.     }
  13. }

休眠1秒，使统计时长的演示效果更好一些。执行main方法之后显示结果：
image.png
我们在没有修改代码的情况下，利用java agent和Byte Buddy统计出了方法的时长，Skywalking的agent也是基于这些技术来实现统计调用时长。

4.2 Open Tracing介绍

之前的课程中已经简单介绍过Open Tracing一些基础概念，OpenTracing通过提供平台无关、厂商无关的API，使得开发人员能够方便的添加（或更换）追踪系统的实现。OpenTracing中最核心的概念就是Trace。

4.2.1 Trace的概念

在广义上，一个trace代表了一个事务或者流程在（分布式）系统中的执行过程。在OpenTracing标准中，trace是多个span组成的一个有向无环图（DAG），每一个span代表trace中被命名并计时的连续性的执行片段。
image.png
例如客户端发起的一次请求，就可以认为是一个Trace。将上面的图通过Open Tracing的语义修改完之后做可视化，得到下面的图：
image.png
图中每一个色块其实就是一个span。

4.2.2 Span的概念

一个Span代表系统中具有开始时间和执行时长的逻辑运行单元。span之间通过嵌套或者顺序排列建立逻辑因果关系。Span里面的信息包括：操作的名字，开始时间和结束时间，可以附带多个 key:value 构成的 Tags(key必须是String，value可以是 String, bool 或者数字)，还可以附带 Logs 信息(不一定所有的实现都支持) 也是 key:value形式。
下面例子是一个 Trace，里面有8个 Span：
image.png
一个span可以和一个或者多个span间存在因果关系。OpenTracing定义了两种关系： ChildOf 和 FollowsFrom 。这两种引用类型代表了子节点和父节点间的直接因果关系。未来，OpenTracing将支持非因果关系的span引用关系。（例如：多个span被批量处理，span在同一个队列中，等等）
ChildOf 很好理解，就是父亲 Span 依赖另一个孩子 Span。比如函数调用，被调者是调用者的孩子，比如说 RPC 调用，服务端那边的Span，就是 ChildOf 客户端的。很多并发的调用，然后将结果聚合起来的操作，就构成了 ChildOf 关系。
如果父亲 Span 并不依赖于孩子 Span 的返回结果，这时可以说它他构成 FollowsFrom 关系。
image.png
如图所示，左边的每一条追踪代表一个Trace，而右边时序图中每一个节点就是一个Span。

4.2.3 Log的概念

每个span可以进行多次Logs操作，每一次Logs操作，都需要一个带时间戳的时间名称，以及可选的任意大小的存储结构。
如下图是一个异常的Log：
image.png
如下图是两个正常信息的Log，它们都带有时间戳和对应的事件名称、消息内容。
image.png

4.2.4 Tags的概念

每个span可以有多个键值对（key:value）形式的Tags，Tags是没有时间戳的，支持简单的对span进行注解和补充。
如下图就是一个Tags的详细信息，其中记录了数据库访问的SQL语句等内容。
image.png