1. # 查询进程id 查询结果pid为6
  2. jps
  3. #  查看进程资源占用情况
  4. top 
  5. # top 按下大写M，显示占用内存做到的进程，按大写P，显示cpu占用最多进程，查询结果pid 6占用cpu 200%
  7. top -Hp 6
  8. # 查询pid 6的占用cpu最多的线程
  9. 发现最高的是 vm Thread，说明jvm在频繁gc，堆内存泄漏了

堆内存泄漏定位

  2. # 查看堆内存各区域的使用率以及GC情况
  3. jstat -gcutil -h20 pid 1000
  5. # 查看堆内存中的存活对象，并按空间排序
  6. jmap -histo pid | head -n20
  8. jmap -histo 6 | head -n20
  10. # dump堆内存文件
  11. jmap -dump:format=b,file=heap.bin pid
  12. jmap -dump:format=b,file=heap.bin 6
  13. # 压缩文件
  14. tar -zvcf heap.bin.tar.gz heap.bin
  17. # 垃圾回收统计
  18. jstat -gc pid
  20. S0C：第一个幸存区的大小
  21. S1C：第二个幸存区的大小
  22. S0U：第一个幸存区的使用大小
  23. S1U：第二个幸存区的使用大小
  24. EC：伊甸园区的大小
  25. EU：伊甸园区的使用大小
  26. OC：老年代大小
  27. OU：老年代使用大小
  28. MC：方法区大小
  29. MU：方法区使用大小
  30. CCSC:压缩类空间大小
  31. CCSU:压缩类空间使用大小
  32. YGC：年轻代垃圾回收次数
  33. YGCT：年轻代垃圾回收消耗时间
  34. FGC：老年代垃圾回收次数
  35. FGCT：老年代垃圾回收消耗时间
  36. GCT：垃圾回收消耗总时间

字节转换工具在线版：http://www.elecfans.com/tools/zijiehuansuan.html

堆外内存

pmap命令可以显示进程的内存映射，使用这个命令可以找出造成内存瓶颈的原因。
pmap -d PID # 显示PID为47394进程的内存信息。
最后一行非常重要：
mapped: 933712K 内存映射所占空间大小
writeable/private: 4304K 私有地址空间大小
shared: 768000K 共享地址空间大小

循环显示进程3066的设备格式的最后1行，间隔2秒，
while true; do pmap -d pid | tail -1; sleep 2; done

while true; do pmap -d 6 | tail -1; sleep 2; done

分享dump出的文件技巧

  • 线上分析往往困难重重，比如在k8s或docker容器实例中，本地无法访问容器内的ip地址
  • 内外网隔离，网络无法访问
  • 内存多大，dump出的文件就多大，生产环境往往内存都几个G或几十个G

dump 出的heap.bin文件一般都很大，堆内存多大，这个文件就多大，我这里是5G多
服务器上没用图形界面工具分析，把它下载下来，我这里使用docker，没法下载，故本地起一个文件传输服务，curl上传文件，把文件传到我本机来

springboot启动一个文件上传服务：
**

  1. /**
  2.  * @author : liupeng
  3.  * @email : 1029538990@qq.com
  4.  * @date : 2020/5/23 11:02 下午
  5.  */
  6. @RestController
  7. @RequestMapping("/")
  8. @Slf4j
  9. public class FileController {
  11.     //curl -F "file=@1.txt" http://localhost:8080/upload
  12.     //curl -F "file=@map.log" http://10.190.179.73:8080/upload
  13.     @PostMapping(value = "upload")
  14.     public String upload(@RequestParam("file") MultipartFile file) {
  15.         try {
  16.             if (file.isEmpty()) {
  17.                 return "文件为空";
  18.             }
  19.             // 获取文件名
  20.             String fileName = file.getOriginalFilename();
  21.             log.info("上传的文件名为：" + fileName);
  22.             // 获取文件的后缀名
  23.             assert fileName != null;
  24.             String suffixName = fileName.substring(fileName.lastIndexOf("."));
  25.             log.info("文件的后缀名为：" + suffixName);
  26.             // 设置文件存储路径
  27.             String filePath = "C:\\WorkSpace\\file\\";
  28.             String path = filePath + fileName;
  29.             File dest = new File(path);
  30.             // 检测是否存在目录
  31.             if (!dest.getParentFile().exists()) {
  32.                 dest.getParentFile().mkdirs();// 新建文件夹
  33.             }
  34.             file.transferTo(dest);// 文件写入
  35.             return "success";
  36.         } catch (IllegalStateException e) {
  37.             e.printStackTrace();
  38.         } catch (IOException e) {
  39.             e.printStackTrace();
  40.         }
  41.         return "error";
  42.     }
  45. }
  48. # 修改配置文件
  49. #tomcat 配置 超时时间，防止文件太大 上传时间太长 上传失败
  50. server:
  51.   port: 8081
  52.   tomcat:
  53.     accept-count: 500000
  54.     max-connections: 500000
  55. #    threads:
  56. #      max: 5000
  57. spring:
  58.   profiles:
  59.     active: dev
  60.   #上传文件大小  文件较大，改为10G
  61.   servlet:
  62.     multipart:
  63.       enabled: true
  64.       max-file-size: 10000MB
  65.       max-request-size: 10000MB
  69. # curl上传文件，服务器有curl工具
  70. curl -F "file=@heap.bin" http://10.190.179.73:8080/upload
  • A、jps(Java Virtual Machine Process Status Tool)
  • B、jstack
  • C、jmap（Memory Map）和jhat（Java Heap Analysis Tool）
  • D、jstat（JVM统计监测工具）
  • E、hprof（Heap/CPU Profiling Tool）

现实企业级Java应用开发、维护中，有时候我们会碰到下面这些问题：

  • OutOfMemoryError，内存不足
  • 内存泄露
  • 线程死锁
  • 锁争用（Lock Contention）
  • Java进程消耗CPU过高
  • ……

这些问题在日常开发、维护中可能被很多人忽视（比如有的人遇到上面的问题只是重启服务器或者调大内存，而不会深究问题根源），但能够理解并解决这些问题是Java程序员进阶的必备要求。本文将对一些常用的JVM性能调优监控工具进行介绍，希望能起抛砖引玉之用。
而且这些监控、调优工具的使用，无论你是运维、开发、测试，都是必须掌握的。

A、jps(Java Virtual Machine Process Status Tool)

jps主要用来输出JVM中运行的进程状态信息。语法格式如下：

  1. jps [options] [hostid]

如果不指定hostid就默认为当前主机或服务器。
命令行参数选项说明如下：

  1. -q 不输出类名、Jar名和传入main方法的参数
  2. -m 输出传入main方法的参数
  3. -l 输出main类或Jar的全限名
  4. -v 输出传入JVM的参数

比如下面：

  1. root@ubuntu:/# jps -m -l
  2. 2458 org.artifactory.standalone.main.Main /usr/local/artifactory-2.2.5/etc/jetty.xml
  3. 29920 com.sun.tools.hat.Main -port 9998 /tmp/dump.dat
  4. 3149 org.apache.catalina.startup.Bootstrap start
  5. 30972 sun.tools.jps.Jps -m -l
  6. 8247 org.apache.catalina.startup.Bootstrap start
  7. 25687 com.sun.tools.hat.Main -port 9999 dump.dat
  8. 21711 mrf-center.jar

B、jstack

jstack主要用来查看某个Java进程内的线程堆栈信息。语法格式如下：

  1. jstack [option] pid
  2. jstack [option] executable core
  3. jstack [option] [server-id@]remote-hostname-or-ip

命令行参数选项说明如下：

  1. -l long listings，会打印出额外的锁信息，在发生死锁时可以用jstack -l pid来观察锁持有情况-m mixed mode，不仅会输出Java堆栈信息，还会输出C/C++堆栈信息（比如Native方法）

jstack可以定位到线程堆栈，根据堆栈信息我们可以定位到具体代码，所以它在JVM性能调优中使用得非常多。下面我们来一个实例找出某个Java进程中最耗费CPU的Java线程并定位堆栈信息，用到的命令有ps、top、printf、jstack、grep。
第一步先找出Java进程ID，我部署在服务器上的Java应用名称为mrf-center：

  1. root@ubuntu:/# ps -ef | grep mrf-center | grep -v grep
  2. root     21711     1  1 14:47 pts/3    00:02:10 java -jar mrf-center.jar

得到进程ID为21711，第二步找出该进程内最耗费CPU的线程，可以使用ps -Lfp pid或者ps -mp pid -o THREAD, tid, time或者top -Hp pid，我这里用第三个，输出如下：
jvm分析常用命令 - 图1
TIME列就是各个Java线程耗费的CPU时间，CPU时间最长的是线程ID为21742的线程，用

  1. printf "%x\n" 21742

得到21742的十六进制值为54ee，下面会用到。
OK，下一步终于轮到jstack上场了，它用来输出进程21711的堆栈信息，然后根据线程ID的十六进制值grep，如下：

  1. root@ubuntu:/# jstack 21711 | grep 54ee
  2. "PollIntervalRetrySchedulerThread" prio=10 tid=0x00007f950043e000 nid=0x54ee in Object.wait() [0x00007f94c6eda000]

可以看到CPU消耗在PollIntervalRetrySchedulerThread这个类的Object.wait()，我找了下我的代码，定位到下面的代码：

  1. // Idle wait
  2. getLog().info("Thread [" + getName() + "] is idle waiting...");
  3. schedulerThreadState = PollTaskSchedulerThreadState.IdleWaiting;
  4. long now = System.currentTimeMillis();
  5. long waitTime = now + getIdleWaitTime();
  6. long timeUntilContinue = waitTime - now;
  7. synchronized(sigLock) {    try {
  8.         if(!halted.get()) {
  9.             sigLock.wait(timeUntilContinue);
  10.         }
  11.     }     catch (InterruptedException ignore) {
  12.     }
  13. }

它是轮询任务的空闲等待代码，上面的sigLock.wait(timeUntilContinue)就对应了前面的Object.wait()。

C、jmap（Memory Map）和jhat（Java Heap Analysis Tool）

jmap用来查看堆内存使用状况，一般结合jhat使用。
jmap语法格式如下：

  1. jmap [option] pid
  2. jmap [option] executable core
  3. jmap [option] [server-id@]remote-hostname-or-ip

如果运行在64位JVM上，可能需要指定-J-d64命令选项参数。

  1. jmap -permstat pid

打印进程的类加载器和类加载器加载的持久代对象信息，输出：类加载器名称、对象是否存活（不可靠）、对象地址、父类加载器、已加载的类大小等信息，如下图：
jvm分析常用命令 - 图2
使用jmap -heap pid查看进程堆内存使用情况，包括使用的GC算法、堆配置参数和各代中堆内存使用情况。比如下面的例子：

  1. root@ubuntu:/# jmap -heap 21711
  2. Attaching to process ID 21711, please wait...
  3. Debugger attached successfully.
  4. Server compiler detected.
  5. JVM version is 20.10-b01
  6. using thread-local object allocation.
  7. Parallel GC with 4 thread(s)
  8. Heap Configuration:
  9. MinHeapFreeRatio = 40
  10. MaxHeapFreeRatio = 70
  11. MaxHeapSize      = 2067791872 (1972.0MB)
  12. NewSize          = 1310720 (1.25MB)
  13. MaxNewSize       = 17592186044415 MB
  14. OldSize          = 5439488 (5.1875MB)
  15. NewRatio         = 2
  16. SurvivorRatio    = 8
  17. PermSize         = 21757952 (20.75MB)
  18. MaxPermSize      = 85983232 (82.0MB)
  19. Heap Usage:
  20. PS Young Generation
  21. Eden Space:
  22.    capacity = 6422528 (6.125MB)
  23.    used     = 5445552 (5.1932830810546875MB)
  24.    free     = 976976 (0.9317169189453125MB)
  25.    84.78829520089286% used
  26. From Space:
  27.    capacity = 131072 (0.125MB)
  28.    used     = 98304 (0.09375MB)
  29.    free     = 32768 (0.03125MB)
  30.    75.0% used
  31. To Space:
  32.    capacity = 131072 (0.125MB)
  33.    used     = 0 (0.0MB)
  34.    free     = 131072 (0.125MB)
  35.    0.0% used
  36. PS Old Generation
  37.    capacity = 35258368 (33.625MB)
  38.    used     = 4119544 (3.9287033081054688MB)
  39.    free     = 31138824 (29.69629669189453MB)
  40.    11.683876009235595% used
  41. PS Perm Generation
  42.    capacity = 52428800 (50.0MB)
  43.    used     = 26075168 (24.867218017578125MB)
  44.    free     = 26353632 (25.132781982421875MB)
  45.    49.73443603515625% used
  46.    ....

使用jmap -histo[:live] pid查看堆内存中的对象数目、大小统计直方图，如果带上live则只统计活对象，如下：

  1. root@ubuntu:/# jmap -histo:live 21711 | more
  2. num     #instances         #bytes  class name----------------------------------------------
  3.    1:         38445        5597736  <constMethodKlass>
  4.    2:         38445        5237288  <methodKlass>
  5.    3:          3500        3749504  <constantPoolKlass>
  6.    4:         60858        3242600  <symbolKlass>
  7.    5:          3500        2715264  <instanceKlassKlass>
  8.    6:          2796        2131424  <constantPoolCacheKlass>
  9.    7:          5543        1317400  [I
  10.    8:         13714        1010768  [C
  11.    9:          4752        1003344  [B
  12.   10:          1225         639656  <methodDataKlass>
  13.   11:         14194         454208  java.lang.String
  14.   12:          3809         396136  java.lang.Class
  15.   13:          4979         311952  [S
  16.   14:          5598         287064  [[I
  17.   15:          3028         266464  java.lang.reflect.Method
  18.   16:           280         163520  <objArrayKlassKlass>
  19.   17:          4355         139360  java.util.HashMap$Entry
  20.   18:          1869         138568  [Ljava.util.HashMap$Entry;
  21.   19:          2443          97720  java.util.LinkedHashMap$Entry
  22.   20:          2072          82880  java.lang.ref.SoftReference
  23.   21:          1807          71528  [Ljava.lang.Object;
  24.   22:          2206          70592  java.lang.ref.WeakReference
  25.   23:           934          52304  java.util.LinkedHashMap
  26.   24:           871          48776  java.beans.MethodDescriptor
  27.   25:          1442          46144  java.util.concurrent.ConcurrentHashMap$HashEntry
  28.   26:           804          38592  java.util.HashMap
  29.   27:           948          37920  java.util.concurrent.ConcurrentHashMap$Segment
  30.   28:          1621          35696  [Ljava.lang.Class;
  31.   29:          1313          34880  [Ljava.lang.String;
  32.   30:          1396          33504  java.util.LinkedList$Entry
  33.   31:           462          33264  java.lang.reflect.Field
  34.   32:          1024          32768  java.util.Hashtable$Entry
  35.   33:           948          31440  [Ljava.util.concurrent.ConcurrentHashMap$HashEntry;

class name是对象类型，说明如下：

  1. B  byte
  2. C  char
  3. D  double
  4. F  float
  5. I  int
  6. J  long
  7. Z  boolean
  8. [  数组，如[I表示int[]
  9. [L+类名 其他对象

还有一个很常用的情况是：用jmap把进程内存使用情况dump到文件中，再用jhat分析查看。jmap进行dump命令格式如下：

  1. jmap -dump:format=b,file=dumpFileName pid

我一样地对上面进程ID为21711进行Dump：

  1. root@ubuntu:/# jmap -dump:format=b,file=/tmp/dump.dat 21711
  2. Dumping heap to /tmp/dump.dat ...
  3. Heap dump file created

dump出来的文件可以用MAT、VisualVM等工具查看，这里用jhat查看：

  1. root@ubuntu:/# jhat -port 9998 /tmp/dump.dat
  2. Reading from /tmp/dump.dat...
  3. Dump file created Tue Jan 28 17:46:14 CST 2014Snapshot read, resolving...
  4. Resolving 132207 objects...
  5. Chasing references, expect 26 dots..........................
  6. Eliminating duplicate references..........................
  7. Snapshot resolved.
  8. Started HTTP server on port 9998Server is ready.

注意如果Dump文件太大，可能需要加上-J-Xmx512m这种参数指定最大堆内存，即jhat -J-Xmx512m -port 9998 /tmp/dump.dat。然后就可以在浏览器中输入主机地址:9998查看了：
jvm分析常用命令 - 图3
上面红线框出来的部分大家可以自己去摸索下，最后一项支持OQL（对象查询语言）。

D、jstat（JVM统计监测工具）

语法格式如下：

  1. jstat [ generalOption | outputOptions vmid [interval[s|ms] [count]] ]

vmid是Java虚拟机ID，在Linux/Unix系统上一般就是进程ID。interval是采样时间间隔。count是采样数目。比如下面输出的是GC信息，采样时间间隔为250ms，采样数为4：

  1. root@ubuntu:/# jstat -gc 21711 250 4
  2. S0C    S1C    S0U    S1U      EC       EU        OC         OU       PC     PU    YGC     YGCT    FGC    FGCT     GCT
  3. 192.0  192.0   64.0   0.0    6144.0   1854.9   32000.0     4111.6   55296.0 25472.7    702    0.431   3      0.218    0.649
  4. 192.0  192.0   64.0   0.0    6144.0   1972.2   32000.0     4111.6   55296.0 25472.7    702    0.431   3      0.218    0.649
  5. 192.0  192.0   64.0   0.0    6144.0   1972.2   32000.0     4111.6   55296.0 25472.7    702    0.431   3      0.218    0.649
  6. 192.0  192.0   64.0   0.0    6144.0   2109.7   32000.0     4111.6   55296.0 25472.7    702    0.431   3      0.218    0.649
  7.     要明白上面各列的意义，先看JVM堆内存布局：

要明白上面各列的意义，先看JVM堆内存布局：
jvm分析常用命令 - 图4
可以看出：

  1. 堆内存 = 年轻代 + 年老代 + 永久代
  2. 年轻代 = Eden区 + 两个Survivor区（From和To）

现在来解释各列含义：

  1. S0C、S1C、S0U、S1U：Survivor 0/1区容量（Capacity）和使用量（Used）
  2. EC、EU：Eden区容量和使用量
  3. OC、OU：年老代容量和使用量
  4. PC、PU：永久代容量和使用量
  5. YGC、YGT：年轻代GC次数和GC耗时
  6. FGC、FGCT：Full GC次数和Full GC耗时
  7. GCT：GC总耗时

E、hprof（Heap/CPU Profiling Tool）

hprof能够展现CPU使用率，统计堆内存使用情况。
语法格式如下：

  1. java -agentlib:hprof[=options] ToBeProfiledClass
  2. java -Xrunprof[:options] ToBeProfiledClass
  3. javac -J-agentlib:hprof[=options] ToBeProfiledClass

完整的命令选项如下：

  1. Option Name and Value  Description                    Default
  2. ---------------------  -----------                    -------
  3. heap=dump|sites|all    heap profiling                 all
  4. cpu=samples|times|old  CPU usage                      off
  5. monitor=y|n            monitor contention             n
  6. format=a|b             text(txt) or binary output     a
  7. file=<file>            write data to file             java.hprof[.txt]
  8. net=<host>:<port>      send data over a socket        off
  9. depth=<size>           stack trace depth              4
  10. interval=<ms>          sample interval in ms          10
  11. cutoff=<value>         output cutoff point            0.0001
  12. lineno=y|n             line number in traces?         y
  13. thread=y|n             thread in traces?              n
  14. doe=y|n                dump on exit?                  y
  15. msa=y|n                Solaris micro state accounting n
  16. force=y|n              force output to <file>         y
  17. verbose=y|n            print messages about dumps     y

来几个官方指南上的实例。
CPU Usage Sampling Profiling(cpu=samples)的例子：

  1. java -agentlib:hprof=cpu=samples,interval=20,depth=3 Hello

上面每隔20毫秒采样CPU消耗信息，堆栈深度为3，生成的profile文件名称是java.hprof.txt，在当前目录。
CPU Usage Times Profiling(cpu=times)的例子，它相对于CPU Usage Sampling Profile能够获得更加细粒度的CPU消耗信息，能够细到每个方法调用的开始和结束，它的实现使用了字节码注入技术（BCI）：

  1. javac -J-agentlib:hprof=cpu=times Hello.java

Heap Allocation Profiling(heap=sites)的例子：

  1. javac -J-agentlib:hprof=heap=sites Hello.java

Heap Dump(heap=dump)的例子，它比上面的Heap Allocation Profiling能生成更详细的Heap Dump信息：

  1. javac -J-agentlib:hprof=heap=dump Hello.java

虽然在JVM启动参数中加入-Xrunprof:heap=sites参数可以生成CPU/Heap Profile文件，但对JVM性能影响非常大，不建议在线上服务器环境使用。