记录Flink 线上碰到java.lang.OutOfMemoryError: GC overhead limit exceeded如何处理？

这个问题是Flink TM内存中我们常见的，看到这个问题我们就要想到下面这句话：

程序在垃圾回收上花了很多时间，却收集一点点内存，伴随着会出现CPU的升高。

是不是大家出现这个问题都会出现上面这种情况呢。那我的问题出现如下：

发现JVM Heap堆内存过高。那么堆内存包含2块：

framwork heap 一般设置是128MB，基本上不会出问题

task heap 是我们用户写代码所使用的的堆内存，那我们就要考虑是不是自己业务代码有问题吗？

所以我使用以下判断方法发现问题的。

1 查看某个TM的堆内存占用是否过高，如果过高，通过页面的端口号找到该TM的PID。操作如下：

例：akka.tcp://flink@IP:23567/user/taskmanager_0

找到这个IP的端口，使用 netstat 找到PID ?---> ?netstat -atunpl | grep 23567

tcp6 ? ? ? 0 ? ? ?0 :::23567 ? ? ? ? ? ? ? ?:::* ? ? ? ? ? ? ? ? ? ?LISTEN ? ? ?3081/java ?
? ?

得到该TM的进程为3081

2 利用命令：jmap -histo:live pid 对该PID进行操作

命令：jmap -histo:live 3081 ?| head -20 ?得到

?num ? ? #instances ? ? ? ? #bytes ?class name
----------------------------------------------
? ?1: ? ? ?24781126 ? ? ?792996032 ?java.util.HashMap$Node
? ?2: ? ? ?21094139 ? ? ?737237032 ?[C
? ?3: ? ? ?21094065 ? ? ?506257560 ?java.lang.String
? ?4: ? ? ? 1560788 ? ? ?225984352 ?[Ljava.util.HashMap$Node;
? ?5: ? ? ? 1557686 ? ? ? 74768928 ?java.util.HashMap
? ?6: ? ? ? ?195141 ? ? ? 59546144 ?[B
? ?7: ? ? ? 1198174 ? ? ? 38341568 ?java.util.concurrent.ConcurrentHashMap$Node
? ?8: ? ? ? 1548207 ? ? ? 24771312 ?com.alibaba.fastjson.JSONObject
? ?9: ? ? ? ? 39805 ? ? ? ?9853696 ?[Ljava.lang.Object;
? 10: ? ? ? ? ?1225 ? ? ? ?9522400 ?[Ljava.util.concurrent.ConcurrentHashMap$Node;
? 11: ? ? ? ?157686 ? ? ? ?5045952 ?org.apache.hadoop.hbase.Key

发现使用HashMap占用太多，寻找自己使用HashMap的方法进行排查，发现没有释放HashMap内数据导致内存一直增加。

最后希望我这种判断方式对大家都有帮助！

欢迎大家关注公众号