JVM的执行引擎

执行引擎

执行引擎属于 JVM 的下层，包括解释器、即时编译器、垃圾回收器，是Java虚拟机核心的组成部分之一。

一、指令、汇编、高级语言

1、机器码

• 用二进制编码方式表示的指令，叫做机器指令码。
• 用机器码编写的程序一经输入计算机，CPU 直接读取运行，因此和其他语言编的程序相比，执行速度最快。
• 机器指令与 CPU 紧密相关，所以不同种类的 CPU 所对应的机器指令也不同。
• 机器语言虽然能够被计算机理解和接受，但和人们的语言差别太大，不易被人们理解和记忆，用它编程容易出差错。

2、指令

由于机器码是由 0 和 1 组成的二进制序列，可读性实在太差，于是人们发明了指令。

指令就是把机器码中特定的 0 和 1 序列，简化成对应的指令（一般为英文简写，如 mov，inc 等），可读性稍好

不同的硬件平台执行同一个操作，机器码可能不同；因此不同的硬件平台的同一种指令（比如 mov），对应的机器码也可能不同。

3、指令集

不同的硬件平台，各自支持的指令，是有差别的。因此每个平台所支持的指令，称之为对应平台的指令集。 如常见的

• x86 指令集，对应的是 x86 架构的平台
• ARM 指令集，对应的是 ARM 架构的平台

4、汇编语言

由于指令的可读性还是太差，于是人们又发明了汇编语言。

• 汇编语言中，用助记符（Mnemonics）代替机器指令的操作码，用 地址符号（Symbol）或标号（Label）代替指令或操作数的地址
• 在不同的硬件平台，汇编语言对应着不同的机器语言指令集，通过汇编过程转换成机器指令。

由于计算机只认识指令码，所以用汇编语言编写的程序还必须翻译成机器指令码，计算机才能识别和执行。

5、高级语言

为了使计算机用户编程序更容易些，后来就出现了各种高级计算机语言。高级语言是比机器语言、汇编语言更通俗易懂的语言。

当计算机执行高级语言编写的程序时，仍然需要把程序解释和编译成机器的指令码。完成这个过程的程序就叫做解释程序或编译程序。

注意：高级语言不是直接翻译成机器指令的，而是先翻译成汇编语言，再由汇编语言翻译成机器指令。

1. 编译过程：读取源程序（字符流），对之进行词法和语法的分析，将高级语言指令转换为功能等效的汇编代码
2. 汇编过程：把汇编语言代码翻译成目标机器指令的过程。

6、字节码

• 字节码是一种二进制代码（文件），比机器码更抽象，需要直译器转译后才能成为机器码。
• 字节码主要为了实现特定软件运行和软件环境、与硬件环境无关。
• 字节码的实现方式是通过编译器和虚拟机。
  • 编译器 将源码编译成字节码，
  • 特定平台的虚拟机 将字节码转译为可以直接执行的指令。

1. 前端编译：Java程序 --> 字节码文件的过程
2. 后端编译：字节码文件 --> 执行的过程（这里有两种行为：一种是解释执行，一种是编译执行）

二、执行引擎

1、虚拟机 vs 物理机

「虚拟机」是一个相对于「物理机」的概念，这两种机器都有代码执行能力，区别在于：

• 物理机的执行引擎：直接建立在处理器、缓存、指令集和操作系统层面上
• 虚拟机的执行引擎：由软件自行实现，可以不受物理条件制约地定制指令集与执行引擎的结构体系。

因此，JVM的执行引擎能够执行那些不被硬件直接支持的指令集格式。

2、JVM的执行引擎

JVM的主要任务是负责装载字节码到其内部，但字节码并不能够直接运行在操作系统之上，因为字节码指令并非等价于本地机器指令，它内部包含的仅仅只是一些能够被JVM所识别的字节码指令、符号表，以及其他辅助信息。

JVM的执行引擎，就是 将 字节码二进制流 解释/编译为 对应平台上的本地机器指令 执行。

1. 在程序执行过程中，执行引擎需要执行什么字节码指令，完全依赖于 PC寄存器 / 程序计数器。
2. 每执行完一条指令过后，PC寄存器 就会更新下一条需要被执行的指令地址。

方法在执行的过程中，执行引擎也有可能会通过存储在局部变量表中的对象引用，准确定位到存储在 Java 堆区中的对象实例信息，以及通过 对象头中的元数据指针 定位到 目标对象的类型信息。

三、Java代码编译和执行过程

1、编译 和 执行过程

大部分的 程序代码 转换成 物理机的目标代码 或 虚拟机能执行的指令集 之前，都需要经过下图中的各个步骤：

1. 前面橙色部分是编译生成字节码文件的过程（javac编译器来完成，也就是前端编译器），和JVM没有关系。
2. 后面绿色（解释执行）和蓝色（即时编译）才是JVM需要考虑的过程（也就是class文件的编译执行）

前端编译：Java源代码 --> 字节码文件的过程（由 javac编译器 完成）

后端编译：字节码文件 --> 执行的过程（这里有两种行为：一种是解释执行，一种是编译执行）

2、HotSpot VM

HotSpot VM 是目前市面上高性能虚拟机的代表作之一。它采用解释器与即时编译器并存的架构。

3、如何理解 半编译半解释性语言？

我们都知道Java是半编译半解释性语言，那么具体应该怎么理解呢？

错误的理解：Java代码先编译成字节码文件，然后字节码文件再解释执行。

正确的理解：JVM在执行Java代码的时候，既可以使用解释器，又可以使用JIT编译器，通常将两者结合起来进行。

四、解释器

1、解释器的作用

为了实现跨平台的特性，需要避免采用静态编译（即直接由高级语言生成本地机器指令），从而产生了一个中间产物：即class文件

JVM启动时，解释器（Interpreter）会根据预定义的规范，对字节码采用逐行解释的方式执行。

1. 将每条字节码文件中的内容“翻译”为对应平台的本地机器指令执行。
2. 当一条字节码指令被解释执行完成后，再找到 PC寄存器中记录的下一条需要被执行的字节码指令 解释执行

2、解释器的分类

在Java的发展历史里，一共有两套解释执行器：古老的字节码解释器 和 现在普遍使用的模板解释器

• 字节码解释器：在执行时，通过纯软件代码模拟字节码的执行，效率非常低下。
• 模板解释器：将每一条字节码和一个模板函数相关联，模板函数中直接产生这条字节码执行时的机器码，提高了解释器的性能。

在HotSpot VM中，解释器主要由 Interpreter模块 和 Code模块 构成。

• Interpreter模块：实现了解释器的核心功能
• Code模块：用于管理HotSpot VM在运行时生成的本地机器指令

3、解释器的现状

由于解释器在设计和实现上非常简单，因此除了Java语言之外，还有许多高级语言同样也是基于解释器执行的，比如Python、Perl、Ruby等。但是在今天，基于解释器执行已经沦落为低效的代名词。

为了解决这个问题，JVM平台支持一种叫作即时编译的技术。即时编译的目的是避免函数被解释执行，而是将整个函数体编译成为机器码，每次函数执行时，只执行编译后的机器码即可，这种方式可以使执行效率大幅度提升。

五、JIT编译器

1、解释器 & JIT编译器

• 解释器（Interpreter）：

  程序运行时，根据预定义的规范，将字节码 逐行解释 成 对应平台的本地机器指令 直接执行。

• JIT编译器（Just In Time Compiler）

  虚拟机将 热点代码一次性直接编译成对应平台的本地机器指令并缓存，但并不是马上执行。

相比之下，解释器解释完直接执行，响应速度快；JIT编译器缓存了编译结果，执行时无需翻译直接执行，执行速度快。

2、HotSpot VM & JRockit VM

HotSpot VM 是目前市面上高性能虚拟机的代表作之一。它采用解释器与即时编译器并存的架构。

而JRockit VM内部则是砍掉了解释器，字节码全部依靠即时编译器编译后执行。

JRockit VM中程序的执行性能会非常高效，但程序在启动时必然需要花费更长的时间来进行编译。对于服务端应用来说，启动时间并非是关注重点，但对于那些看中启动时间的应用场景而言，或许就需要采用解释器与即时编译器并存的架构来换取一个平衡点。

3、为什么还需要解释器？

既然JIT编译器的执行性能要优于解释器，那么为什么 HotSpot VM 还要使用解释器来“拖累”程序的执行性能呢？

首先明确两点：

1. 当程序启动后，解释器可以马上发挥作用，响应速度快，省去编译的时间，立即执行。
2. 编译器要想发挥作用，把代码编译成本地代码，需要一定的执行时间，但编译为本地代码后，执行效率高。

解释器+编译器：

当虚拟机启动的时候，解释器可以首先发挥作用，而不必等待即时编译器全部编译完成再执行，这样可以省去许多编译时间。随着程序运行时间的推移，即时编译器逐渐发挥作用，根据热点探测功能，将有价值的字节码编译为本地机器指令，以换取更高的程序执行效率。

解释器和即时编译器相互协作，各自取长补短，尽力去选择最合适的方式来权衡编译本地代码的时间和直接解释执行代码的时间。

同时，解释执行在编译器进行激进优化不成立的时候，作为编译器的“逃生门”。

下面看一个案例：

热机状态（已经运行了一段时间叫热机状态）可以承受的负载 > 冷机状态（刚启动的时候叫冷机状态）可以承受的负载。如果以热机状态时的流量进行切流，可能使处于冷机状态的服务器因无法承载流量而假死。

在生产环境发布过程中，以分批的方式进行发布，根据机器数量划分成多个批次，每个批次的机器数至多占到整个集群的1/8。

曾经有这样的故障案例：某程序员在发布平台进行分批发布，在输入发布总批数时，误填写成分为两批发布。如果是热机状态，正常情况下一半的机器可以勉强承载流量，但由于刚启动的JVM均是解释执行，还没有进行热点代码统计和JIT动态编译，导致机器启动之后，
当前1/2发布成功的服务器马上全部宕机，此故障说明了JIT的存在。—阿里团队

4、热点代码及探测方式

JIT编译器只会针对“热点代码”做出深度优化，将其直接编译为对应平台的本地机器指令，以此提升Java程序的执行性能。

• 热点代码：一个被多次调用的方法，或者是一个方法体内部循环次数较多的循环体
• 热点探测：一个方法究竟要被调用多少次，或者一个循环体究竟需要执行多少次循环才可以达到 JIT的标准

目前HotSpot VM所采用的是基于计数器的热点探测方式。HotSpot VM会为每一个方法都建立2个不同类型的计数器：

• 方法调用计数器（Invocation Counter）：用于统计方法的调用次数
• 回边计数器（Back Edge Counter）：用于统计循环体执行的循环次数

JIT编译器的编译方式发生在方法的执行过程中，因此也被称为 栈上替换编译，简称 OSR编译（On StackReplacement）

1）方法调用计数器

方法调用计数器（Invocation Counter）：用于统计方法的调用次数。超过阈值，就会触发JIT编译。

• 默认阀值在 Client模式下 为 1500次；在 Server模式下 为10000次

这个阀值可以通过虚拟机参数 -XX:CompileThreshold 来人为设定。

当一个方法被调用时，会先检查该方法是否存在被JIT编译过的版本

• 如果存在，则优先使用编译后的本地代码来执行
• 如果不存在已被编译过的版本，则将此方法的调用计数器值加1，然后判断计数是否超过方法调用计数器的阀值。
  • 如果已超过阈值，那么将会向即时编译器提交一个该方法的代码编译请求。
  • 如果未超过阈值，则使用解释器对字节码文件解释执行。

2）热度衰减

如果不做任何设置，方法调用计数器统计的是一段时间之内方法被调用的次数，而不是方法被调用的绝对次数。

当超过一定的时间限度，如果方法的调用次数仍然不足以让它提交给即时编译器编译，那这个方法的调用计数器就会被减少一半，这个过程称为方法调用计数器热度的衰减（Counter Decay），而这段时间就称为此方法统计的半衰周期（Counter Half Life Time）

进行热度衰减的动作是在虚拟机进行垃圾收集时顺便进行的，可以使用虚拟机参数 -XX:-UseCounterDecay 来关闭热度衰减，让方法计数器统计方法调用的绝对次数，这样的话，只要系统运行时间足够长，绝大部分方法都会被编译成本地代码。

另外，可以使用-XX:CounterHalfLifeTime参数设置半衰周期的时间，单位是秒。

3）回边计数器

它的作用是统计一个方法中循环体代码执行的次数，在字节码中遇到控制流向后跳转的指令称为“回边”（Back Edge）。显然，建立回边计数器统计的目的就是为了触发 OSR编译 / 栈上替换编译

5、HotSpotVM设置解释与编译

默认情况下，HotSpot VM是采用解释器与即时编译器并存的架构，当然开发人员可以根据具体的应用场景，通过命令显式地为虚拟机
指定在运行时到底是完全采用解释器执行，还是完全采用即时编译器执行。如下所示：

1. -Xint：完全采用解释器模式执行程序；
2. -Xcomp：完全采用即时编译器模式执行程序。如果即时编译出现问题，解释器会介入执行
3. -Xmixed：采用解释器+即时编译器的混合模式共同执行程序。

代码测试

/**
 * 测试解释器模式和JIT编译模式
 *  -Xint  : 6520ms
 *  -Xcomp : 950ms
 *  -Xmixed : 936ms
 */
public class IntCompTest {
    public static void main(String[] args) {

        long start = System.currentTimeMillis();

        testPrimeNumber(1000000);

        long end = System.currentTimeMillis();

        System.out.println("花费的时间为：" + (end - start));

    }

    public static void testPrimeNumber(int count){
        for (int i = 0; i < count; i++) {
            //计算100以内的质数
            label:for(int j = 2;j <= 100;j++){
                for(int k = 2;k <= Math.sqrt(j);k++){
                    if(j % k == 0){
                        continue label;
                    }
                }
                //System.out.println(j);
            }

        }
    }
}

结论：只用解释器执行是真的慢

6、编译器的分类

Java 语言的“编译期”其实是一段“不确定”的操作过程

1. 它可能是指一个前端编译器（其实叫“编译器的前端”更准确一些）把 .java 文件 转变成 .class 文件 的过程；
2. 也可能是指虚拟机的后端运行期编译器（JIT 编译器，Just In Time Compiler）把 字节码 转变成 本地机器码 的过程。
3. 还可能是指使用静态提前编译器（AOT 编译器，Ahead of Time Compiler）直接把 .java 文件 编译成 本地机器代码 的过程。

典型的编译器：

• 前端编译器：Sun 的 Javac、Eclipse JDT 中的增量式编译器（ECJ）。

• JIT 编译器：HotSpot VM 的 C1、C2 编译器。（JDK10引入的Graal编译器）

• AOT 编译器：GNU Compiler for the Java（GCJ）、Excelsior JET。（JDK9引入）

1）C1和C2编译器

JDK10之前，HotSpot VM中内嵌有两个JIT编译器，分别为Client Compiler和Server Compiler，简称C1和C2。

• C1编译器会对字节码进行简单和可靠的优化，耗时短，以达到更快的编译速度。
• C2编译器会对字节码进行耗时较长的优化，以及激进优化，但优化的代码执行效率更高。（使用C++）

开发人员可以通过如下命令显式指定Java虚拟机在运行时到底使用哪一种即时编译器：

• -client：指定Java虚拟机运行在Client模式下，并使用C1编译器；
• -server：指定Java虚拟机运行在server模式下，并使用C2编译器。

注意：64位的操作系统，默认就是Server，而且无法设置为Client，设置了也会被忽略。

2）C1和C2编译器 - 优化策略

C1 编译器上主要有方法内联、去虚拟化、冗余消除。

• 方法内联：将引用的函数代码编译到引用点处，这样可以减少栈帧的生成，减少参数传递以及跳转过程
• 去虚拟化：对唯一的实现类进行内联
• 冗余消除：在运行期间把一些不会执行的代码折叠掉

C2 的优化主要是在全局层面，逃逸分析（前面讲过，并不成熟）是优化的基础。基于逃逸分析在 C2 上有如下几种优化：

• 标量替换：用标量值代替聚合对象的属性值
• 栈上分配：对于未逃逸的对象分配对象在栈而不是堆
• 同步消除：清除同步操作，通常指 synchronized

3）C1和C2编译器 - 分层编译

在Java7版本之后，默认将会开启分层编译策略，由C1编译器和C2编译器相互协作共同来执行编译任务。

综合了 C1 的高启动性能及 C2 的高峰值性能。这两个 JIT 将 HotSpot 的执行方式划分为五个级别：

• level 0：interpreter 解释执行。
• level 1：C1 编译，无 profiling（性能监控）
• level 2：C1 编译，仅方法及循环 back-edge 执行次数的 profiling
• level 3：C1 编译，除 level 2 中的 profiling 外还包括 branch（针对分支跳转字节码）及 receiver type（针对成员方法调用或类检测，如 checkcast，instnaceof，aastore 字节码）的 profiling
• level 4：C2 编译

一般来讲，C2编译器启动时长比C1慢，系统稳定执行以后，C2编译器执行速度远快于C1编译器

3）Graal 编译器

• 自JDK10起，HotSpot又加入了一个全新的即时编译器：Graal编译器

• 编译效果短短几年时间就追平了G2编译器，未来可期（对应还出现了Graal虚拟机，是有可能替代Hotspot的虚拟机的）

• 目前，带着实验状态标签，需要使用开关参数去激活才能使用

  -XX:+UnlockExperimentalvMOptions -XX:+UseJVMCICompiler

4）AOT编译器

• Java 9引入了AOT编译器（静态提前编译器，Ahead of Time Compiler）
• Java 9引入了AOT编译工具jaotc。它借助Graal编译器，将所输入的Java类文件转换为机器码，并存放至生成的动态共享库中。

AOT编译是与JIT编译相对立的一个概念：

• JIT编译：在程序的运行过程中，将字节码转换为可在硬件上直接运行的机器码，并部署至托管环境中的过程。
• AOT编译：在程序运行之前，便将字节码转换为机器码的过程。（.java -> .class -> 编译工具jaotc -> .so）

AOT编译器的优缺点：

优点：

1. Java虚拟机加载已经预编译成二进制库，可以直接执行。
2. 不必等待即时编译器的预热，减少Java应用给人带来“第一次运行慢” 的不良体验

缺点：

1. 破坏了 java “ 一次编译，到处运行”，必须为每个不同的硬件，OS编译对应的发行包
2. 降低了Java链接过程的动态性，加载的代码在编译器就必须全部已知。
3. 还需要继续优化中，最初只支持Linux X64 java base