一、JVM:
(1)基本概念:JVM是可运行java代码的假想计算机,它包含一套字节码指令集、一组寄存器、一个栈、一个垃圾回收堆和一个存储方法域。JVM是运行在操作系统之上的,它与硬件没有直接交互。
(2)运行过程:java源文件通过编译器能生成相应的.class文件(字节码文件),而字节码文件又通过java虚拟机中的编译器编译成特定的机器码。
java源文件—编译器—.class文件—JVM—机器码
每一个平台的编译器是不同的,但是实现的虚拟机是相同的,这就是java为什么能够跨平台的原因;当一个程序从开始运行,虚拟机就开始实例化了,当多个程序运行时就存在多个虚拟机实例。程序退出或者关闭则表示虚拟机实例消亡,多个虚拟机实例之间的数据不能共享。
1.1 线程
1.线程指程序执行过程的一个线程实体。JVM运行一个应用并发执行多个线程。java线程与原生操作系统线程有直接映射关系。当线程本地存储、缓存区分配、同步对象、栈、程序计数器等准备好以后就会创建一个操作系统原生线程。java线程结束,以后原生线程随之被回收。操作系统负责调度所有线程,并把它们分配到可用的CPU上。当原生线程初始化完毕,就会调用java线程的run方法。当线程结束时,会释放原生线程和java线程的所有资源。
2.Hotspot JVM后天运行的系统线程主要有5个:
1)虚拟机线程:这个线程等待JVM到达安全点操作出现。这些操作必须要在独立的线程里执行,因为当堆修改无法进行时,线程都需要JVM位于安全点。
2)周期性任务线程:这个线程负责定时器事件,用来调度周期性操作的执行。
3)GC线程:这些线程支持JVM中不同的垃圾回收活动。
4)编译器线程:这些线程在运行时将字节码动态编译成本地平台相关的机器码。
5)信号分发线程:这个线程接收发送到JVM的信号并调用适当的JVM方法处理。
1.2JVM内存区域:
JVM 内存区域主要分为线程私有区域:程序计数器、虚拟机栈、本地方法区、线程共享区域(JAVA堆、方法区)、直接内存。
线程私有数据区域生命周期与线程相同,依赖用户线程的启动/结束,而创建/销毁JVM内,每个线程都与操作系统的本地线程直接映射,因此这部分内存区域的存/否跟随本地线程的生/死对应。线程共享区域随虚拟机的启动/关闭而创建/销毁。
直接内存并不是JVM运行时数据区的一部分,但也会被频繁的使用:NIO提供了基于Chanel与Buffer的IO方式。它可以使用Native函数库直接分配堆外内存,然后使用DirectByteBuffer 对象作为这块内存的引用进行操作,这样就可以避免了在java堆和Native堆中来回复制数据,因此在一些场景中可以显著提高性能。
1.2.1程序计数器(线程私有)
一块较小的内存空间,是当前线程所执行的字节码的行号指示器,每条线程都要有独立的程序计数器,这类内存也称为“线程私有”的内存。
正在执行java方法的话,计数器记录的是虚拟机字节码指令的地址(当前指令的地址)。如果还是Native方法,则为空。
这个内存区域是唯一一个在虚拟机中没有规定任何OutOfMemoryError情况的区域。
1.2.2 虚拟机栈(线程私有)
是描述java方法执行的内存模型,每个方法在执行的同时都会创建一个栈帧用于存储局部变量表、操作数栈、动态链接、方法出口等信息。每一个方法从调用直至执行完成的过程,就对应一个栈帧在虚拟机中入栈到出栈的过程。
1.2.3 本地方法区 (线程私有)
本地方法区和Java Stack作用类似,区别是虚拟机栈为执行java方法服务,而本地方法栈则为Native方法服务,如果一个VM实现使用C-linkage 模型来支持Native调用,那么该栈将会是一个C栈,但HotSpot VM直接就把本地方法栈和虚拟机栈合二为一。
1.2.4堆 - 运行时数据区
是被线程共享的一块内存区域,创建的对象和数组都保存在java堆内存中,也是垃圾收集器进行垃圾收集的最重要的内存区域。由于现代VM采用分代收集算法,因此java堆从GC的角度还可以细分为新生代(Eden区、From Survivor区和To Survivor区)和老年代。
1.2.5 方法区/永久代 (线程共享)
永久代用于存储jvm加载的类信息、常量、静态变量、即时编译器编译后的代码等数据。HotSpot VM把GC分代收集扩展至方法区,即使用java堆的永久代来实现方法区,这样Hot Spot的垃圾回收器就可以像管理java堆一样这部分内存,而不必为方法区开发专门的内存管理器。
运行时常量池是方法区的一部分。Class文件中除了有类的版本、字段、方法、接口等描述信息外,还有一项信息就是常量池,它用于存放编译器生成的各种字面量和符号引用,这部分内容将在类加载后存放到方法区的运行时常量池中。java虚拟机对class文件的每一部分的格式都有严格要求,每一个字节用于存储那种数据都要符合规范要求,这样才会被虚拟机认可、加载和执行。
1.3 JVM运行内存:
Java堆从 GC 的角度还可以细分为: 新生代(Eden区 、From Survivor区和 To Survivor区)和老年代。
1.3.1 新生代
是用来存放新生的对象。一般占据堆的1/3空间。由于频繁创建对象,所以新生代会指MinorGC进行垃圾回收。新生代又分为Eden区、ServivorFrom、ServivorTo三个区。
1.3.1.1. Eden区: Java新对象的出生地(如果新创建的对象占用内存很大,则直接分配到年代)。当Eden 区内存不够的时候就会触发MinorGC,对新生代区进一次垃圾回收。
1.3.1.2. ServivorFrom : 上一次GC的幸存者,作为这一次GC的被扫描者。
1.3.1.3. ServivorTo :保留了一次 MinorGC过程中的幸存者。
1.3.1.4. MinorGC的过程(复制->清空->互换)
MinorGC采用复制算法。
1.3.2 老年代
主要存放应用程序中生命周期长的内存对象。
老年代对象比较稳定,所以GC不会频繁执行。在进行Major GC前一般都先进行了一次Minor GC,使的有新生代的对象晋升入老年代,导致空间不够时才触发。当无法找到足够大的连接空间分配给新创建的较大对象时也会提前触发一次Major GC进行垃圾回收腾出空间。
Major GC采用标记清除算法:首先扫描一次所有老年代,标记出存活的对象,然后回收没有标记的对象。Major GC的耗时比较长,因为扫描再回收。Major GC会产生内存碎片,为了减少内存损耗,我们一般需要进行合并或者标记出来方便下次直接分配。当老年代也满了装不下的时候,就会跑出OOM异常。
1.3.3 永久代
指内存的永久保存区域,主要存放Class和Meta的信息,Class在被加载的时候被存放入永久区域,它和存放实例的区域不同,GC不会在程序运行期对永久区域进行清理。这也导致永久代的区域会随加载的Class的增加而胀满,最终抛出OOM异常。
1.4 垃圾回收与算法
1.4.1 如何确定垃圾
1.4.1.1 引用计数法 : 在java中,引用和对象是有关联的,如果要操作对象则必须用引用进行。因此,最简单的办法是通过引用计数来判断一个对象是否可以回收。简单来说,即一个对象如果没有任何与之关联的引用,即他们的引用计数都不为0,则说明对象不太可能再被用到,那么这个对象就是可回收对象。
1.4.1.2 可达性分析 :为了解决引用计数法中的循环引用问题,java使用了可达性分析的方法。通过一系列的“GC roots” 对象作为起点搜索,如果在“GC roots” 和一个对象之间没有达路径,则称该对象是不可达的。不可达对象不等价于可回收对象,不可达对象变成可回收对象至少要经历两次标记过程,标记后仍是可回收对象,则将面临回收。
1.4.2 标记清除算法
最基础的垃圾回收算法,分为两个阶段,标注和清除。标记阶段标记出所有需要回收的对象,清除阶段回收被标记的对象所占用的空间。
1.4.3 复制算法
为了解决Mark- Sweep算法内存碎片化的缺陷被提出的算法。按内存容量将内存划分为等大小的两块。每次只使用其中的一块,当这一块内存满后将尚存活的对象复制到另一块上去,把已使用的内存清掉。这种算法虽然实现简单,内存效率高,不易产生碎片,但是最大的问题是可用内存被压缩到了原本的一半。且存活对象增加的话,Copying算法的效率会大大降低。
1.4.4 标记整理算法
在以上两种算法的基础上,为了避免缺陷产生而提出的一种算法。标记阶段和Mark- Sweep算法相同,标记后不是清理对象,而是将存活对象移向内存的另一端。然后清除端边界外的对象。
1.4.5 分代收集算法
分代收集算法是目前大部分JVM所采用的方法,其核心思想是根据对象存活的不同生命周期将内存划分为不同的域,一般情况下将GC堆划分为老年代和新生代。老年代的特点是每次垃圾回收时只有少量对象需要被回收,新生代的特点是每次垃圾回收时都有大量垃圾需要被回收,因此可以根据不同区域选择不同的算法。
1.4.5.1 新生代与复制算法
目前大部分JVM的GC对于新生代都采取Copying算法,因为新生代中每次垃圾回收都要回收大部分对象,即复制的操作比较少,但通常并不是按照1:1来划分新生代。一般将新生代划分为一块较大的Eden空间和两个较小的Survivor空间,每次使用Eden空间和其中的一块Survivor空间,当进行回收时,将该两块空间中还存活的对象复制到另一块Survivor空间中。
1.4.5.2 老年代与标记复制算法
老年代因为每次只回收少量对象,因而采用Mark- Compact算法。
1. JAVA虚拟机提到过的处于方法区的永久代,它采用存储class类,常量,方法描述等。对永久代的回收主要包括废弃常量和无用类。
2. 对象的内存分配主要在新生代的Eden空间和Survivor空间,少量情况会直接分配到老年代。
3. 当新生代的Eden空间和From空间不足时就会发生一次GC,进行GC后,Eden空间和From空间区的存活对象会被挪移到To Space,然后将Eden空间和From空间进行清理
4. 如果To Space无法足够存储某个对象,则将这个对象存储到老年代。
5. 在进行GC后,使用的便是Eden空间和To空间了,如此反复循环。
1.5 JAVA四种引用类型
1.5.1 强引用
在java中最常用的就是强引用,把一个对象赋给一个引用变量,这个引用变量就是一个强引用。当一个对象被强引用变量引用时,它处于可达状态,它是不可能被垃圾回收机制回收的,即使该对象以后永远都不会被用到JVM也不会回收。因此强引用是造成java内存泄露的主要原因之一。
1.5.2 软引用
软引用需要用SoftReference类来实现,对于只有软引用的对象来说,当系统内存足够时它不会被回收,当系统内存空间不足时它会被回收。软引用通常用在对内存敏感的程度中。
1.5.3 弱引用
弱引用需要用WeakReference类来实现,它比软引用的生存期更短,对于只有弱引用的对象来说,只要垃圾回收机制一运行,不管JVM的内存空间是否足够,总会回收该对象占用的内存。
1.5.4 虚引用
虚引用需要PhantomReference类来实现,它不能单独使用,必须和引用队列联合使用。虚引用的主要作用是跟踪对象被垃圾回收的状态。
1.6 GC分代收集算法VS分区收集算法
1.6.1 分代收集算法
这种算法会根据对象存活周期的不同将内存划分为几块,如JVM中的新生代、老年代、永久代,这样就可以根据各年代特点分别采用最合适的GC算法
1.6.1.1 在新生代-复制算法 :每次垃圾收集都能发现大批对象已死,只有少数存活。因此选用复制算法,只需要付出少量存活对象的复制成本就可以完成收集。
1.6.1.2 在老年代- 标记整理算法:因为对象存活率高,没有额外空间对它进行分配担保,就必须采用“标记-清理”或者“标记-整理”算法进行回收,不必进行内存复制,则直接腾出空闲内存。
1.6.2 分区收集算法
分区算法则将整个堆空间划分为连续不同的小区间,每个小区间独立使用,独立回收。这样做的好处是可以控制一次回收多少个小区间,根据目标停顿时间,每次合理地回收若干个小区间,从而减少一次GC所产生的停顿。
1.7 GC垃圾收集器
Java堆内存被划分为新生代和年老代两部分,新生代主要使用复制和标记-清除垃圾回收算法;年老代主要使用标记-整理垃圾回收算法,因此java虚拟机中针对新生代和年老代分别提供了多种不同的垃圾收集器。
收集器类型:Serial垃圾收集器(单线程、复制算法),ParNew垃圾收集器(Serial+多线程),Parallel Scavenge收集器(多线程复制算法、高效),Serial Old收集器(单线程标记整理算法),Parallel Old收集器(多线程标记整理算法),CMS收集器(多线程标记清除算法),G1收集器。
其中GMS收集器是一种年老代垃圾收集器,其最主要目标是获取最短垃圾回收停顿时间,和其他年老代使用标记-整理算法不同,它使用多线程的标记清除算法。CMS的工作机制分4个阶段
1)初始标记: 只是标记一下GC roots能直接关联的对象,速度很快,仍然需要暂停所有工作线程。
2)并发标记:进行GC Roots跟踪的过程,和用户线程一起工作,不需要暂停工作线程。
3)重新标记:为了修正在并发标记期间因用户程序继续运行而导致标记产生变动的那一部分对象的标记记录,仍然需要暂停所有的工作线程。
4)并发清除:清除GC Roots不可达对象,和用户线程一起工作,不需要暂停工作线程。由于耗时最长的并发标记和并发清除过程中,垃圾收集线程可以和用户一起并发工作。总体上CMS收集器的内存回收和用户线程是一起并发执行。
1.8 JAVA IO/NIO
1.8.1 阻塞IO模型
最传统的一种IO模型,即在读写数据过程中会发生阻塞现象。当用户线程发出IO请求之后,内核会去查看数据是否就绪,如果没有就绪就会等待数据就绪,而用户线程就会处于阻塞状态,用户线程交出CPU。当数据就绪之后,内核会将数据拷贝到用户线程,并返回结果给用户线程,用户线程才解除block状态。典型的阻塞IO模型的例子为:data =socket.read();如果数据没有就绪,就会一直阻塞在read方法。
1.8.2 非阻塞IO模型
当用户线程发起一个read操作后,并不需要等待,而是马上就得到了一个结果。如果结果是一个error时,它就知道数据还没有准备好,于是它可以再次发送read操作。一旦内核中的数据准备好了,并且又再次收到了用户线程的请求,那么它马上就将数据拷贝到了用户线程,然后返回。
1.8.3 多路复用IO模型
多路复用IO模型是目前使用的比较多的模型。Java NIO实际上就是多路复用IO。在多路复用IO模型中,会有一个线程不断去轮询多个socket的状态,只有当socket真正有读写事件时,才真正调用实际的IO读写操作。
1.8.4 异步IO模型
异步IO模型才是最理想的IO模型,在异步IO模型中,当用户线程发起read操作之后,立刻就可以开始去做其他的事。而另一方面,从内核的角度,当它受到一个asynchronous read之后,它会立刻返回,说明read请求已经成功发起了,因此不会对用户线程产生任何block。然后,内核会等待数据准备完成,然后将数据拷贝到用户线程,当这一切都完成之后,内核会给用户线程发送一个信号,告诉它read操作完成了。
1.8.5 JAVA NIO
NIO主要有三大核心部分:Channel(通道)、Buffer(缓冲区)、Selector。传统IO基于字节流和字符流进行操作,而NIO基于Chanenel和Buffer进行操作,数据总是从通道读取到缓冲区中,或者从缓冲区写入到通道中。Selector用于监听多个通道的事件,因此单个线程可以监听多个数据通道。NIO和传统IO之间第一个最大区别是:IO是面向流的,NIO是面向缓冲区的。
1.8.5.1 NIO的缓冲区 :Java IO面向流意味着每次从流中读一个或多个字节,直至读取所有字节,它们没有被缓存在任何地方。此外,它不能前后移动流中的数据。如果需要前后移动从流中读取的数据,需要先将它缓存到一个缓冲区。NIO的缓冲导向方法不同。数据读取到一个它稍后处理的缓冲区,需要时可在缓冲区中前后移动。这就增加了处理过程中的灵活性。但是,还需要检查是否该缓冲区中包含所有您需要处理的数据。而且,需确保当更多的数据读入缓冲区时,不要覆盖缓冲区里尚未处理
数据。
1.8.5.2 NIO的非阻塞 :IO的各种流是阻塞的。这意味着,当一个线程调用read()或write()时,该线程被阻塞,直到有一些数据被读取,或数据完全写入。该线程在此期间不能再干任何事情了。 NIO的非阻塞模式,使一个线程从某通道发送请求读取数据,但是它仅能得到目前可用的数据,如果目前没有数据可 用时,就什么都不会获取。而不是保持线程阻塞,所以直至数据变的可以读取之前,该线程可以继续做其他的事情。非阻塞写也是如此。 一个线程请求写入一些数据到某通道,但不需要等待它完全写入,这个线程同时可以去做别的事情。线程通常将非阻塞IO的空闲时间用于在其它通道执行IO操作,所以一个单独的线程现在可以管理多个输入和输出通道(channel)。
1.8.6 Channel
Channel即通道,Channel和IO中的Stream是差不多一个等级的。只不过Steam是单向的,而Channel是双向的,既可以用来进行读操作,又可以用来进行写操作。
1.8.7 Buffer
Buffer是一个缓冲区,实际上是一个容器,是一个连续数组。Channel提供从文件、网络读取数据的渠道,但是读取或写入的数据都必须经由Buffer。如:客户数据时,必须先将数据存入Buffer中,然后将Buffer中的内容写入通道。服务端这边接收必须通过Channel将数据读入到Buffer中,然后再从Buffer中取出数据来处理,
1.9 JVM类加载机制
JVM类加载机制分为五个部分:加载,验证,准备,解析,初始化
1.9.1.1 加载:加载是类加载过程的一个阶段,这个阶段会在内存中生成一个代表这个类的Class对象,作为方法区这个类的各种数据的入口。
1.9.1.2 验证:这个阶段主要目的是为了确保Class文件的字节流中包含的信息是否符合当前虚拟机的要求,并且不会危害虚拟机的自身安全。
1.9.1.3 准备:准备阶段是正式为变量分配内存并设置类变量的初始值阶段,即在方法区中分配这些变量所使用的内存空间。
1.9.1.4 解析:解析阶段是指虚拟机将常量池中的符号引用替换为直接引用的过程。
1.9.1.5 符合引用:符合引用与虚拟机实现的布局无关,引用的目标并不一定要已经加载到内存中。各种虚拟机实现的内存布局可以各不相同,但是它们能接受的符号引用必须是一致的,因为符号引用的字面量形式明确定义在Java虚拟机规范的class文件格式中。
1.9.1.6 直接引用:直接引用可以是指向目标的指针,相对偏移量或是一个能间接定位到目标的句柄。如果有了直接引用,那引用的目标必定已经在内存中存在。
1.9.1.7 初始化:初始化阶段是类加载最后一个阶段,前面的类加载阶段之后,除了在加载阶段可以自定义类加载器之外,其他操作都由JVM主导。到了初始化阶段,才开始真正执行类中定义的java程序代码。
注意一下几种情况不会执行类初始化:
1. 通过子类引用父类的静态字段,只会触发父类的初始化,而不会子类的初始化。
2. 定义对象数组,不会触发该类的初始化。
3. 常量在编译期间会存入调用类的常量池中,本质上并没有直接引用定义常量的类,不会触发定义常量的类。
4. 通过类名获取Class对象,不会触发类的初始化。
5. 通过Class.forName加载指定类时,如果指定参数初始为false时,也不会触发类初始化,其实这个参数就是告诉虚拟机是否对类进行初始化。
6. 通过Class Loader默认的load Class方法,也不会触发初始化。
1.9.2 类加载器
1.9.2.1 启动类加载器(Bootstrap ClassLoader):负责加载JAVA_HOME\lib目录中的,或者通过- X bootclasspath参数指定路径中的,且被虚拟机认可的类。
1.9.2.2 扩展类加载器(Extension ClassLoader): 负责加载JAVA_HOME\lib\ext目录中的,或通过java.ext.dirs系统变量指定路径中的类库。
1.9.2.3 应用程序类加载器(Application ClassLoader ): 负责加载用户路径上的类库。JVM通过双亲委派模型进行类的加载,我们也可以通过java.lang.ClassLoader实现自定义的类加载器。