一、概述


我们都知道Excel可以分为早期的Excel2003版本(使用POI的HSSF对象操作)和Excel2007版本(使用POI的XSSF操作)

两者对百万数据的支持如下:

Excel 2003:在POI中使用HSSF对象时,excel 2003最多只允许存储65536条数据,一般用来处理较少的数据量。这时对于百万级别数据,Excel肯定容纳不了。

Excel 2007:当POI升级到XSSF对象时,它可以直接支持excel2007以上版本,因为它采用ooxml格式。

这时excel可以支持1048576条数据,单个sheet表就支持近百万条数据。

但实际运行时还可能存在问题,原因是执行POI报表所产生的行对象,单元格对象,字体对象,他们都不会销毁,这就导致OOM的风险。

二、直观观察百万数据量性能


即使Excel 2007可以支持1048576条数据,但为了避免OOM的风险。

我们这里介绍一下JDK提供的性能监控工具:Jvisualvm

我们可以使用Java的性能监控工具来监视程序的运行情况,包括CUP,垃圾回收,内存的分配和使用情况,这让程序的运行阶段变得更加可控,也可以用来证明我们的推测。

三、Jvisualvm概述


JVisualVM 是Netbeans的profile子项目,已在JDK6.0 update 7 中自带,能够监控线程,内存情况,查看方法的CPU时间和内存中的对 象,已被GC的对象,反向查看分配的堆栈。

四、Jvisualvm的位置


Jvisualvm位于JAVA_HOME/bin目录下,直接双击就可以打开该程序。

如果只是监控本地的java进程,是不需要配置参数的,直接打开就能够进行监控。

首先我们需要在本地打开一个Java程序,例如我打开员工微服务进程,这时在jvisualvm界面就可以看到与IDEA相关的Java进程了:

百万行数据 使用mysql耗时多久_linux

百万行数据 使用mysql耗时多久_百万行数据 使用mysql耗时多久_02

五、Jvisualvm的使用


Jvisualvm使用起来比较简单,双击点击当前运行的进程即可进入到程序的监控界面

百万行数据 使用mysql耗时多久_java_03

参考资料


黑马程序员:基于SaaS平台的iHRM刷脸登录实战开发(报表相关视频)