easyExcel简介Java领域解析、生成Excel比较有名的框架有Apache poi、jxl等。但他们都存在一个严重的问题就是非常的耗内存。如果你的系统并发量不大的话可能还行，但是一旦并发上来后一定会OOM或者JVM频繁的full gc。easyExcel是阿里巴巴开源的一个excel处理框架，以使用简单、节省内存著称。64M内存1分钟内读取75M(46W行25列)的Excel(当然还有急速
# Loading and Working with Redis
Redis is a popular open-source, in-memory data structure store that is commonly used for caching, session management, real-time analytics, and more. In this article,
原创
2024-06-08 03:54:50
23阅读
最近手里维护公司一个旧项目，导出excel的时候偶尔会OOM，堆内存溢出。通过本地重现，使用jvisualVM工具分析堆空间后发现，某个实例数所占用极高，上传5M的文件竟然产生了近100M的该实例，听说poi吃内存，但实际分析下来还是蛮惊讶的。而网上关于excel导出OOM的方案有很多种，包括apache对poi的写改进，然而这个不是我们想要的，最终采用的是ali的easyExcel
转载
2024-10-28 06:56:10
389阅读
1.虚拟机对象创建语言层面上，创建对象通常（例外：复制、反序列化）仅仅是一个new关键字而已，本文所探讨的虚拟机对象创建不包含数组和Class对象等，就对于普通对象而言。上面工作都完成之后，从虚拟机的视角来看，一个新的对象已经产生了。但是从Java程序的视角看来，对象创建才刚刚开始——构造函数，即Class文件中的()方法还没有执行，所有的字段都为默认的零值。梳理完虚拟机对象创建过程后，在来看看对
转载
2024-04-17 15:37:15
41阅读
使用easyexcel导出的excel文件，使用poi读取时异常处理场景环境找bug思路解决 场景一个导出服务，传入json数据，根据数据生成excel文件返回。 别的项目有一个需求，导出文件给用户修改，修改后再次导入。 之前一直没有问题，这一天，突然报了个 【文件读取失败】异常！！！(这里为后台的自定义异常信息，其原因是POI读取文件时抛出了异常) 经过研究发现，使用服务导出的excel文件大小
转载
2024-10-15 09:46:01
777阅读
easyExcel简介Java领域解析、生成Excel比较有名的框架有Apache poi、jxl等。但他们都存在一个严重的问题就是非常的耗内存。如果你的系统并发量不大的话可能还行，但是一旦并发上来后一定会OOM或者JVM频繁的full gc。easyExcel是阿里巴巴开源的一个excel处理框架，以使用简单、节省内存著称。64M内存1分钟内读取75M(46W行25列)的Excel(
一、MongoDB的存储引擎概述存储引擎（Storage Engine）是MongoDB的核心组件，负责管理数据如何存储在硬盘（Disk）和内存（Memory）上。从MongoDB 3.2 版本开始，MongoDB 支持多数据存储引擎（Storage Engine），MongoDB支持的存储引擎有：WiredTiger，MMAPv1和In-Memory。从MongoDB 3.2 版本开始，Wire
转载
2021-05-07 13:18:44
151阅读
2评论
4.2.常见SQL使用细节4.2.1. 查询语句中不要使用select *sql语句查询时，只查需要用到的列，多余的列根本无需查出来。4.2.2. 尽量减少子查询，使用关联查询（left join,right join,inner join）替代mysql中如果需要从两张以上的表中查询出数据的话，一般有两种实现方式：子查询和 连接查询。子查询的例子如下：select * from order
wh
转载
2024-02-22 21:43:19
68阅读
对于springboot操作hbase来说，我们可以选择官方的依赖包hbase-client，但这个包的google类库很多时候会和你的项目里的google类库冲突，最后就是你的程序缺少类而无法启动，解决这个问题的方法很多，而最彻底的就是自己封装一个shade包，或者使用人家封装好的shade包，shade就是maven里的一个重写包的插件，非常好用。依赖包之前的原始包 <dependenc
转载
2021-02-26 15:44:03
1161阅读
2评论
[Oralce][InMemory]如何确定一个表已经被Populate 到In Memory 中？以如下方法来查看 POPULATE_STATUS 是不行的。SQL> select inst_id, 2 pool 3 ,alloc_bytes/1024/1024 alloc_mb 4 ,used_
转载
2017-10-04 11:47:00
66阅读
2评论
用户登录校验成功后：创建一条aes加密数据，目前仅用作验证，如下：
aes加密所使用的密钥随机生成，这里称之为：signKey，保存在token中传给前端；使用密钥signKey将该用户的ID加密，得到一条密文，这里称之为：hashData，保存在redis中；在redis中存储一条数据，并设定过期时间（到期之间内未操作，自动删除），如下：
1、该条redis数据的key值，随机生成，
转载
2024-02-17 16:06:26
148阅读
Hbase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理 HBase中的海量数据,利用Zookeeper作为其分布式协同服务 主要用来存储非结构化和半结构化的松散数据（列存NoSQL数据库）HBase数据模型命名空间 命名空间是对表的逻辑分
转载
2023-08-18 21:50:25
203阅读
HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，特点：海量存储列式存储极易扩展高并发稀疏
转载
2023-05-18 13:32:53
171阅读
本次的业务是基于短信发送之前，去做黑名单的校验和发送内容的检测，因此，在进行下一步业务之前，我需要等待黑名单的查询结果，由于线上环境的Hbase出故障，导致整个业务堵塞，因此，想到了对hbase异常做上容错机制，因此，有了以下的内容 try {
counts = hbaseService.get("cmcc_sms_blacklist",serviceId,"counts","count"
转载
2023-09-01 11:45:35
135阅读
logback详解，Flink流处理案例及Hive和Hbase的整合1. [logback的使用和logback.xml详解]()1.1. 按指定间隔滚动生成日志文件1.2. [logback指定某一包或者类下日志记录到不同文件中]()1.3. [logback按日期和大小切分日志]()2. Flink前期数据准备2.1. 获取数据（拉钩网爬虫）[[github链接]](https://gith
转载
2024-05-27 19:19:44
73阅读
hbase编程指南@(HBASE)[hbase, 大数据] hbase编程指南一概述一创建项目1pomxml2在eclipse中运行的注意事项3关于addResource的说明二Best Practices三常用API一创建Configuration及Connection对象二表管理1创建表2判断表是否存在3删除表三插入数据1插入单条数据2使用缓存四读取数据单个数据和一批数据1遍历返回数据的方法五
转载
2023-09-01 11:09:56
167阅读
1.不同版本间集群是否可以迁移？2.distcp命令的作用是什么？3..MEAT表的作用是什么？4.相互不通信集群，数据该如何迁移？HBase迁移数据方案一（集群互联）花了一天的时间查资料做测试，略微的总结了一下hbase数据迁移的方法。一、需要在hbase集群停掉的情况下迁移步骤：(1)执行Hadoop distcp -f filelist "hdfs://new cluster i
转载
2024-02-05 14:12:12
89阅读
HBase是什么？HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分
原创
2023-01-02 21:43:53
224阅读
文章目录1.Hbase介绍1、Hbase简介2、Hbase几个特点介绍2.1、海量存储2.2、列式存储2.3、极易扩展2.4、高并发2.5、稀疏3、Hbase的几个概念介绍3.1、Column Family的概念3.2、Rowkey的概念3.3、Region的概念3.4、TimeStamp的概念4、Hbase的架构4.1、Client4.2、Zookeeper4.3、Hmaster4.4、Hre
转载
2023-08-18 22:35:55
49阅读
1.HBase产生背景HDFS: 分布式文件存储系统 特点: 吞吐量极高, 适合于进行批量数据处理的工作, 随机的读写能力比较差(压根不支持)但是, 在实际生产环境中, 有时候的数据体量比较大, 但是希望能够对数据进行随机的读写操作, 而且不能太慢了, 那此时怎么办呢? 对于市场来说, 其实就迫切需要一款能够支持大规模化的数
转载
2023-07-14 22:11:49
60阅读
