easyExcel简介Java领域解析、生成Excel比较有名的框架有Apache poi、jxl等。但他们都存在一个严重的问题就是非常的耗内存。如果你的系统并发量不大的话可能还行，但是一旦并发上来后一定会OOM或者JVM频繁的full gc。easyExcel是阿里巴巴开源的一个excel处理框架，以使用简单、节省内存著称。64M内存1分钟内读取75M(46W行25列)的Excel(当然还有急速
最近手里维护公司一个旧项目，导出excel的时候偶尔会OOM，堆内存溢出。通过本地重现，使用jvisualVM工具分析堆空间后发现，某个实例数所占用极高，上传5M的文件竟然产生了近100M的该实例，听说poi吃内存，但实际分析下来还是蛮惊讶的。而网上关于excel导出OOM的方案有很多种，包括apache对poi的写改进，然而这个不是我们想要的，最终采用的是ali的easyExcel
转载
2024-10-28 06:56:10
389阅读
# Loading and Working with Redis
Redis is a popular open-source, in-memory data structure store that is commonly used for caching, session management, real-time analytics, and more. In this article,
原创
2024-06-08 03:54:50
23阅读
关于增量更新DataX 支持多种数据库的读写， json 格式配置文件很容易编写， 同步性能很好， 通常可以达到每秒钟 1 万条记录或者更高
原创
2022-08-04 10:34:14
2299阅读
节点间的时间同步对于Oracle来说是非常重要的，在11g版本之前往往通过搭建NTP服务器完成时间同步。在Oracle 11g中新增加了一个CTSS（Cluster Time Synchronization Services，集群时间同步服务）服务，用来完成集群节点间时间同步。在安装Grid Infrastructure过程中，如果没有发现节点有NTP服务，就会自动安装CTSS。 1. NTP时间
原创
2014-09-02 09:10:22
1671阅读
1.虚拟机对象创建语言层面上，创建对象通常（例外：复制、反序列化）仅仅是一个new关键字而已，本文所探讨的虚拟机对象创建不包含数组和Class对象等，就对于普通对象而言。上面工作都完成之后，从虚拟机的视角来看，一个新的对象已经产生了。但是从Java程序的视角看来，对象创建才刚刚开始——构造函数，即Class文件中的()方法还没有执行，所有的字段都为默认的零值。梳理完虚拟机对象创建过程后，在来看看对
转载
2024-04-17 15:37:15
41阅读
使用easyexcel导出的excel文件，使用poi读取时异常处理场景环境找bug思路解决 场景一个导出服务，传入json数据，根据数据生成excel文件返回。 别的项目有一个需求，导出文件给用户修改，修改后再次导入。 之前一直没有问题，这一天，突然报了个 【文件读取失败】异常！！！(这里为后台的自定义异常信息，其原因是POI读取文件时抛出了异常) 经过研究发现，使用服务导出的excel文件大小
转载
2024-10-15 09:46:01
777阅读
本文介绍oracle的相关同步，oracle同步到hdfs中。本文分为三部分，即配置文件模板、配置文件和提交任务。本文的前提：数据库对应的表已经建好。
原创
2023-05-15 17:05:28
410阅读
点赞
准备工作，在sql server机器上建立odbc连接一、初始化加载数据1、source端1)添加extract进程ADD EXTRACT einito, SOURCEISTABLE edit param einito --以下添加到einito.prm文件中 EXTRACT einito SOURCEDB mssql_test RMTHOST 127.0.0.1, MGRPORT 7815 RM
原创
2013-08-19 10:38:25
886阅读
概述OCTSSD（Oracle Cluster Time Synchronization Service Daemon）进程被用于集群服务器之间的时间同步。 CTSS时间同步服务作为Clusteware的一部分被安装，在系统中，如果察觉到时间同步服务或者时间同步服务配置，那么CTSS将以观察模式（Oberver Mode）启动和运行，不执行时间同步操作。CTSS守护进程能随时被安装，并将一直运...
转载
2021-08-09 17:59:09
666阅读
在使用Oracle Linux时，一个非常重要的操作就是通过yum进行软件包的安装和管理。而yum的正常运行又需要保证系统可以正确地同步软件包的源。本文将重点介绍关于Oracle Linux中yum软件包同步的相关知识。
首先，我们需要理解什么是yum软件包同步。yum软件包同步指的是将远程软件包源中的软件包信息同步到本地系统中，以便在后续安装或升级软件包时可以快速获取到相应信息。这样可以保证系
原创
2024-04-25 10:40:30
72阅读
本文讲述如何利用 Oracle CDC 和 PDI 来实现 Oracle 数据库向其他数据源的数据同步。第一节 介绍Oracle CDC，如果您熟悉 Oracle CDC 可以跳过该节。第二节 说明如何配置 PDI 里的 Oracle CDC 输入和 Oracle CDC 输出 插件。第一节 Oracle CDC 介绍（本节主要内容摘自 OWB 用户手册）发布和订阅模型大多数 CDC 系统都需有人
转载
2024-06-18 13:52:32
33阅读
概述OCTSSD（Oracle Cluster Time Synchroniz
转载
2022-04-11 15:41:06
586阅读
easyExcel简介Java领域解析、生成Excel比较有名的框架有Apache poi、jxl等。但他们都存在一个严重的问题就是非常的耗内存。如果你的系统并发量不大的话可能还行，但是一旦并发上来后一定会OOM或者JVM频繁的full gc。easyExcel是阿里巴巴开源的一个excel处理框架，以使用简单、节省内存著称。64M内存1分钟内读取75M(46W行25列)的Excel(
一、source端add extract extl,tranlog,begin now ADD EXTTRAIL /u01/ogg/dirdat/lr, EXTRACT EXTL ADD TRANDATA chf.objce_t edit params extl extract extl userid ogg,password xifenfei exttrail /u01/ogg/dirdat/l
原创
2013-08-19 10:44:07
477阅读
OGG原理OGG是一种基于日志的结构化数据复制软件，通过捕获源数据库online redo log (在线重做日志)或archive log(归档日志)获得数据变化，形成tail（队列文件 ）,再将这些tail通过网络协议，传输到目标数据库，目标端通过解析，插入至目标端数据库，从而实现源端与目标端数据同步。OGG的特性：1.对生产系统影响小：实时读取交易日志，以低资源占用实现大交易量数据实时复制；
转载
2024-05-05 20:44:49
62阅读
需要从 Oracle 同步数据到 HashData1- 全量同步。
1.1- 将表结构创建到对应的 HashData 数据库中。
1.2- 数据同步：
1.2.1- 使用 spoof 将 Oracle 中表的数据导出为 TXT 文件后，使用 copy 导入 HashData.
1.2.2- 使用 kettle 将 Oracle 中表的数据导入到 HashData。
1.2.3
转载
2024-07-31 09:27:24
28阅读
环境描述：主库： IP： 10.8.3.191 主机名：primaryORACLE_SID=afcORACLE_BASE=/u01/oracleORACLE_HOME=/u01/oracle/10g备库： IP： 10.8.3.192 主机名：standbyORACLE_SID=afcORACLE_BASE=/u01/oracleORACLE_HOME=/u
转载
2023-11-12 14:52:38
222阅读
总结一下Oracle数据库表级别的复制同步一.通过触发器进行表的复制原理,是监听表上都某一字段进行的DML操作，然后得到DML操作的数据,重新在另一个表上执行DML操作。优点: 简单,编写一个触发器就可以，不需要过多的配置。 易修改,遇到了问题很好定位。缺点:表大的话是有性能问题，如果表中含有blob列，是无法监听到其改变的，而且整个insert 必须先insert 一个空的blob，再进行upd
转载
2024-05-28 20:10:42
74阅读
一、MongoDB的存储引擎概述存储引擎（Storage Engine）是MongoDB的核心组件，负责管理数据如何存储在硬盘（Disk）和内存（Memory）上。从MongoDB 3.2 版本开始，MongoDB 支持多数据存储引擎（Storage Engine），MongoDB支持的存储引擎有：WiredTiger，MMAPv1和In-Memory。从MongoDB 3.2 版本开始，Wire
转载
2021-05-07 13:18:44
151阅读
2评论
