原创 派大星 码上遇见你 2024-04-09 09:51 辽宁码上遇见你身处外企，是一名技术工作者。作为InfoQ、阿里云等技术平台签约作者，致力于打造您专属的编程个人笔记（无广告）。216篇原创内容场景分析这个案例实际上涉及到多个方面，需要我们系统地分析。让我们首先看看，从Excel中读取百万级数据并将其插入数据库时可能遇到的问题：内存溢出风险加载如此庞
转载
2024-10-28 07:53:04
20阅读
# 从百万JSON数据转JAVA对象
在现代软件开发中，我们经常需要处理大量的数据。其中，JSON数据是一种常见的数据格式，广泛应用于网络传输和数据存储。当我们需要将大量的JSON数据转换为JAVA对象时，可能会遇到性能和内存方面的挑战。本文将介绍如何高效地将大量的JSON数据转换为JAVA对象。
## JSON数据转换为JAVA对象
在JAVA中，我们通常使用第三方库如Jackson或Gs
原创
2024-05-14 05:05:59
63阅读
# Java百万对象数据去重：新手向导
作为一名刚入行的开发者，面对“Java百万对象数据去重”的任务可能会感到无从下手。不用担心，本文将为你提供一份详细的新手向导，帮助你理解整个去重流程，并给出具体的代码实现。
## 流程概述
首先，我们通过一个表格来概述整个去重流程的步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 准备数据 |
| 2 | 定义对
原创
2024-07-23 06:23:58
79阅读
在开发大型 Java 应用时，我遇到了“两百万个对象 Java”并发处理的问题。这种情况下，快速有效地管理和处理如此庞大的对象集是至关重要的。接下来的内容将记录下我在解决这个问题过程中的思考与实践，涵盖业务场景分析、技术演进、架构设计、性能优化、故障复盘以及经验总结几个重要方面。
### 背景定位
在我负责的一款在线支付系统中，随着用户数量不断增加，系统的并发请求和数据对象急剧上涨。具体到数据
当前的大部分 Java web 容器基于 Bio 线程模型，例如常见的 tomcat ，默认 200 线程，即 200 连接。由此带来的问题是，如果想提高并发，或者提高资源利用率，就得加大线程数。如下图：于是出现了类 Netty 的 Reactor 线程模型。同时，Java 官方也设计了 Servlet 3 异步 API，可以通过返回类 Feature 的方式，实现异步编程。在某些情况下，也可以实
转载
2024-04-19 22:08:40
12阅读
用过POI的人都知道，在POI以前的版本中并不支持大数据量的处理，如果数据量过多还会常报OOM错误，这时候调整JVM的配置参数也不是一个好对策（注：jdk在32位系统中支持的内存不能超过2个G，而在64位中没有限制，但是在64位的系统中，性能并不是太好）,好在POI3.8版本新出来了一个SXSSFWorkbook对象，它就是用来解决大数据量以及超大数据量的导入导出操作的，但是SXSSFWorkbo...
原创
2021-11-18 09:24:53
838阅读
java 对象创建：1、在java中对对象的的操作是通过引用进行实现的（《javaThinK4》中说：使用“使用引用操作对象”）实例：如果想操作一个句子或者一个单词 可以创建一个String的引用： String s;这里创建的只是一个引用，并不是对象（也就说创建的该引用是保存在jvm栈上），如果通过这个引用去操作对象（或者向s发送消息）可能会返回一个运行时错误，或者为空的异
转载
2023-08-30 01:05:03
48阅读
# Java使用游标导出三百万数据的有效方法
在大数据时代，数据导出是许多应用程序中不可避免的任务。特别是当面对三百万条数据记录时，我们需要一种高效的方法来处理和导出这些数据。本文将探讨使用Java数据库游标（Cursor）来实现这一目标，其中包括代码示例和相关的图示，以便更好地理解过程。
## 一、什么是游标
游标是一种访问数据库记录的机制，它允许我们逐行地处理结果集。在处理大量数据时，游
用过POI的人都知道，在POI以前的版本中并不支持大数据量的处理，如果数据量过多还会常报OOM错误， 这
原创
2021-07-07 16:51:55
1908阅读
Java对象以及调用方法的易混淆点Java中的对象Java中对象调用方法静态方法调用（static）非静态方法调用 Java中的对象java中通过使用new关键字创建实例化对象基本结构：修饰符 class 类名{
public static void main(String [] args){
类名 对象名 = new 类名（）;
}
}创建对象也叫实例化
 
转载
2023-07-17 21:39:21
54阅读
Java实现百万级并发，需要注意的，三大核心问题，你知道吗？并发编程并不是一项孤立存在的技术，也不是脱离现实生活场景而提出的一项技术。相反，实现百万级并发编是一项综合性的技术，同时，它与现实生活中 的场景有着紧密的联系。搞懂并发编程有三大核心问题分工问题同步问题互斥问题本文就对这三大核心问题进行简单的介绍1、分工问题关于分工，比较官方的解释是：一个比较大的任务被拆分成多个大小合适的任务，这些大小合
转载
2024-05-14 19:23:32
23阅读
# Java使用POI导出百万条Excel数据教程
## 介绍
在Java开发中，导出数据到Excel是一项常见的需求。Apache POI是一个开源的Java API，可以用于操作Microsoft Office格式的文件，包括Excel。本文将教你如何使用POI库来导出百万条Excel数据。
## 整体流程
下面是导出百万条Excel数据的整体流程，可以用表格形式展示：
| 步骤 | 动
原创
2023-12-16 06:40:35
216阅读
．合理使用索引IBM最先提出的ISAM索引结构。索引的使用要恰到好处，其使用原则如下：●在经常进行连接，但是没有指定为外键的列上建立索引，而不经常连接的字段则由优化器自动生成索引。●在频繁进行排序或分组（即进行group by或order by操作）的列上建立索引。●在条件表达式中经常用到的不同值较多的列上建立检索，在不同值少的列上不要建立索引。比如在雇员表的“性别”列上只有“
转载
2024-07-19 13:04:44
0阅读
作者序言：把简单的事情做好、才做好更复杂的事情。======================================================================1、更新日志1.response.reset();注释掉reset，否在会出现跨域错误。
2.可导出多个单元、poi官方建议大数据量解决方案：SXSSFWorkbook。
3.自定义下拉列表：对每个单元格自定义下
转载
2024-03-05 21:59:25
29阅读
这是一个或许对你有用的开源项目国产 Star 破 10w+ 的开源项目，前端包括管理后台 + 小程序，后端支持单体和微服务架构。功能涵盖 RBAC 权限、SaaS 多租户、数据权限、商城、支付、工作流、大屏报表、等等功能：Boot 仓库：https://gitee/zhijiantianya/ru
转载
2024-08-22 13:42:21
51阅读
Java EasyExcel带格式多线程导出百万数据1. 背景说明2. 方案概述（1）大数据量导出问题主要是以下三个地方：（2）将写入导出Excel等功能单独分开成一个微服务：（3）注意：（4）方案设计：标注说明（5）maven依赖：3. 详细设计4. 缓存5. 可行性验证6. 代码以下为结合实际情况作的方案设计，导出阈值以及单sheet页条数都可以根据实际情况调整大佬可直接跳过新手教
转载
2023-06-23 18:10:39
1771阅读
1评论
Java实现百万级并发，需要注意的，三大核心问题，你知道吗？并发编程并不是一项孤立存在的技术，也不是脱离现实生活场景而提出的一项技术。相反，实现百万级并发编是一项综合性的技术，同时，它与现实生活中 的场景有着紧密的联系。搞懂并发编程有三大核心问题分工问题同步问题互斥问题本文就对这三大核心问题进行简单的介绍1、分工问题关于分工，比较官方的解释是：一个比较大的任务被拆分成多个大小合适的任务，这些大小合
转载
2023-08-28 23:41:35
113阅读
今天的话题，要给大家分享的是：百万级数据表分页查询，为什么不是千万，亿级呢，你想啊，单表千万上亿，你不是疯了吗，早就分表了，单表数据量通常都是控制在几百万左右，真正实际项目中，都是百万级数据，维恩老师今天要给大家讲的前提是，项目 redis 缓存策略，架构都搭完了，查询命中了数据库表来查询的情况，如何进行优化，所以我们要搞明白这三个问题：
转载
2023-06-20 08:43:22
239阅读
一 服务实现模型单机百万连接有多种方式， 这里采用一个netty server 占用8888 端口，用客户端机器模拟百万客户端连接 模拟实现的方式以下是示意图 如果一台客户端模拟3万个连接，那么100万连接，大致需要33台主机，找到33台主机的确是个困难，但是这种模型定下来，能够先实现若干台主机
转载
2023-10-14 09:35:55
437阅读
在业务系统中，导出报表的需求会很常见，而随着时间推移业务量不断增加，数据库的数据可能达到百万甚至千万级别。对于导出报表功能，最简单的做法就是从数据库里面把需要的数据一次性加载到内存，然后写入excel文件，再把excel文件返回给用户。这种做法在数据量不大的时候是可行的，但是一旦需要导出几十万甚至上百万的数据，很可能出现OOM导致服务崩溃的情况，而且导出所消耗的时间会大大增加。这里提供一种支持百万
转载
2023-06-16 19:25:38
1119阅读
