摘要10月17日, 中通科技高级数据工程师王成龙做客Apache Kylin Meetup ,并带来题为《Apache Kylin 在中通的实践》的精彩分享。Apache Kylin 在中通是如何落地的,又是怎样赋能中通快递实现 OLAP 分析能力起飞的?本文从多方面对比了 Presto 和 Kylin 的优缺点,并从业务场景、调度整合、监控系统、运维调优、源码和二次开发等多个角度进行了阐述。
转载
2024-09-01 14:20:22
40阅读
create or replace procedure p_insert is num NUMBER;BEGIN FOR i IN 1 .. 1000 LOOP --插入语句 insert into IT_RECEIVED_DATA (ID, table_name, priority, action, xml) values (I...
原创
2022-01-10 15:02:18
135阅读
1、对于提交(最后一次操作commit了)的话可以查询那个提交段 SELECT 列名1,列名2…… FROM 表名 VERSIONS BETWEEN TIMESTAMP MINVALUE AND MAXVALUE where VERSIONS_STARTTIME IS NOT null ORDER BY VERSIONS_STARTTIME DESC; 查出来的第一条就是最后改变的数据 2、...
转载
2017-03-21 19:08:00
99阅读
2评论
出现这种错误的原因可能有一下几种: 由于OracleParameter[] parameters;中parameters的个数和对应的插入SQL语句中的冒号个数不等; 参数个数和冒号个数相等,但是如下所示,在给参数赋值时,右侧的数据类型和参数定义时不合符。 参考文章: Invalid paramet
转载
2017-01-04 22:55:00
307阅读
2评论
Oracle千万条记录插入与查询小结关键字: oracle 海量 查询 效率 优化 最 近做了个项目,实现对存在千万条记录的库表进行插入、查询操作。原以为对数据库的插入、查询是件很容易的事,可不知当数据达到百万甚至千万条级别的时候, 这一切似乎变得相当困难。几经折腾,总算...
转载
2009-04-01 13:42:00
77阅读
2评论
来源:[url]http://chenfengcn.javaeye.com/blog/357903[/url]        最近做了个项目,实现对存在千万条记录的库表进行插入、查询操作。原以为对数据库的插入、查询是件很容易的事,可不知当数据达到百万甚至千万条级别的时候,这一切似乎变得相当困难。几经折腾,总算完成了任务。在此做些简单的小结,不足之处
转载
精选
2009-04-01 07:47:00
827阅读
最近做了个项目,实现对存在千万条记录的库表进行插入、查询操作。原以为对数据库的插入、查询是件很容易的事,可不知当数据达到百万甚至千万条级别的时候,这一切似乎变得相当困难。几经折腾,总算完成了任务。在此做些简单的小结,不足之处,还望javaeye的高手们帮忙补充补充! 1、 避免使用Hibernate框架
转载
2023-01-26 11:10:35
197阅读
接触编程以来,在数据存储方面一直用的MS SQL。Oracle这名字对我来说是如此的熟悉,但是对其内容却很陌生,最近公司的一个项目用起了Oracle,所以也开始高调的用起了Oracle。在没有接触Oracle之前,听很多人都说Oracle的语法与MS SQL差不多,我在朋友圈里也帮着吹嘘这个观点。`
原创
2021-07-21 14:03:59
2056阅读
对于千万条记录这样数量级的库表插入与查询操作,似乎是根本不可能实现的。但是本文的作者经过多次努力后,完成了这一任务,希望本文能给大家一些好的帮助。最近做了个项目,实现对存在千万条记录的库表进行插入、查询操作。原以为对数据库的插入、查询是件很容易的事,可不知当数据达到百万甚至千万条级别的时候,这一切似乎变得相当困难。几经折腾,总算完成了任务。1、 避免使用Hibernate框架Hibernate用起
原创
2013-10-23 10:47:16
592阅读
一般情况下mysql上百万数据读取和插入更新是没什么问题了,但到了上千万级就会出现很慢,下面我们来看mysql千万级数据库插入速度和读取速度的调整记录吧。 (1)提高数据库插入性能中心思想:尽量将数据一次性写入到Data File和减少数据库的checkpoint 操作。这次修改了下面四个配置项: 1)将 innodb_flush_log_at_trx_commit 配置设定为0;...
转载
2021-08-09 16:41:01
929阅读
一般情况下mysql上百万数据读取和插入更新是没什么问题了,但到了上千万级就会出现很慢,下面我们来看mysql千万级数据库插入速度和读取速度的调整记录吧。(1)提高数据库插入性能中心思想:尽量将数据一次性写入到Data File和减少数据库的checkpoint 操作。这次修改了下面四个配置项:1)将 innodb_flush_log_at_trx_commit 配置设定为0;按过往经验设定为0,插入速度会有很大提高。0: Write the log buffer to the log file.
转载
2022-02-13 14:38:01
1202阅读
一般情况下mysql上百万数据读取和插入更新是没什么问题了,但到了上千万级就会出现很慢,下面我们来看mysql千万级数据库插入速度和读取速度的调整记录吧。 (1)提高数据库插入性能中心思想:尽量将数据一次性写入到Data File和减少数据库的checkpoint 操作。这次修改了下面四个配置项: 1)将 innodb_flush_log_at_trx_commit 配置设定为0;...
转载
2022-04-11 16:44:26
1320阅读
一般情况下mysql上百万数据读取和插入更新是没什么问题了,但到了上千万级就会出现很慢,下面我们来看mysql千万级数据库插入速度和读取速度的调整记录吧。(1)提高数据库插入性能中心思想:尽量将数据一次性写入到Data File和减少数据库的checkpoint 操作。这次修改了下面四个配置项:1)将 innodb_flush_log_at_trx_commit 配置设定为0;按过往经验设定为0,插入速度会有很大提高。0: Write the log buffer to the log file.
转载
2021-08-09 16:22:23
1082阅读
百度出来的例子:
declare
maxrecords constant int:=100;
i int :=1;
begin
for i in 15..maxrecords loop
insert into test (column1, column1, column1,…&hellip
原创
2013-02-19 17:26:38
1360阅读
DECLARE TYPE num_tt IS TABLE OF INT; num_t num_tt:=num_tt(); mid_val INT; mid_j INT;BEGIN num_t.extend(20); FOR i IN 1..20 LOOP&
原创
2015-02-04 13:18:59
505阅读
# 提高MySQL索引插入速度的方法
在使用MySQL数据库时,经常会遇到需要对表中的数据进行插入操作的情况。当数据量较大时,插入操作的速度可能会变慢,影响系统的性能。其中一个影响插入速度的因素就是索引的使用。本文将介绍如何通过合理使用索引来提高MySQL数据库的插入速度。
## 什么是索引
索引是一种特殊的数据结构,用于加快数据库表中数据的检索速度。在MySQL中,常见的索引类型包括普通索
原创
2024-05-20 05:11:05
20阅读
# MySQL 数据插入速度的探秘
在现代应用中,数据存储的效率直接关系到系统的性能,其中,MySQL作为一种广泛使用的关系型数据库管理系统,其数据插入速度备受关注。本文将探讨影响MySQL数据插入速度的因素、优化策略以及相关代码示例,帮助开发者更好地理解和提高数据插入效率。
## 影响数据插入速度的因素
1. **硬件配置**:服务器的CPU、内存和磁盘类型(SSD或HDD)直接影响数据的
原创
2024-09-28 04:41:42
88阅读
# 提高 MySQL 插入速度的实用指南
在开发过程中,为了提升数据插入速度,尤其是当处理大量数据时,优化 MySQL 的插入性能变得尤为重要。本文将为您提供一份详细的流程以及相应的代码示例,帮助您提高 MySQL 的插入速度。
## 整体流程
在进行插入优化之前,我们需要遵循以下步骤:
| 步骤 | 说明 |
|------|---------
## MySQL插入速度提升
在进行大量数据插入时,MySQL的插入速度可能会成为一个性能瓶颈。为了提升MySQL的插入速度,我们可以采取一些优化措施。本文将介绍一些提升MySQL插入速度的方法,并提供相应的代码示例。
### 优化方法
#### 批量插入
一次性插入大量数据比逐条插入更高效。通过使用`INSERT INTO ... VALUES (), (), (), ...`的形式,可
原创
2024-04-30 06:47:10
46阅读
1、事务处理:将一组sql语句放在同一批次内去执行 (1)如果一个sql语句出错,则该批次内的所有sql都被取消执行 (2)MYISAM不支持事务 (3)事务的ACID原则 原子性:一组语句当一个整体执行 一致性:所有数据处于同样的状态 隔离性:事务之间互不影响 持久性:事务成交以后,对于数据的影响是持久的 –查看数据库事务支持 show variables like ‘event schedul