最近今天写了IoTDB的三篇相关文章，完成了安装部署和客户端连接：Windows Server上部署IoTDB 集群DBeaver 连接IoTDBDriver将IoTDB注册为Windows服务TsFile 是 IoTDB 的底层数据文件，一种专门为时间序列数据设计的列式文件格式。IoTDB TsFile数据读写主要是下面两个结构：IoTDB 提供了一个TSRecord工具，TSRecord记录了
转载
2024-06-23 04:27:19
96阅读
作者：杨家鑫
背景 提高TiDB可用性，需要把多点已有上百T TiDB集群拆分出2套
挑战 1、现有需要拆分的12套TiDB集群的版本多(4.0.9、5.1.1、5.1.2都有)，每个版本拆分方法存在不一样 2、其中5套TiDB，数据量均超过10T、最大的TiDB集群目前数据量62T、单TiDB集群备份集大，消耗大量磁盘空间和带宽资源 空间最大3套集群
当前版本：IoTDB 0.11.21. 声明当前内容主要为记录下Session执行一次sql查询的过程的源码解析。前面内容中有发现IoTDB本身就是使用Thrift来实现客户端和服务器，并解析得到Session就是Client的包装产物，所以这里的交互一般都是直接调用服务器的接口完成的！2. 分析查询的Demo下面给出一个简单的查询Demo，然后对其进行分析操作Session session =
转载
2024-03-19 19:40:27
55阅读
# MySQL插入大量数据的流程
对于需要向MySQL数据库中插入大量数据的情况，一般可以使用两种方法：一次性插入多条数据或使用批量插入。下面将详细介绍这两种方法的步骤以及相关代码。
## 一次性插入多条数据
一次性插入多条数据是指通过一条SQL语句一次性向数据库中插入多条数据。这种方法适用于数据量不是特别大的情况。
### 步骤
| 步骤 | 描述 |
|---|---|
| 1 |
原创
2023-08-30 06:05:12
280阅读
Hive 插入大量数据简介在大数据领域中，Hive是一个常用的数据仓库工具，可以方便地对大规模数据进行管理和分析。当需要将大量数据插入到Hive表中时，我们需要考虑一些优化策略，以提高插入性能和效率。1. 使用分区表在向Hive表中插入大量数据时，可以考虑使用分区表。通过对数据进行合理的分区，可以减少单个分区数据量，提高查询性能。同时，在插入数据时，Hive会并行处理不同分区的数据，加快插入速度。
原创
2024-08-18 22:53:15
82阅读
# HBase插入大量数据
HBase是一个分布式的、面向列的NoSQL数据库，它基于Hadoop的HDFS构建，具有高可靠性、高性能和易于扩展的特点。在处理大规模数据时，HBase可以提供高效的数据插入和查询能力。本文将介绍如何使用HBase插入大量数据，并提供相应的代码示例。
## 1. 准备工作
在开始插入数据之前，需要确保HBase集群已经搭建好，并且已经创建了相应的表和列族。以下是
原创
2024-07-22 06:52:29
74阅读
1. 采用高速的存储设备,提高读写能力，如：EMC 和NetApp，2. 假如tab1表中的没有数据的话DROP TABLE TAB1;CREATE TABLE TAB1 AS SELECT * TAB2;然后在
原创
2022-01-06 13:58:15
439阅读
原文地址：http://www.redis.cn/topics/mass-insert.html
转载
2018-06-03 22:46:06
628阅读
前言：因工作需要经常插入大量数据进行性能测试，故随手记录方便日后巩固和使用。 1.定义存储过程 DELIMITER $$ USE `ilock`$$ #填写你的数据库 DROP PROCEDURE IF EXISTS `insert_lock`$$ CREATE DEFINER=`root`@`%`
原创
2021-08-04 12:12:54
907阅读
1.设置数据库&rewriteBatchedStatements=true 会大幅度提升效率 2.批量插入 <insert id="insertBatch" parameterType="java.util.List"> insert into m_user_group_detail (id, pl ...
转载
2021-09-01 10:51:00
325阅读
2评论
1. 采用高速的存储设备,提高读写能力，如：EMC 和NetApp， 2. 假如tab1表中的没有
原创
2022-09-02 09:17:43
297阅读
# 实现Hive插入大量数据的步骤
## 1. 简介
在大数据领域中，Hive是一种基于Hadoop的数据仓库工具，可以用于处理大规模的结构化和半结构化数据。为了实现Hive插入大量数据的目标，我们需要按照以下步骤进行操作。
## 2. 步骤
下面是实现Hive插入大量数据的步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 创建Hive表 |
| 2 | 准备数据文
原创
2024-02-02 07:23:03
112阅读
时序数据库 Apache-IoTDB 源码解析之元数据索引块（六）原有索引中的不足新版本中索引的设计 上一章聊到 TsFile 索引块的详细介绍，以及一个查询所经过的步骤。详情请见：时序数据库 Apache-IoTDB 源码解析之文件索引块（五）打一波广告，欢迎大家访问 IoTDB 仓库，求一波 Star 。欢迎关注头条号：列炮缓开局，这一章主要想聊聊：原有索引中的不足新版本中索引的设计原有索引
转载
2024-05-11 13:50:51
55阅读
（1）什么是redis? Redis 是一个基于内存的高性能key-value数据库。 (有空再补充，有理解错误或不足欢迎指正) （2）Reids的特点 Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每
转载
2023-09-19 16:36:36
138阅读
描述官网集群配置示例：官方文档准备2台服务器，并且相互可以ping通和相关端口开放：192.168.1.1192.168.1.2相关介绍请查看官网及相关文档。配置1、iotdb 0.13版本下载（如果已安装请跳过），进入opt目录并下载。cd /optwget https://dlcdn.apache.org/iotdb/0.13.4/apache-iotdb-0.13.4-all-bin.zi
转载
2024-10-26 18:13:39
66阅读
1.声明当前内容主要为本人学习和了解当前的iotdb的源码，发现其设计内存表的模型(数据结构)本人是直接在GitHub上面直接拉取的源码2.查看AbstractMemTable源码开始源码查看实际iotdb中采用的是HashMap来实现其中key为一个devcId(即一个时序的前缀)
其中value为另外一个Map存放一个实际的时序后缀+时间集合数组+值集合数组
就是这么简单3.查看IWritab
转载
2023-10-29 18:36:21
123阅读
UITableView的数据源(dataSource)和代理(delegate) UITableView需要一个数据源(dataSource)来显示数据，UITableView会向数据源查询一共有多少行数据以及每一行显示什么数据等。没有设置数据源的UITableView只是个空壳。凡是遵守UITableViewDataSource协议的OC对象，都可以是UITableView的数据源。通
转载
2023-07-14 14:02:18
88阅读
当前版本：jdk1.8、iotdb 0.11.21. 声明当前内容主要查看Iotdb服务启动过程中的rpc的绑定的源码解析(通过之前的解析可以得到IotDB的rpc服务必定是Thrift的实现，通信中Session使用的为Client)2. 找到启动类一般是通过start-server.bat启动的所以可以通过该脚本发现启动类的位置发现使用org.apache.iotdb.db.service.I
转载
2024-02-19 10:21:42
75阅读
MySQL插入已知的1000万条数据如何快速的向数据库中插入已知的1000万条数据 假设这1000W条数据在同一个集合里，那么将这个集合进行遍历，循环1000W次，结合数据库编程技术，如JDBC，就可以插入数据库，这么简单的操作，显然不是正确答案…这样做的缺陷：1.应用服务器（程序运行所在服务器）与MySQL数据库服务器并不是同一台，当需要执行数据库操作时，会由应用服务器将SQL语句发送到MySQ
转载
2023-07-09 20:12:08
147阅读
这几天研究mysql优化中查询效率时，发现测试的数据太少（10万级别），利用 EXPLAIN 比较不同的 SQL 语句，不能够得到比较有效的测评数据，大多模棱两可，不敢通过这些数据下定论。所以通过随机生成人的姓名、年龄、性别、电话、email、地址 ，向mysql数据库大量插入数据，便于用大量的数据测试 SQL 语句优化效率。、在生成过程中发现使用不同的方法，效率天差万别。1、先上Mysql数据库
转载
2023-10-04 19:13:38
163阅读
