固态硬盘已经是目前大家配置电脑必选的配置之一，机械硬盘装系统已经跟不上时代的步伐了，给电脑加固态应该是一个常规操作，一般来说，选用比较新的固态，读写速度都还是比较快的，如果速度慢的话，可能存在按下面这些问题：在回答这个问题之前，我们要先了解硬盘的一些相关知识，有以下几点：一.SATA固态硬盘一般速度是在500-600M/S，SATA固态硬盘，只要是知名品牌，一般速度都能达到500M/S左右，因为这
转载
2023-10-29 19:06:45
3阅读
# TiSpark 写入速度的科学探索
## 什么是 TiSpark？
TiSpark 是一个结合了 Apache Spark 和 TiDB 的开源项目。它利用 TiDB 的强大兼容性和可扩展性，使得用户能够在 Spark 中进行高效的数据处理。在数据分析和大数据处理的场景里，TiSpark 作为一款出色的工具，能够帮助用户快速提取和分析数据，特别是在写入性能方面，其表现尤为突出。
## T
# TiSpark 写入 TiKV 的完整教程
在本篇文章中，我们将学习如何使用 TiSpark 将数据写入 TiKV。TiSpark 是一个通过 Spark 提供对 TiKV 访问的计算引擎，它可以让我们将大数据服务与 TiDB 结合使用。我们将遵循以下步骤来实现这一目标。
## 流程概述
以下是将数据写入 TiKV 所需的步骤概览：
| 步骤 | 描述 |
|------|------
TiDB中的RocksDB读写和Raft日志同步RocksDB存储引擎RocksDB写RocksDB读Raft日志同步 RocksDB存储引擎TiDB所使用的RocksDB是LSM类储存引擎之一。日志结构合并树（Log Structured Merge Tree, LSM Tree）类存储引擎的特点是写入的时候是追加写入（append only）。无论是INSERT、UPDATE、DELETE操
转载
2024-07-08 11:50:44
60阅读
TiDB数据库写入慢排查分析TiDB写入流程简述写入慢排查思路典型问题排查复杂问题排查Grafana监控写延时分析延迟定位TiKV写请求处理耗时分析Async Write耗时分析Raftstore pool vs Apply Pool TiDB写入流程简述TiDB写请求通过gRPC模块发送给TiKV实例。TiKV上的Scheduler模块负责写请求的流量控制、Latch冲突检测、Snapshot
转载
2023-11-02 09:12:58
142阅读
原文来源：https://tidb.net/blog/94a77ee5 【是否原创】是 【首发渠道】TiDB 社区，转载请注明出处 背景介绍 TiSpark 是 PingCAP 为解决用户复杂 OLAP 需求而推出的产品。它借助 Spark 平台...
转载
2022-07-20 15:11:48
237阅读
# 了解Tispark：加速大数据处理的利器
在大数据处理领域，高效地处理海量数据是一项重要且具有挑战性的任务。为了解决这一问题，一些工具和框架应运而生，其中Tispark是一个值得关注的工具之一。Tispark是由PingCAP开发的一个基于Apache Spark的分布式计算框架，可以与TiDB数据库无缝集成，加速大数据处理过程。
## Tispark简介
Tispark结合了Apach
原创
2024-02-28 07:31:37
33阅读
# TiSpark使用指南
TiSpark 是一个为 Apache Spark 提供高性能访问 TiDB 的工具，优化了 Spark SQL 和 TiDB 的交互方式，适合进行大数据分析和实时数据处理。本文将介绍 TiSpark 的基本使用方法，通过代码示例展示如何在 Spark 环境中进行使用，最后附上一个简单的甘特图来展示其工作流程。
## TiSpark 环境准备
使用 TiSpark
原创
2024-10-06 05:13:03
78阅读
# TiSpark安装指南
TiSpark是一个开源项目，它结合了Apache Spark和TiDB，允许用户使用Spark SQL查询和分析TiDB中的数据。本文旨在为您提供TiSpark的安装过程以及一些基本的示例，以帮助您快速上手。
## 安装前准备
在开始TiSpark的安装之前，请确保您已经安装了以下组件：
- **TiDB**：TiDB是一个分布式数据库，您可以在[TiDB官方
# 使用Tispark进行安装的步骤
Tispark是一个开源的Spark引擎，它允许在TiDB数据库上执行SQL查询和分析操作。下面是使用Tispark进行安装的详细步骤：
## 步骤概览
| 步骤 | 描述 |
| ---- | ---- |
| 步骤一 | 下载和安装Spark |
| 步骤二 | 下载和编译Tispark |
| 步骤三 | 配置Tispark环境变量 |
| 步骤四
原创
2024-01-19 09:07:52
52阅读
Java_io体系之RandomAccessFile简介、走进源码及示例——20 RandomAccessFile1、 类功能简介： 文件随机访问流、关心几个特点： 1、他实现的接口不再是InputStream、Output
Loading external data into greenplum database table using different ways...Greenplum 有常规的COPY加载方法，有基于分布式的并行的gpfdist加载方法；COPY方式适合用于加载小数据；gpfdist适合大数据量加载；下文中将讨论这两种数据加载方式。gp_sydb=# select current_databas
转载
2024-07-26 18:20:31
67阅读
Docker 技术鼻祖系列不论是在 WSL、Linux 还是 macOS 上，强大的 zsh 一直是我的不二法宝，而 oh my zsh 自然成了最趁手的瑞士军刀，我自己还编写了数个 oh my zsh 插件和主题。直到有一天我突然发现：见鬼，为什么开个 iTerm2 的 Tab 要等上好几秒钟？1. zsh 启动耗时测量首先，我们需要一个客观衡量 zsh 启动速度的标准，而使用 macOS 和众
背景在 MySQL 5.6 之前从库复制都是单线程的，因此当主库压力比较大，从库访问量也比较大的时候容易出现从库延迟的状况，以下列出了一些造成从库延迟的原因以及可能的解决办法。参考了淘宝内核月报的文章，这篇文章比较好延迟的原因1、内存配置过小或者 iops 配置（这个指的是 io capacity，sas 盘和 ssd 盘配置有区别）不当。2、主库 TPS 过高。（从库单线程复制会遇到此问题）3、
转载
2023-08-19 14:06:12
307阅读
Kafka 的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka 的特性之一就是高吞吐率。下面从数据写入和读取两方面分析，为什么 Kafka 速度这么快。 数据写入 Kafka 会把收到的消息都写入到硬盘中，它绝对不会丢失数据。为了优化写入速度 Kafka 采用了两个技术， 顺序写入和 MMFile（Memory
转载
2024-03-20 12:09:45
261阅读
# Tispark ServiceSafePoint
## 引言
在大数据领域，数据安全备份是至关重要的。在Tispark中，提供了ServiceSafePoint机制来确保数据的安全性和可恢复性。本文将介绍Tispark ServiceSafePoint的概念和使用方法，并提供相关代码示例。
## Tispark ServiceSafePoint简介
### 概念
Tispark Servi
原创
2023-11-10 08:58:54
56阅读
# TiSpark 实战指南
在现代数据处理和分析中，TiSpark 是一个重要的工具，它能够将 Apache Spark 的计算能力与 TiDB 的存储引擎结合起来，实现数据的快速处理。在本篇文章中，我们将通过一个实战案例，教会刚入行的小白如何使用 TiSpark。
## 整体流程
为了让这个学习过程更加清晰，我们将整个过程分为几个步骤，见下表：
| 步骤 | 描述 | 目
最近比较忙，之后会整理一下TiDB&TiSpark的学习心得，以及经历过的坑。首先这边先贴2篇官方说明文档：- [TiSpark 快速入门指南](https://github.com/pingcap/docs-cn/blob/master/tispark/tispark-quick-start-guide.md) - [TiSpark 用户指南](https://github.com/pi
转载
2023-08-23 17:17:05
83阅读
主要分析了 Redis Scan 命令基本使用和具体实现，包括 Count 参数与 Scan 总耗时的关系，以及核心的逆二进制迭代算法分析。1. 概述由于 Redis 是单线程在处理用户的命令，而 Keys 命令会一次性遍历所有 Key，于是在 命令执行过程中，无法执行其他命令。这就导致如果 Redis 中的 key 比较多，那么 Keys 命令执行时间就会比较长，从而阻塞 Redis。所以很多教
转载
2024-04-19 11:36:41
220阅读
单线程的。因此在使用一些时间复杂度为O(N)的命令时要非常谨慎。可能一不小心就会阻塞进程，导致Redis出现卡顿。 有时，我们需要针对符合条件的一部分命令进行操作，比如删除以test_开头的key。那么怎么获取到这些key呢？在Redis2.8版本之前，我们可以使用keys命令按照正则匹配得到我们需要的key。但是这个命令有两个缺点：没有limit，我们只能一次性获取所有符合条件的key，如果结
转载
2023-06-16 19:00:09
405阅读
