ORC文件格式是从Hive-0.11版本开始的。关于ORC文件格式的官方文档，以及基于官方文档的翻译内容这里就不赘述了，有兴趣的可以仔细研究了解一下。本文接下来根据论文《Major Technical Advancements in Apache Hive》中的内容进行深入的研究。一、ORC文件格式 ORC的全称是(Optimized Record Columnar)，使用ORC文件格式可以提
转载
2023-09-08 10:36:55
66阅读
一、Kafka基础1.kafka的基本运行原理？kafka的架构部署？（1）Kafka通过多副本机制实现故障自动转移；2.kafka的文件存储机制？3.kafka如何确保消息的精确传输？如何确保消息的准确存储？如何确保消息的正确消费？4.kafka的常用名词？（1）LEO(LogEndOffset):表示每个partititon中最后一条message的位置；（2）HW(HighWatermark
转载
2024-01-17 08:25:19
27阅读
# MySQL datetime 底层存储格式
MySQL是一个流行的关系型数据库管理系统，广泛应用于各种类型的应用程序中。在MySQL中，datetime是一种常用的日期时间数据类型，用于存储日期和时间信息。datetime数据类型在底层存储时采用特定的格式，本文将介绍MySQL datetime底层存储格式的细节，并提供相应的代码示例。
## datetime数据类型简介
在MySQL中
原创
2024-01-10 12:39:05
614阅读
消息中间件的性能好坏，它的消息存储的机制是衡量该性能的最重要指标之一，而 Kafka 具有高性能、高吞吐、低延时的特点，动不动可以上到几十上百万 TPS，离不开它优秀的消息存储设计。下面我按照自己的理解为大家讲解 Kafka 消息存储设计的那些事。在 Kafka 的设计思想中，消息的存储文件被称作日志，我们 Java 后端绝大部分人谈到日志，一般会联想到项目通过 log4j 等日志框架输出的信息，
转载
2024-04-02 07:22:24
93阅读
文件存储格式 Hive 支持的存储数据的格式主要有：TEXTFILE 行式存储、SEQUENCEFILE行式存储、ORC列式存储、PARQUET列式存储。 TextFile
格式 默认格式，数据不做压缩，磁盘开销大，数据解析开销大。 Orc 格式
(Optimized Row Columnar) 每个 Orc 文件由 1 个或多个 stripe 组成,每个 stripe 一般
转载
2023-07-13 16:26:30
59阅读
作者：大数据学习与分享Apache Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供一种HQL语言进行查询，具有扩展性好、延展性好、高容错等特点，多应用于离线数仓建设。1. Hive架构<span><span ><img src="https://pic2.zhimg.com/v2-c0179a43f1f627f4
转载
2023-07-20 19:16:29
36阅读
一.Kafka简介 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，使用Scala语言编写，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，多订阅者，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据（实时性的计算）。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各
转载
2024-04-23 11:15:01
48阅读
目录partition的数据文件（offset，MessageSize，data）：数据文件分段segment（顺序读写、分段命令、二分查找）：数据文件索引（分段索引、稀疏存储）：参考文献partition的数据文件（offset，MessageSize，data）：partition中的每条Message包含了以下三个属性：offset，MessageSize，data，offset表示Mess
转载
2024-05-07 22:49:02
28阅读
Kafka特点：
高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作可扩展性：Kafka集群支持热扩展持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败）高并发：支持数千
转载
2024-02-16 22:33:03
51阅读
Kafka是一款基于发布和订阅的消息系统。一般被称为分布式提交日志或分布式流平台。Kafka系统是按照一定的顺序持久化保存的，可以按需读取。Kafka的数据单元被称为消息。类似于数据库中表的一行记录，消息由字节组成，所以没有特别的格式和含义。消息有一个可选的元数据，就是键，键也是一个字节数组。当消息以一种可控的方式写入分区时，会用到键，最简单的方式就是为键生成一个散列值，然后使用散列值对主题的分区
转载
2024-02-13 09:35:47
35阅读
1.存储格式概述 每一个partion(文件夹)相当于一个巨型文件被平均分配到多个大小相等segment(段)数据文件里。但每一个段segment file消息数量不一定相等，这样的特性方便old segment fifile高速被删除。（默认情况下每一个文件大小为1G）每一个partiton仅仅须要支持顺序读写即可了。segment文件生命周期由服务端配置参数决定。partiton中s
转载
2024-03-18 21:13:26
44阅读
为了规避随机读写带来的时间消耗，kafka采用顺序写的方式存储数据。即使是这样，但是I/O操作仍然会造成磁盘的性能瓶颈，所以kafka还有一个性能策略。零拷贝一般应用程序有一个buffer空间在用户空间中，来自于网络或者磁盘，无论来自网络或者磁盘，都需要通过内核，也就是说内核中也要有buffer。1)磁盘到内核 --> 2)内核到应用程序buffer 写数据时 --> 3)应用程序bu
转载
2024-02-16 10:39:53
52阅读
零拷本相关《【转】零拷贝的实现原理》《【转】零拷贝的实现原理》《搞懂Linux零拷贝，DMA》《通过零拷贝进行有效的数据传输(java、c)》《CUDA零拷贝内存（zerocopy memory）》IO相关《Linux文件系统直接IO原理与实现：缓存I/O、直接I/O》《Linux文件系统概述：硬盘驱动＞通用块设备层＞文件系统＞虚
原创
2023-02-23 17:08:23
469阅读
Kafka是一个分布式流处理平台，它允许你发布、订阅流式数据，并保证数据持久性。在Kafka中，数据以消息的形式存储，每个消息由键和值组成，两者都是字节数组。
下面我们将详细介绍如何实现“Kafka存储的数据格式”。首先，让我们来看一下整个过程的步骤：
| 步骤 | 操作 |
| ---- | ------------------------ |
| 1
原创
2024-05-27 11:34:40
147阅读
背景周末看系统架构的时候，看到一致性要求时，回忆了一下 Kafka 的消息一致性保障机制，顺便复习了一下 Kafka 的基础信息。消息文件目录Kafka 的消息存储目录是由 server.properties 文件的 log.dirs=/tmp/kafka-logs 设置的，这个是默认值。进入这个目录查看结构，子目录的命名规律「 topic名称-分区编号」，找到了一张很直观的图： 「此图来自网络」
转载
2023-12-01 11:55:32
69阅读
遇到一个项目需求是统计128张分库分表的数据表记录的最大id，通过单表查询计算非常费时，也无法应对分表数更多的情况，因此考虑到通过odps进行任务发布和运算在云端http://d2.alibaba-inc.com/
是云梯的第二版，叫在云端，提供了开发工作台，工作流，权限管理，project管理和运维工具。
能够从获得数据、开发数据、运维管理、出售加工好的数据，是数据处理操作的平台。
而数据来源和
转载
2023-07-26 19:39:01
289阅读
1 前言本章目标：了解构成MySQL数据库和InnoDB存储引擎的各种类型的文件。理解InnoDB存储引擎的内存结构和磁盘结构。2 文件MySQL数据库和InnoDB存储引擎的文件有参数文件、日志文件、socket文件、pid文件、表结构文件、存储引擎文件。下面将会对这些文件逐一介绍。参数文件告诉MySQL实例启动时在哪里可以找到数据库文件，并且指定某些初始化参数，这些参数定义了某种内存结构的大小
转载
2023-08-28 18:18:31
74阅读
Kafka
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编
转载
2024-05-20 21:30:27
72阅读
常见的数据库存储引擎有MyISAM和InnoDB（这里指的是数据表级别的存储引擎）。 由于一个库中有不同的表，而不同的表可能对应着不同的存储引擎。这里纠正一个错误的概念：可能有很多人认为，如果一个数据库使用的InnoDB存储引擎，那么这个数据库中所有的表都是InnoDB的 ，其实并不是这样的。我们在设计表的时候有个选项，选项里面是可以选择存储引擎的，里面有很多不同种类的存储引擎，也就是说一个库里面
转载
2024-06-05 20:17:21
207阅读
一、Kafka概述kafka是一个分布式的消息队列系统（Message Queue）.kafka保证数据不丢失，采用顺序写磁盘技术。 1.有顺序的储存保证了高效的读取。–高吞吐量 2.分布式系统，易于向外扩展，所有的producer、broker和consumer都会有多个，均为分布式的。无序停机即可扩展机器。 3.消息处理的状态是在customer端进行维护的，而不是server端维护的。当失效
转载
2024-05-22 09:46:32
385阅读
