分布式系统分布式系统（distributed system）是建立在网络之上的软件系统。正是因为软件的特性，所以分布式系统具有高度的内聚性和透明性。因此，网络和分布式系统之间的区别更多的在于高层软件（特别是操作系统），而不是硬件。HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存
转载
2024-04-07 14:15:24
72阅读
1、HDFS：分布式文件系统，在hadoop中支持很多种文件系统，hdfs是使用最多的，可以看成是一个软件，将各个服务器的磁盘连成一体，来完成某项任务。2、FileSystem是抽象类：有很多的实现类不同的实现类有不同的功能；①localfileSystem：本地文件系统（指代linux的文件系统）②：distributeFileSystem：分布式文件系统（HDFS）；③ webhdfs：支持浏
有Sqoop和DataX之类数据处理为何还要用Apache SeaTunnel，这就要得益于Apache SeaTunnel依赖Flink和Spark天然分布式处理数据的特性，前两者是单机同步数据不适于海量数据同步，以低代码方式用配置文件就可以启动Flink数据处理应用，本篇从基本概念和原理入手，并通过部署SeaTunnel演示了多个基于Flink的Source和S
再理解HDFS的存储机制1. HDFS开创性地设计出一套文件存储方式，即对文件分割后分别存放；2. HDFS将要存储的大文件进行分割，分割后存放在既定的存储块(Block)中，并通过预先设定的优化处理，模式对存储的数据进行预处理，从而解决了大文件储存与计算的需求；3. 一个HDFS集群包括两大部分，即NameNode与DataNode。一般来说，一个集群中会有一个NameNode和多个DataNo
转载
2024-09-12 19:24:30
53阅读
我们都知道，如果要实现事务，需要整体保证 ACID(A-原子性|C-持久性|I-隔离性|D-一致性) ，其中一致性是目标，原子性、持久性和隔离性都是手段，所以这里对比一下 MySQL 和 Redis 在事务实现上的区别，当然严格意义上来说，Redis 由于不满足原子性，不能算真正意义上实现了事务。原子性MySQL - 原子性MySQL 的原子性是通过 undolog 保证的，undolog 是 M
转载
2023-09-04 17:27:42
402阅读
这篇博客将会简单记录Hadoop与Spark对比，HDFS，MapReduce的基本概念，及Spark架构设计，RDD，运行模式。整理起来一起阅读方便我们理解整个大数据处理框架全局和发展。1. Hadoop1.1 背景Hadoop就是解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。 HDFS: 分布式文件存储 YARN: 分布式资源管理 Ma
转载
2023-11-21 15:38:13
1291阅读
# MySQL和Doris区别
MySQL和Doris是两种常见的数据库管理系统，它们在一些方面有着相似之处，但在很多方面也存在明显的区别。本文将从多个角度对MySQL和Doris进行比较，以帮助读者更好地理解它们之间的差异。
## 数据结构
MySQL是一个关系型数据库管理系统，采用的是基于表的数据存储结构。用户可以创建各种表来存储数据，并通过SQL语言来进行操作和查询。而Doris（前身
原创
2024-02-23 03:49:40
2620阅读
mysql (分支 mariadb)
1.安装mariadb
-yum
-源码编译安装
-下载rpm安装
yum和源码编译安装的区别？
1.路径区别-yum安装的软件是他自定义的，源码安装的软件./configure --preifx=软件安装的绝对路径
2.yum仓库的软件，版本可能比较低，而源码编译安装，版本可控
3.编译安装的软件，支持第三方功能扩展./configure 这
Apache doris介绍:Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。Apache Doris可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。令您的数据分析工作更加简单高效！一,镜
# Doris和Hive的区别
## 1. 流程图
```mermaid
sequenceDiagram
participant 开发者
participant 小白
开发者->>小白: 解答doris和hive的区别
```
## 2. 引言
在开始介绍Doris和Hive的区别之前，我们先了解一下这两个工具的背景和用途。Doris和Hive都是用于大数
原创
2023-11-28 09:00:12
1059阅读
```markdown
# HBase与Doris的区别：初学者指南
在大数据的世界中，HBase和Doris都是重要的分布式数据库。尽管它们有各自的优缺点及适用场景，但是了解它们之间的区别对于开发者来说至关重要。本文将简单介绍如何比较HBase与Doris的区别，并提供具体的步骤和代码示例以帮助您理解。
## 学习流程
以下是实现“比较HBase和Doris”的流程步骤：
```mark
原创
2024-10-10 04:10:17
204阅读
# Doris与HBase的区别及应用
在大数据处理领域，Doris和HBase是两种流行的存储解决方案，它们各有优缺点，适用于不同的场景。本文将对这两者进行比较，并展示它们各自的特点和用法。
## 1. 概述
### Doris
Doris是一种高性能的实时分析型数据库，主要用于OLAP（联机分析处理）场景。通过列式存储和高速压缩，Doris能够快速响应复杂的查询请求，非常适合数据分析、大
再写 HDFS Federation机制的时候，发现基础不扎实，需要将之前的hadoop再详细记录一下原理（重点只说Hadoop2.0版本）： Hadoop2.0版本，引入了Yarn。核心：HDFS+Yarn+MapreduceYarn是资源调度框架。能够细粒度的管理和调度任务。此外，还能够支持其他的计算框架，比如spark等。存储的基础知识以及原理：元数据信息和
转载
2024-09-19 13:14:19
49阅读
Doris 查询简介Doris Query 接收Doris Query ParseDoris Query AnalyzeDoris Query RewriteDoris Query 单机PlanDoris Query 分布式PlanDoris Query 调度Doris Query 执行总结Doris 查询简介Doris 的查询和大多数数据库一样，需要经过 Parse,Analyze,Optimi
HDFS的读写流程 & secondary namenode的数据写入流程1）HDFS的数据写入流程
2）HDFS的数据读取流程
3）SNN的数据写入的流程1）HDFS的数据写入流程（1）客户端发送写入请求给 namenode（2）namenode 接收到请求，然后首先判断当前操作的用户是否具有写入的权限，如果没有则拒绝请求，如果有权限，接着判断要写入的数据目录下是否存在这个文件，如果存在
转载
2024-09-27 14:47:38
61阅读
文章目录Hadoop框架HDFS NN、SNN、DN工作原理HDFS概述HDFS架构NameNodeSecondary NameNodeSecondary NameNode的工作流程什么时候checkpiontDataNode上传一个CentOS-7.5-x86_64-DVD-1804.iso大文件来体现分布式管理系统通过ui页面观察文件被block划分HDFS的Trash回收站 Hadoop框
转载
2024-06-15 13:01:47
87阅读
在一个现代化的时候，界面不好看的 Eclipse 和操作易用性相比而言更高的 IntelliJ Idea。而在进行 Hadoop 进行编程的时候，最基本的是需要导入相应的 Jar 包，而更为便宜的则是使用 Maven 来进行包的依赖管理，而本文则结合 Gradle 来处理引入最基本的 Hadoop 包，配置运行环境。新建一个 Gradle 项目在新建时要选择 Gradle 项目，并在连接过程中自动
转载
2024-09-20 12:46:34
111阅读
写流程数据导入方式1. Broker Load说明Broker Load是异步方式，支持的数据源取决于Broker进程支持的数据源。适用场景（1）源数据在Broker可以访问的存储系统中。（2）数据量在几十到百GB级别 。原理用户在提交导入任务后，FE会生成相应的导入执行计划（plan），BE会执行导入计划将输入导入Doris中，并根据BE的个数和文件的大小，将Plan分给多个BE执行，每个BE导
HadoopHadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流
转载
2024-04-03 21:34:27
258阅读
hadoop(一HDFS)介绍狭义上来说:hadoop指的是以下的三大系统:HDFS ：分布式文件系统(高吞吐,没有延时要求,容错性,扩展能力)MapReduce : 分布式计算系统Yarn：分布式样集群资源管理但是hadoop可不止这三个系统广义上来说:hadoop指的是大数据的一个生态圈架构模型1.X版本的架构NameNode:集群的主节点,主要是管理集群中的各种元数据()secondaryN
转载
2024-04-04 09:54:25
51阅读
