一、关于 Apache Doris 和 DorisDB、StarRocks 的关系Doris 最早是解决百度凤巢统计报表的专用系统，随着百度业务的飞速发展对系统进行了多次迭代，逐渐承担起百度内部业务的统计报表和多维分析需求。2013 年，我们把 Doris 进行了 MPP 框架的升级，并将新系统命名为 Palo ，2017 年我们以百度 Palo 的名字在 GitHub 上进行了开源，2018 年
再写 HDFS Federation机制的时候，发现基础不扎实，需要将之前的hadoop再详细记录一下原理（重点只说Hadoop2.0版本）： Hadoop2.0版本，引入了Yarn。核心：HDFS+Yarn+MapreduceYarn是资源调度框架。能够细粒度的管理和调度任务。此外，还能够支持其他的计算框架，比如spark等。存储的基础知识以及原理：元数据信息和
转载
2024-09-19 13:14:19
49阅读
apache和httpd区别 从我们仅仅web服务器使用者的角度说的话，它们是同一个东西。在 Apache 的网站上有两种安装包下载 httpd-2.0.50-i686-pc-linux-gnu.tar.gz 和 apache_1.3.33-i686-whatever-linux22.tar.gz 其实都是提供Web服务的，只是一个是早期版一个是新的版本模式。httpd是apache
转载
2024-10-21 21:01:02
50阅读
1.思路1）保持数据原貌不做任何修改，起到备份数据的作用。2）数据采用LZO压缩，减少磁盘存储空间。100G数据可以压缩到10G以内。3）创建分区表，防止后续的全表扫描，在企业开发中大量使用分区表。4）创建外部表。在企业开发中，除了自己用的临时表，创建内部表外，绝大多数场景都是创建外部表。2.Hive环境准备（1）Hive引擎简介Hive引擎包括：默认MR、tez、sparkHive on Spa
再理解HDFS的存储机制1. HDFS开创性地设计出一套文件存储方式，即对文件分割后分别存放；2. HDFS将要存储的大文件进行分割，分割后存放在既定的存储块(Block)中，并通过预先设定的优化处理，模式对存储的数据进行预处理，从而解决了大文件储存与计算的需求；3. 一个HDFS集群包括两大部分，即NameNode与DataNode。一般来说，一个集群中会有一个NameNode和多个DataNo
转载
2024-09-12 19:24:30
53阅读
# Apache Doris 和 MySQL 对比
Apache Doris 是一个开源的分布式 SQL 查询引擎，专为大规模数据分析和交互式 SQL 查询而设计。与之相比，MySQL 是一个流行的关系型数据库管理系统，主要用于在线交易处理和数据存储。本文将对这两种数据库进行比较，探讨它们的优势和劣势。
## 数据模型
### MySQL
MySQL 是一个关系型数据库管理系统，采用传统的
原创
2024-03-09 05:46:02
727阅读
1、HDFS：分布式文件系统，在hadoop中支持很多种文件系统，hdfs是使用最多的，可以看成是一个软件，将各个服务器的磁盘连成一体，来完成某项任务。2、FileSystem是抽象类：有很多的实现类不同的实现类有不同的功能；①localfileSystem：本地文件系统（指代linux的文件系统）②：distributeFileSystem：分布式文件系统（HDFS）；③ webhdfs：支持浏
1 系统架构1.1 What is Kylin1.2 What is Doris2 数据模型2.1 Kylin的聚合模型2.2 Doris的聚合模型2.3 Kylin C...
转载
2021-06-11 17:56:10
498阅读
1 系统架构1.1 What is Kylin1.2 What is Doris2 数据模型2.1 Kylin的聚合模型2.2 Doris的聚合模型2.3 Kylin C...
转载
2021-06-11 17:56:08
682阅读
HadoopHadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流
转载
2024-04-03 21:34:27
258阅读
前提：已有多年大数据经验，熟悉多种架构，与其他框架类比后总结的doris一些特性，新手勿入1. Doris基础学习1.1 doris 简介Apache Doris 是一个现代化的 MPP(Massively Parallel Processing，即大规模并行处理) 分析型数据库产品亚秒级响应时间即可获得查询结果可以支持 10PB 以上的超大数据集满足多种数据分析需求，例如固定历史报表，实时数据分
转载
2024-03-13 11:55:28
309阅读
LAMP（上）一、LAMP架构介绍什么是LAMPLAMP就是Linux+Apache(httpd)+MySQL+PHP ，简称LAMP。Linux：操作系统，如centos、redhat、Ubuntu。Apache：也叫httpd，web服务软件Mysql：关系型数据库PHP：脚本语言，由 C语言 开发，通常用于做网站三个角色可以在一台机器上，也可以分开，但是apache要和php在一起。http
Hadoop作为一个存储与服务的基础性平台，同时它的内部有采用了master/slave架构，那么其内部通信和与客户端的交互就是必不可少的了。Hadoop在实现时抛弃了JDK自带的一个RPC实现——RMI，而自己基于IPC模型实现了一个高效的轻量级RPC。整体结构 在IPC包中，最重要的3个类是ServerC，lient和RPC，它们具有层次化的结构。 &nb
HDFS的读写流程 & secondary namenode的数据写入流程1）HDFS的数据写入流程
2）HDFS的数据读取流程
3）SNN的数据写入的流程1）HDFS的数据写入流程（1）客户端发送写入请求给 namenode（2）namenode 接收到请求，然后首先判断当前操作的用户是否具有写入的权限，如果没有则拒绝请求，如果有权限，接着判断要写入的数据目录下是否存在这个文件，如果存在
转载
2024-09-27 14:47:38
61阅读
有Sqoop和DataX之类数据处理为何还要用Apache SeaTunnel，这就要得益于Apache SeaTunnel依赖Flink和Spark天然分布式处理数据的特性，前两者是单机同步数据不适于海量数据同步，以低代码方式用配置文件就可以启动Flink数据处理应用，本篇从基本概念和原理入手，并通过部署SeaTunnel演示了多个基于Flink的Source和S
Doris 查询简介Doris Query 接收Doris Query ParseDoris Query AnalyzeDoris Query RewriteDoris Query 单机PlanDoris Query 分布式PlanDoris Query 调度Doris Query 执行总结Doris 查询简介Doris 的查询和大多数数据库一样，需要经过 Parse,Analyze,Optimi
文章目录Hadoop框架HDFS NN、SNN、DN工作原理HDFS概述HDFS架构NameNodeSecondary NameNodeSecondary NameNode的工作流程什么时候checkpiontDataNode上传一个CentOS-7.5-x86_64-DVD-1804.iso大文件来体现分布式管理系统通过ui页面观察文件被block划分HDFS的Trash回收站 Hadoop框
转载
2024-06-15 13:01:47
87阅读
写流程数据导入方式1. Broker Load说明Broker Load是异步方式，支持的数据源取决于Broker进程支持的数据源。适用场景（1）源数据在Broker可以访问的存储系统中。（2）数据量在几十到百GB级别 。原理用户在提交导入任务后，FE会生成相应的导入执行计划（plan），BE会执行导入计划将输入导入Doris中，并根据BE的个数和文件的大小，将Plan分给多个BE执行，每个BE导
在一个现代化的时候，界面不好看的 Eclipse 和操作易用性相比而言更高的 IntelliJ Idea。而在进行 Hadoop 进行编程的时候，最基本的是需要导入相应的 Jar 包，而更为便宜的则是使用 Maven 来进行包的依赖管理，而本文则结合 Gradle 来处理引入最基本的 Hadoop 包，配置运行环境。新建一个 Gradle 项目在新建时要选择 Gradle 项目，并在连接过程中自动
转载
2024-09-20 12:46:34
111阅读
