目录前言一、Doris简介二、SQL解析简介2.1 词法分析2.2 语法分析2.3 逻辑计划2.4 物理计划三、Doris SQL解析的总体架构四、Parse阶段五、Analyze阶段六、SinglePlan阶段（生成单机逻辑Plan阶段）七、DistributedPlan计划（生成分布式逻辑阶段）7.1 DistributedPlan 概述7.2
Apache Doris 代码仓库地址：apache/incubator-doris 欢迎大家关注加星概述最早接触doris是在2020年初，当时是为了解决在海量数据上实时高并发查询的问题，当时调研了很多框架，在使用这Doris之前我的架构和其他公司的架构基本差不多，Hadoop，Hive，Spark，Presto，但是这些都满足不了我的需求，在调研Clickhouse的时候，发现了Doris，
转载
2024-05-13 08:55:07
216阅读
# Doris与HBase的集成
Doris是一个高性能的分析型数据库系统，它支持SQL查询、实时分析和交互式分析。HBase是一个分布式的、面向列的NoSQL数据库，它是基于Hadoop的HDFS构建的。Doris和HBase的集成可以为用户提供更强大的数据处理能力。
## 集成原理
Doris与HBase的集成主要通过Doris的HBase插件实现。Doris通过HBase插件可以访问H
原创
2024-07-22 06:55:26
174阅读
Doris与MySQL的关系颇为复杂，自Doris形成以来，越来越多的组织在考虑如何在这两者之间迁移数据和整合业务。Doris是一款具有高性能和高可扩展性的分布式数据库，而MySQL作为传统的关系型数据库，在一些具体场景中依然广受欢迎。要实现Doris和MySQL之间的无缝集成，准确理解其协议背景、交互过程及相应的技术解决方案至关重要。
## 协议背景
首先，我们需要明确Doris与MySQL
Doris–基础–1.3–理论–架构1、名词1.1、FE(Frontend)Doris 的前端节点。开发语言：以 Java 为主功能
接收和返回 客户端请求元数据 管理集群 管理生成 查询计划1.2、BE(Backend)Doris 的后端节点。开发语言：以 C++ 为主功能：
负责 数据存储负责 数据管理执行 查询计划1.3、Tablet是一张表，是实际的物理存储单元
一张表按
转载
2024-05-15 21:53:36
120阅读
自从今年鼎石科技公开了自家的DorisDB后（相关视频见B站）， Apache Doris 在社区中掀起了一波热潮， 我也跟风来学习一下，相关总结与大家分享。首先简单的说下啥是Doris吧，Doris是一个基于mpp的交互式SQL数据仓库，是一个面向多种数据分析场景的、 兼容MySQL协议的， 高性能的， 分布式关系型列式数据库，用于报告和分析。它最初的名字是Palo，由百度开发。在于2018年捐
转载
2023-10-24 21:44:53
343阅读
文章目录为什么要在本地使用Spark连接Hive？实现1. Scala实现1. 端口设置2. metastore设置3. 主机名设置4. 环境变量设置2. pyspark实现 为什么要在本地使用Spark连接Hive？很多时候，我们在编写好Spark应用程序之后，想要读取Hive表测试一下，但又不想进行打jar包、上传集群、spark-submit这一系列麻烦的操作，此时我们就可
转载
2023-10-11 21:28:24
305阅读
参考Hive安装 王家林DT大数据梦工厂场景Hive存在的意义，怎么安装？如何把本地数据导入到Hive中来？分析简介1、Hive是分布式数据仓库，同时又是查询引擎，所以Spark SQL取代的只是Hive的查询引擎，在企业实际生产环境下Hive+SparkSQL是经典组合。 2、Hive本身是一个简单单机版本的软件，主要负责： a) 把HQL翻译成Mapper(s)-Reducer-Mappe
转载
2024-02-28 14:54:41
189阅读
文章目录一. 批量删除概述1.1 原理1.2 读取1.3 Cumulative Compaction1.4 Base Compaction1.5 语法二. 启用批量删除支持参考: 一. 批量删除概述目前Doris 支持broker load， routine load， stream load 等多种导入方式，对于数据的删除目前只能通过delete 语句进行删除，使用delete 语句的方式删除
转载
2023-09-16 13:17:07
315阅读
一、doris是什么Apache Doris是一个现代化的MPP（大规模并行分析）分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。Apache Doris可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。令数据分析工作更加简单高效！二
转载
2024-05-14 21:34:58
283阅读
# Doris与HBase的区别
在大数据处理环境中，Doris和HBase是两种常见的数据库选择。虽然它们都可以用于存储和处理大数据，但它们在设计理念、用途、性能及应用场景上有明显的区别。本文将通过流程图、甘特图及相关代码示例，帮助你理解Doris与HBase的不同之处。
## 一、基本概念
在深入细节之前，让我们先简要概述Doris和HBase的基本概念：
- **Doris**：一款
目录Doris导入方式及链接Doris 目前支持以下4种导入方式：Doris 数据导入- Stream Load 通过 http 协议进行流式数据导入数据导入样例 1. 将本地文件'testData'中的数据导入到数据库'testDb'中'testTbl'的表，使用Label用于去重 &nbs
转载
2023-12-26 11:18:02
163阅读
Doris分析型数据库 Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即时
转载
2024-04-11 16:44:58
540阅读
# 如何实现 Doris Hive：新手指南
作为一名刚入行的开发者，你的工作可能涉及到多种数据管理和分析工具。在这篇文章中，我们将深入探讨如何将 Doris （一个开源的高性能分布式 SQL 数据库）与 Hive（一个流行的数据仓库软件）结合使用，以便于进行数据分析和处理。文章将包括步骤、示例代码以及必要的解释。
## 整体流程
在开始之前，我们先看看整个实现过程的步骤和顺序：
| 步骤
原创
2024-10-16 05:42:12
37阅读
一、创建一张表的艰辛路程在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。创建一张合格的表，主要考虑以下几个方面：字段索引引擎模型分区分桶属性1、Doris中的引擎olapmysqlbrokerHive2、Doris中的三大模型：AggregateUniqDuplicate3、Doris中分区类型RangeList4、建表示例4.1 字段Doris中的数据类型包括：bigintbi
转载
2023-09-24 08:44:31
380阅读
讲座主要分为四部分内容：为什么需要全局字典什么是全局字典全局字典的技术实现总结与未来规划1. 为什么需要全局字典我们在业务上需要OLAP引擎能够⽀持精确去重的预计算，但这个需求本身是不是合理的呢？目前线上数据分析会有一些与⾦钱相关的计算，比如某一个业务方要计算他们个人的销售业绩、以及一些广告的点击率等，这些能够转化为金钱的计算需求是要求精确去重的，近似去重是⽐较难以容忍的。目前 Doris 的 B
转载
2023-09-11 14:44:38
92阅读
一、hive方式映射数据官方文档：mongo-hadoop官方文档
组件版本要求：
Hadoop 1.X版本必须是1.2及以上版本Hadoop 2.X版本必须是2.4及以上版本Hive版本必须是1.1及以上版本依赖的mongodb java dirver 版本必须是3.0.0及以上版本依赖的jar包下载地址，根据需求选择不同版本：
mongo-hadoop-coremongo-hado
转载
2023-11-03 20:01:37
295阅读
前言Doris是百度自研的交互式 SQL 数据仓库，其前身是 Palo ，Palo 是百度自研的基于 MPP 的交互式 SQL 数据仓库，主要用于解决报表和多维分析。现简单介绍Doris的数据模型。基本概念Doirs与传统的关系库相同，都是以表（Table）的形式存储数据，其中一张表包括行Row和列Column。Column分为两类：Key和Value，从业务角度看，Key和Value可以分别对应
转载
2023-11-12 16:10:47
181阅读
1.概要Broker load 是一个异步的导入方式，支持的数据源取决于 Broker 进程支持的数据源。用户需要通过 MySQL 协议 创建 Broker load 导入，并通过查看导入命令检查导入结果主要适用于以下场景：外部数据源（如 HDFS等）读取数据，导入到Doris中。数据量在 几十到百GB 级别。主要用于数据迁移，或者定时批量导入Broker load 支持文件类型：PA
转载
2024-08-16 17:13:37
422阅读
Apache Doris Broker快速体验之Hive安装部署（2）环境信息硬件信息软件信息Mysql安装部署下载mysql创建用户和组安装mysql及初始化重启mysql服务重置root密码本地客户端测试Hive安装部署Hive包下载修改环境变量Hive配置Hive元数据初始化Hive启动测试Hive2启动测试常见问题Public Key Retrieval is not allowed异常
转载
2024-06-26 22:12:18
87阅读
