数仓特征：面向主题，集成，非易失的，时变。数据仓库是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，不是所谓的“大型数据库”。 数据库与数据仓库的区别（OLTP 与 OLAP 的区别） 操作型处理，叫联机事务处理 OLTP（On-Line Transaction Processing，），也可以称面向交易的处理系统，它是针对具体业务在数据库联机的日常操作，通
转载
2024-01-17 08:30:07
392阅读
Doris 前身是 Palo ，Palo 是百度自研的基于 MPP 的交互式 SQL 数据仓库，主要用于解决报表和多维分析。它主要集成了 Google Mesa 和 Cloudera Impala 技术。根据最新的 Apache 基金会邮件列表，百度开源项目 Doris 已全票通过投票，正式成为 Apache 基金会的孵化器项目。投票结果是，在包含 8 个约束性投票(binding vo
引言 今天被问到Hive的一些常规优化方法，发现自己居然没有这方面的记录，所以准备简单记录一下自己遇到的一些问题，供接触Hive的朋友参考。 概念 首先说一个老生常谈的但是很重要的问题，Hive不是数仓！！！Hive不是数仓！！！Hive不是数仓！！！重要的事情说三遍。 数仓是一个抽象的理论性的概念，Hive只是实现数仓建设的工具之一。它其实做了一件事情就是把sql解析转换成了MR并在hadoop
转载
2023-11-26 23:29:04
339阅读
# Doris能替代Hive吗？ 初学者指南
随着大数据技术的发展，许多企业开始寻求更高效的数据处理工具。Doris（Apache Doris）作为一种新兴的分布式MPP数据库，正在逐渐取代传统的数据处理工具，如Hive。对于刚入行的小白来说，理解Doris如何能够替代Hive是非常重要的。本文将为你提供一个详细的实现步骤，并通过表格、代码示例以及图表来帮助你理解。
## 实现流程概述
我们
# Doris 可以替代 MySQL 吗？
随着大数据的发展，传统的关系数据库在处理海量数据时面临了一些挑战。在这方面，Doris（原名Apache Incubator Doris）作为一个新兴的OLAP（在线分析处理）数据库，展现出了其卓越的性能和易用性。本文将探讨Doris是否可以替代MySQL，并通过一些示例代码和ER图来阐明这一点。
## 什么是Doris？
Doris是一个高性能、
原创
2024-09-09 03:38:00
682阅读
# Doris可替代HBase的实现方法
在数据存储和处理的领域，Doris和HBase各自有其独特的优势。随着Doris的发展，许多开发者开始探索Doris是否能够有效替代HBase。本文将为您详细讲解这一过程，帮助您理解如何实现这一替代方案。
## 实现流程
下面是整个步骤的流程，您可以参考这个表格：
```markdown
| 步骤 | 描述
原创
2024-10-09 06:42:30
175阅读
# 替代MySQL的新选择：Doris
MySQL是一个非常流行的关系型数据库管理系统，但是随着数据量的增加和业务需求的变化，有时候我们需要一些更加高效和灵活的数据库解决方案。Doris就是一个很好的选择，它可以替代MySQL，并且具有更强大的功能和性能。
## Doris是什么？
Doris是一个分布式的实时数据仓库，最初由百度开发，后来成为了Apache的顶级项目。它具有高性能、高可靠性
原创
2024-07-04 06:21:10
1240阅读
目录为什么不用Mysql而用HBase？为什么不用Hive而用HBase？HBase存储逻辑结构HBase存储物理结构HBase架构HBase读写流程StoreFIle Compaction & Region SplitStoreFile Compaction编辑Region SplitHBase底层--LSM树HBase在大规模数据下为什么依旧稳定面对百亿数据，HBase为什么查询速度依
转载
2023-10-31 18:01:16
140阅读
文章目录第5章 数据表的编译与创建5.1 创建用户和数据库5.2 基本概念5.2.1 Row & Column5.2.2 Partition & Tablet5.3 建表示例5.3.1 Range Partition（范围分区）5.3.2 List Partition（列表分区）5.4 数据划分5.4.1 列定义5.4.2 分区与分桶5.4.2.1 Partition5.4.2.
转载
2024-09-27 13:03:47
66阅读
全方位介绍Apache Doris。微信搜索关注《Java学研大本营》1 Apache DorisApache Doris是一个开源的实时数据仓库，可以从各种数据源收集数据，包括关系型数据库（MySQL、PostgreSQL、SQL Server、Oracle等）、日志和来自物联网设备的时间序列数据。Apache Doris支持报表、即席分析、联合查询和日志分析等功能，因此可以用于支持仪表盘、自助
转载
2024-07-22 17:48:55
74阅读
hive 是以hadoop为基础的数据仓库，使用HQL查询存放在HDFS上面的数据，HSQL是一种类SQL的语句，最终会被编译成map/reduce，HSQL可以查询HDFS上面的数据；不支持记录级别的插入，更新或者删除，但用户可以通过查询生产新表或者将查询文件保存在文件中。同时由于hadoop是面向批处理的系统，而mapreduce任务（job）的启动过程需要消耗较多的时间，所以hive查询延迟
转载
2023-09-18 18:22:17
196阅读
ELK 性能(1) — Logstash 性能及其替代方案介绍当谈及集中日志到 Elasticsearch 时，首先想到的日志传输（log shipper）就是 Logstash。开发者听说过它，但是不太清楚它具体是干什么事情的：当深入这个话题时，我们才明白集中存储日志通常隐含着很多的事情，Logstash 也不是唯一的日志传输工具（log shipper）从数据源获取数据：文件、UNIX soc
转载
2024-09-14 10:04:25
129阅读
# 替代MySQL的Doris
在现代数据处理领域，MySQL是一个非常常见的关系型数据库管理系统。然而，随着数据量的增加和复杂性的提高，MySQL的性能和扩展性可能会受到限制。为了解决这些问题，一些新的数据库系统被开发出来，其中一个备受关注的系统就是Doris。
## 什么是Doris？
Doris是一个开源的分布式SQL数据仓库系统，最初由百度开发。它旨在为用户提供高性能、高可靠性和可扩
原创
2024-05-12 06:05:39
400阅读
关于Hadoop已经小记了六篇，《Hadoop实战》也已经翻完7章。仔细想想，这么好的一个框架，不能只是流于应用层面，跑跑数据排序、单表链接等，想得其精髓，还需深入内部。 按照《Hadoop阅读笔记（五）——重返Hadoop目录结构》中介绍的hadoop目录结构，前面已经介绍了MapReduce的内部运行机制，今天准备入手Hadoop RPC，它是hadoop一种通信机制。RPC（Remot
在当前数据处理需求不断提升的背景下，越来越多的用户开始关注数据库的选择。特别是，Doris数据库作为一款新兴的开源分布式数据库，其出色的性能和灵活的架构引发了对其是否能够替代MySQL的讨论。因此，本文将通过具体的分析过程，逐步探讨“Doris数据库是否可以替代MySQL”这个问题。
## 用户场景还原
在一家电商企业的日常运营中，用户通过网站进行商品浏览和购买。每笔交易都会在数据库中记录下来，
目录概述导入方式批量删除Broker LoadRoutine LoadStream load概述Doris现在支持Broker load/routine load/stream load/mini batch load等多种导入方式。
spark load主要用于解决初次迁移，大量数据迁移doris的场景，用于提升数据导入的速度。导入方式所有导入方式都支持 csv 数据格式。其中 Broker l
转载
2023-12-19 20:11:49
206阅读
Andrew C. Oliver是养猫达人，副业是软件顾问。他是Mammoth Data公司（前身是Open Software Integrators）总裁兼创始人，这家大数据咨询公司的总部设在北卡罗来纳州达勒姆。 令人惊讶的是，Hadoop在短短一年的时间里被重新定义。让我们看看这个火爆生态圈的所有主要部分，以及它们各自具有的意义。对于Hadoop你需要了解的最重要的事情就是，它不再是原来的
自从今年鼎石科技公开了自家的DorisDB后（相关视频见B站）， Apache Doris 在社区中掀起了一波热潮， 我也跟风来学习一下，相关总结与大家分享。首先简单的说下啥是Doris吧，Doris是一个基于mpp的交互式SQL数据仓库，是一个面向多种数据分析场景的、 兼容MySQL协议的， 高性能的， 分布式关系型列式数据库，用于报告和分析。它最初的名字是Palo，由百度开发。在于2018年捐
转载
2023-10-24 21:44:53
343阅读
Doris–基础–1.3–理论–架构1、名词1.1、FE(Frontend)Doris 的前端节点。开发语言：以 Java 为主功能
接收和返回 客户端请求元数据 管理集群 管理生成 查询计划1.2、BE(Backend)Doris 的后端节点。开发语言：以 C++ 为主功能：
负责 数据存储负责 数据管理执行 查询计划1.3、Tablet是一张表，是实际的物理存储单元
一张表按
转载
2024-05-15 21:53:36
120阅读
但随着互联网业务的发展，本地中心化的架构开始受到以下两个方面的挑战：数据增长越来越快，并且数据格式更加丰富多样，非结构化数据越来越多。传统的分布式存储引擎难以大规模存储和处理文本、音视频等非结构化数据。计算和存储强耦合在本地应用上，缺少弹性。强耦合的模式增加了企业成本，因为需要为计算或者存储的峰值需求准备资源。在大约2015年之后，由于对象存储具有极高的数据持久性，跨地域的容灾以及低成
