亲爱的社区小伙伴们，我们很高兴地向大家宣布，在近期我们迎来了 Apache Doris 3.0 版本的正式发布，欢迎大家下载使用体验！从 3.0 系列版本开始，Apache Doris 开始支持存算分离模式，用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构，用户可以通过多计算集群实现查询负载间的物理隔离以及读写负载隔离，并借助对象存储或 HDFS 等低成本的共享存储
需求起源SelectDB 设计多计算集群架构初衷主要源于两类典型的使用场景：写入与读取隔离：传统数仓架构中，数据的写入和读取在同一个计算集群，当遇到业务写入高峰期或突增的写入压力时，容易因资源相互抢占影响查询服务的性能和稳定性。如果能引入多个计算集群，通过独立的计算集群分别进行写入、读取操作，即使在写入压力非常高时，也可放心执行计算任务，无需担心影响到服务的稳定性。在线业务和离线业务隔离：大量数据
湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中，Apache Doris 持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。为便于用户快速入门，我们将通过系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的湖仓一体架构搭建指南，包括 Hudi、Ice
导读：随着快成物流的大宗商品产业链的不断发展，货运轨迹规划和实时数据分析的需求日益迫切，为了保障数据报表更新、用户画像圈选与物流轨迹实时更新等大数据核心系统性能，快成物流引入 Apache Doris 实时数仓升级了大数据算法平台，目前已经部署在 2 套生产集群，存储数据总量达百亿规模，覆盖实时数仓、BI 多维分析、用户画像、货运轨迹信息系统等业务场景。作者共创：快成物流大数据算法平台技术负责人
亲爱的社区小伙伴们，Apache Doris 2.1.4 版本已于 2024 年 6 月 26 日正式发布。在 2.1.4 版本中，我们对数据湖分析场景进行了多项功能体验优化，重点修复了旧版本中异常内存占用的问题，同时提交了若干改进项以及问题修复，进一步提升了系统的性能、稳定性及易用性，欢迎大家下载使用。官网下载页：https://doris.apache.org/download/GitHub
作者：字节跳动数据平台在直播、电商等业务场景中存在着大量实时数据，这些数据对业务发展至关重要。而在处理实时数据时，我们也遇到了诸多挑战，比如实时数据开发门槛高、运维成本高以及资源浪费等。此外，实时数据处理比离线数据更复杂，需要应对多流 JOIN、维度表变化等技术难题，并确保系统的稳定性和数据的准确性。本文将分享基于 Apache Doris 的实时数仓架构在不同业务场景的实践经验，以及该架构带来的
自 Apache Doris 2.1 版本起，许多用户已经使用该功能简化了工作流程，并且极大的便利了从其他数据库系统迁移到 Doris 的工作，即使面对高负载、集群压力较大的情况，开启 Auto Partition 的导入性能表现依旧出色，足以满足实际生产环境的使用需求。自动分区已成为处理大规模数据和应对高并发场景的理想选择。
作者：SelectDB 技术团队在现代数据库系统中，执行引擎在数据库体系结构中起着承上启下的作用，与查询优化器和存储引擎共同组成了数据库的三大模块。我们以 SQL 语句在数据库系统中的完整执行过程为例，来介绍执行引擎在其中发挥的作用：在接收到一条 SQL 查询语句之后，查询优化器会对 SQL 进行语法/词法分析，基于代价模型和规则生成最优执行计划；执行引擎会将生成的执行计划调度到计算节点，按照最优
作者：武基鹏，无锡锡商银行 大数据技术经理编辑整理：SelectDB 技术团队导读：为实现数据资产的价值转化以及全面数字化、智能化的风险管理，无锡锡商银行大数据平台经历从 Hive 离线数据仓库到 Apache Doris 实时数据仓库的演进，目前已接入数百张实时表、上百数据服务接口 ，接口 QPS 达到数百万级别，解决了离线数据仓库时效性不足、成本高昂、效率低下等问题，查询提速超 10 倍，为用
作者：SelectDB 技术团队现如今企业的数据查询需求在不断增多，在共享同一集群时，往往需要同时面对多个业务线或多种分析负载的并发查询。在有限的资源条件下，查询任务间的资源抢占将导致性能下降甚至集群不稳定，因此负载管理的重要性不言而喻。从业务场景出发，用户负载管理的需求主要来自以下几方面：多个业务部门或租户可能共享同一套集群时，为避免不同租户间的负载相互影响，需保证每个租户的资源使用独立性和性能
亲爱的社区小伙伴们，Apache Doris 2.1.2 版本已于 2024 年 4 月 12 日正式发布。该版本提交了若干改进项以及问题修复，进一步提升了系统的性能及稳定性，欢迎大家下载体验。官网下载页：https://doris.apache.org/download/GitHub 下载：https://github.com/apache/doris/releases行为变更将 EXPORT
近年来，随着数据科学、数据湖分析等场景的兴起，对数据读取和传输速度提出更高的要求。而 JDBC/ODBC 作为与数据库交互的主流标准，在应对大规模数据读取和传输时显得力不从心，无法满足高性能、低延迟等数据处理需求。为提供更高效的数据传输方案，Apache Doris 在 2.1 版本中基于 Arrow Flight SQL 协议实现了高速数据传输链路，使得数据传输性能实现百倍飞跃。基于 Arrow
自增列（auto_increment）是数据库中常见的一项功能，它提供一种方便高效的方式为行分配唯一标识符，极大简化数据管理的复杂性。当新行插入到表中时，数据库系统会自动选取自增序列中的下一个可用值，并将其分配给指定的列，无需用户手动干预。这种自动化的机制不仅简化了数据管理的流程，更确保了标识符的唯一性，让数据库维护变得更加便捷和可靠。自增列在多种场景中发挥着重要的作用：字典编码： 在常见场景中，
如今数据已经成为了企业和组织的核心资产。如何有效地管理和利用这些数据，成为了决定竞争力的关键。分析型数据库作为数据处理领域的重要工具，为各行各业提供了强大的数据分析和洞察能力。基于分析型数据库（Apache Doris ）构建的现代化数据仓库 SelectDB， 支持大规模实时数据上的极速查询分析。那关于 SelectDB 主要的使用场景有哪些呢？
随着大数据时代的来临，实时数据处理与分析成为企业核心竞争力的关键因素之一。在这场数据革命中，Select DB成为引领者。从百度自研的实时数仓平台 Pa lo，到开源项目 Apache Doris，再到飞轮科技研发的 Select DB，这些名字都代表着大数据处理领域的前沿技术和最佳实践，接下来带您深入了解实时数仓及其发展现状。
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
