## 引言
在当前大数据时代,海量数据的存储和处理成为了一个重要的问题。在这个问题上,两个开源项目备受关注,它们分别是OceanBase和Hadoop。OceanBase是一个分布式关系型数据库管理系统,而Hadoop是一个用于分布式存储和处理大数据的框架。本文将从概念、架构和使用代码示例的角度,对这两个项目进行科普介绍。
## OceanBase
### 概念
OceanBase是由阿里
Gartner 2014 年首次提出 HTAP(Hybrid Transaction / Analytical Processing,混合事务分析处理)并给出明确的定义:即同时支持 OLTP 和 OLAP 场景,需要创新的计算存储框架,在一份数据上保证事务的同时支持实时分析,省去费时的 ETL 过程HTAP 的典型优势场景包括:企业级混合负载。MySQL这样的开源数据库只能处理简单查询,如果涉及到
镜像下载、域名解析、时间同步请点击 阿里云开源镜像站一、OceanBase介绍OceanBase是由蚂蚁集团完全自主研发的金融级分布式关系数据库,始创于2010年。OceanBase具有数据强一致、高可用、高性能、在线扩展、高度兼容SQL标准和主流关系数据库、低成本等特点。OceanBase 社区版是一款开源分布式 HTAP(Hybrid Transactional/Analytical Proc
OceanBase是阿里巴巴集团研发的可扩展的关系数据库,实现了数千亿条记录、数百TB数据上的跨行跨表事务,截止到2012年8月为止,支持了收藏夹、直通车报表、天猫评价等OLTP和OLAP在线业务,线上数据量已经超过一千亿条。主控服务器RootServer、更新服务器UpdateServer、基准数据服务器ChunkServer以及合并服务器MergeServer。OceanBase系统内部按照
这篇文章主要介绍王泽林老师分享的 《OceanBase 的基础架构和开发技巧》。如果您看过第一篇文章的对应视频,会发现整个系列主要分为 MiniOB 和 OceanBase 两个系列,本篇文章就是 OceanBase 系列的开篇,所以文章中会有很多 OceanBase 的概念和特点介绍,作为开篇文章为大家普及一些基础知识。一、基础架构首先 了解一下数据库基础架构,我们通过下面这种图,来看一下数据库
3月25日,首届OceanBase开发者大会在北京举行。大会发布了OceanBase 4.1版本,公布两大友好工具,升级文档易用性,统一企业版和社区版代码分支,全面呈现了OceanBase打造极致的开发者友好数据库的成果。 过去13年,OceanBase以极强的稳定性、可扩展性和低成本,成为分布式数据库领域的典型实践,并持续加大科研投入,突破技术边界,让分布式技术不断升级的同时越来越好用,研发单
编辑器加载中...http://www.newsmth.net/bbstcon.php?board=Java&gid=273318&start=273318&pno=3发信人: KayakLee (
转载
2011-09-12 13:03:00
238阅读
2评论
通过以下练习可以掌握 OceanBase 集群的手动部署技能,理解进程的相关目录、集群初始化、OBProxy和 OB 集群关系等。服务器规划IP角色用途服务器规格192.168.79.200OBD、OBPROXY、OBCLIENT中控机自动化部署软件、访问反向代理、命令行客户端8C4G CentOS7.9192.168.79.201observerOceanBase数据库zone18C12G Ce
本篇文章又回到了 MiniOB 部分,让我们一起来学习一下 MiniOB 存储实现的原理。首先看一下今天的主要内容:MiniOB 框架简介MiniOB 文件管理MiniOB Buffer PoolMiniOB 记录管理MiniOB 是 OB 社区推出的用于入门学习的轻量版数据库,整个数据库代码仅有两万行,很适合刚入门的同学进行了解。1. MiniOB 框架简介首先我们还是来回顾一下 MiniOB
概述默认情况下,当查询语句中存在视图时,需要等待视图中的查询执行完毕后再执行父查询。这种做法使得优化器无法将视图查询和父查询作为一个整体进行优化,限制了优化的空间。为此,Oceanbase中定义了相应的视图合并规则,能够将视图查询中的查询逻辑合并到父查询中,为优化器进一步优化提供了基础。基本原理视图合并规则主要包含对以下两种情况的处理:from视图合并:将from子句中涉及的视图与父查询合并,消除
1.Paxos协议与负载均衡数据分区与分区副本分区1.当一个表很大的时候,可以水平拆分为若干个分区,每个分区包含表 的若干行记录。根据行数据到分区的映射关系不同,分为hash分区, List分区(按列表),range分区(按范围)等2.每一个分区,还可以用不同的维度再分为若干分区,叫做二级分区3.分区是OceanBase数据架构的基本单元,是传统数据库的分区表在分 布式系统上的实现副本1.为了数据
前言目前有关OceanBase功能、案例、故事的文章已经很多,对OceanBase感兴趣的朋友都想安装一个数据库试试。本文就是分享初学者如何手动搭建一个OceanBase集群。这也是学习理解OceanBase集群原理的第一步。在生产环境,我们有自动化运维平台OCP可以负责生产环境的OceanBase集群部署和运维。同时官网上提供的下载文件里也有python脚本自动化部署OceanBase集群,大家
OceanBase 数据库在运行过程中会自动生成日志。运维工程师通过查看和分析日志,可以了解 OceanBase 数据库的启动和运行状态。在之前的一些琐碎的文章里,我也提到了,新安装的数据库,可能由于空间规划不足,采用默认日志策略,导致日志文件将所有的空间都占满,然后导致集群出问题。今天我们就来看看OceanBase的两个日志管理策略:日志文件切片管理日志文件数量管理1.日志文件切片管理日志文件切
Navicat 作为 OceanBase 生态工具的合作伙伴,这是双方产品适配第三个里程碑。2022 年 7 月的首个里程碑,Navicat 实现了 OceanBase 社区版的功能性兼容。同年10 月,进一步实现了针对 OceanBase 企业版( 兼容 MySQL 模式)的接入和管理开发能力。本次作为技术合作的第三个里程碑,实现了 OceanBase 企业版 (兼容 Oracle 模式) 的支
版本说明组件备注all-in-one从 V4.0.0 开始,OceanBase 提供统一的安装包 all-in-one package。您可以通过这个统一的安装包一次性完成 OBD、OceanBase 数据库、OBProxy、obagent、Grafana 和 Prometheus 的安装;您可以根据实际需求选择部分组件安装或者指定组件的版本一、安装前检查 1、检查内存和磁盘空间# 检查内存,至少
本文主要介绍 OceanBase 在 4.1 版本发布之际,对 MySQL 8.0 新增功能特性的支持情况。文章作者刘彬,OceanBase高级技术专家。曾参与 OceanBase RS、存储模块研发,目前是 SQL 执行组负责人。MySQL 在业内是最受欢迎的关系数据库之一,不少用户将 MySQL 作为刚开始使用数据库的首选。 OceanBase 的一大重要特性即是与 MySQL 完全兼容,用户
前言 OceanBase 2.2 自官网提供试用下载后,受到不少数据库爱好者的关注。也有些数据库开发同学想看看OceanBase到底怎么用。最近用了近2个月时间编写《OceanBase 2.2 开发者指南》,详细面向开发同学介绍OceanBase 2.2的使用方法。包括连接方法、DDL、DML、事务、存储过程、PL/SQL、Package等常用对象的用法。文档预计下周可以对外发布。本文节选文档
概述OceanBase是阿里巴巴和蚂蚁金服完全自主研发的通用的分布式关系型数据库,定位为商用企业级数据库。OceanBase能提供金融级别的可靠性,目前主要应用用于金融行业,同时也适用于非金融行业场景。它融合传统关系数据库和分布式系统的优势,利用普通的PC服务器组成数据库集群,拥有出色的线性扩展性。通过在底层分布式引擎实现的Paxos多数派协议和多副本特性,OceanBase拥有了令人称道的高可用
本篇文章是对数据库存储基础知识的学习,本篇文章将从以下几个部分展开介绍。存储器层次结构磁盘存储器块与记录组织变长数据和记录记录的修改1. 存储器层次结构 我们从下向上看,每个部分的特点如下:高速缓存:也叫 CPU 高速缓存,与 CPU 打交道,存储速度纳秒级别(ns),存储空间通常只有几MB;主存储器:也叫内存,通常我们所说的 OOM 问题都是发生在这个层面上,存储容量大小一般以 GB 计算,当前