一、问题描述Flink 1.16.0 + OceanBase-cdc-2.3 编写table sql使用initial模式采集OceanBase库百万级表出现以下问题:二、定位具体问题通过截图可以很容易看到,是读取出现了超时问题。之前采集过几千、几万条的小表并没有报这个错误,都是一样的代码,所以可以直接定位到问题原因在读取数据阶段。首先下面进行排查第一步核对OceanBase-cdc相关配置信息"
转载
2024-09-02 12:13:45
42阅读
有一些数据需要实时的往 StarRocks 写,最开始想得很简单,直接用 insert into values 写入,后来遇到版本号超过 1000 问题。查官网才知道,每个 insert 都会生成一个版本,短时间往后台insert 大量数据是不可行的,才开始用 Stream Load 方式java.sql.SQLSyntaxErrorException: Too many versions. ta
一、概念Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以 实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟 的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务 等等,用scala语言编写,Li
转载
2024-03-22 08:23:16
69阅读
数据库是信息社会的基础设施,通过开放开源助力数据库技术的快速发展,构建新一代数据基础设施是大势所趋!在“2021云栖大会 . OceanBase 原生分布式数据库论坛” 上,OceanBase CTO 杨传辉为大家带来了一场主题为《OceanBase 一体化架构助力核心系统升级》的演讲。01、核心场景背后的一体化架构技术演讲开始,杨传辉从核心场景背后的一体化架构技术谈起,列举了用户使用分布式数据库
转载
2024-01-02 21:28:28
40阅读
今天跟大家分享一下 OceanBase 社区这边举办的《从0到1数据库内核实战教程》培训系列活动,这个活动的主要目的是给刚入门的同学们提供一个学习和了解数据库内核的机会,并通过活动培养大家对数据库的热情。OceanBase 是一款从于2021年开源的 NewSQL/HTAP 数据库。在开源一年多的时间里,举办了很多的活动,也有很多社区的小伙伴参与到社区的学习和建设中来,但是在源代码学习方面,社区还
转载
2024-04-30 19:36:27
67阅读
摘要:OceanBase OBCA认证学习笔记大全OceanBase数据库是由蚂蚁集团完全自主研发的企业级分布式关系数据库,始创于 2010 年。具有数据强一致、高可用、高性能、在线扩展、高度兼容 SQL 标准和主流关系数据库、低成本等特点。至今已成功应用于支付宝及阿里巴巴全部核心业务。并从 2017 年开始服务于广泛行业客户,包括南京银行、西安银行、天津银行、苏州银行、东莞银行、常熟
转载
2024-04-16 22:36:21
203阅读
蚂蚁集团自研数据库 OceanBase 现已开源,采用 MulanPubL - 2.0 许可证。OceanBase 数据库是一个原生的分布式关系数据库,完全由阿里巴巴和蚂蚁集团自主研发。OceanBase 社区版是一款开源分布式 HTAP(Hybrid Transactional/Analytical Processing)数据库管理系统,具有原生分布式架构,支持金融级高可用、透明水平扩展、分布式
镜像下载、域名解析、时间同步请点击 阿里云开源镜像站一、OceanBase介绍OceanBase是由蚂蚁集团完全自主研发的金融级分布式关系数据库,始创于2010年。OceanBase具有数据强一致、高可用、高性能、在线扩展、高度兼容SQL标准和主流关系数据库、低成本等特点。OceanBase 社区版是一款开源分布式 HTAP(Hybrid Transactional/Analytical Proc
转载
2023-10-05 07:59:14
194阅读
1.参数说明OceanBase 数据库的集群参数即集群级配置项,同时参数还分为动态生效和重启生效两类。
通过集群参数的设置可以控制集群的负载均衡、合并时间、合并方式、资源分配和模块开关等功能。
系统租户(即 sys 租户)可以查看和设置集群参数,普通租户只能查看集群参数,无法设置集群参数。
当 OBServer 启动后,如果没有指定参数,则使用系统指定的参数的 Default 值。
在 obser
转载
2024-04-28 12:20:00
47阅读
1.产品家族OceanBase数据库内核高扩展(水平扩展,按需缩扩容,单集群突破)高可用(基于Paxos协议,强一致性,副本故障但是数据不丢,RPO=0;RTO<30s)多租户(DBaas架构,资源隔离,自动负载均衡)高性能(峰值6100万次/秒,单表最大3200亿行,准内存处理性能)高兼容(Oracle/MySQL两种兼容模式,降低业务迁移改造成本)高透明(全局一致性,全局索引,自动事务两
转载
2024-06-23 06:48:00
92阅读
迁移 MySQL 数据到 OceanBase 集群
实践练习四(必选):迁移 MySQL 数据到 OceanBase 集群历史实践题回顾实践1:OceanBase Docker 体验实践2:手动部署 OceanBase 集群实践3:使用OBD 部署一个 三副本OceanBase 集群练习目的本次练习目的掌握从 MySQL 向 OceanBase 迁移数据
转载
2023-12-05 22:48:14
147阅读
编辑器加载中...http://www.newsmth.net/bbstcon.php?board=Java&gid=273318&start=273318&pno=3发信人: KayakLee (
转载
2011-09-12 13:03:00
303阅读
2评论
这篇文章主要介绍王泽林老师分享的 《OceanBase 的基础架构和开发技巧》。如果您看过第一篇文章的对应视频,会发现整个系列主要分为 MiniOB 和 OceanBase 两个系列,本篇文章就是 OceanBase 系列的开篇,所以文章中会有很多 OceanBase 的概念和特点介绍,作为开篇文章为大家普及一些基础知识。一、基础架构首先 了解一下数据库基础架构,我们通过下面这种图,来看一下数据库
转载
2023-11-07 12:24:47
250阅读
3月25日,首届OceanBase开发者大会在北京举行。大会发布了OceanBase 4.1版本,公布两大友好工具,升级文档易用性,统一企业版和社区版代码分支,全面呈现了OceanBase打造极致的开发者友好数据库的成果。 过去13年,OceanBase以极强的稳定性、可扩展性和低成本,成为分布式数据库领域的典型实践,并持续加大科研投入,突破技术边界,让分布式技术不断升级的同时越来越好用,研发单
转载
2023-08-01 09:37:39
193阅读
OceanBase是阿里巴巴集团研发的可扩展的关系数据库,实现了数千亿条记录、数百TB数据上的跨行跨表事务,截止到2012年8月为止,支持了收藏夹、直通车报表、天猫评价等OLTP和OLAP在线业务,线上数据量已经超过一千亿条。主控服务器RootServer、更新服务器UpdateServer、基准数据服务器ChunkServer以及合并服务器MergeServer。OceanBase系统内部按照
转载
2023-07-14 19:49:26
112阅读
实验要求本次练习是必选练习之一。练习目的本次练习目的掌握 OceanBase 的执行计划查看方法,包括 explain 命令和查看实际执行计划。练习条件有 服务器,内存资源至少 12G*1 台,部署有 OceanBase 集群(单副本或三副本都可以)。练习内容请记录并分享下列内容:(必选)使用 BenmarkSQL 运行 TPC-C ,并发数不用很高,5~10 并发即可(根据机器资源)。(必选)分
目前有关OceanBase功能、案例、故事的文章已经很多,对OceanBase感兴趣的朋友都想安装一个数据库试试。本文就是分享初学者如何手动搭建一个OceanBase集群。这也是学习理解OceanBase集群原理的第一步。
前言目前有关OceanBase功能、案例、故事的文章已经很多,对OceanBase感兴趣的朋友都想安装一个数据库试试。本文就是分享初
转载
2024-05-12 15:50:15
137阅读
概述默认情况下,当查询语句中存在视图时,需要等待视图中的查询执行完毕后再执行父查询。这种做法使得优化器无法将视图查询和父查询作为一个整体进行优化,限制了优化的空间。为此,Oceanbase中定义了相应的视图合并规则,能够将视图查询中的查询逻辑合并到父查询中,为优化器进一步优化提供了基础。基本原理视图合并规则主要包含对以下两种情况的处理:from视图合并:将from子句中涉及的视图与父查询合并,消除
转载
2023-11-24 22:16:45
101阅读
1.Paxos协议与负载均衡数据分区与分区副本分区1.当一个表很大的时候,可以水平拆分为若干个分区,每个分区包含表 的若干行记录。根据行数据到分区的映射关系不同,分为hash分区, List分区(按列表),range分区(按范围)等2.每一个分区,还可以用不同的维度再分为若干分区,叫做二级分区3.分区是OceanBase数据架构的基本单元,是传统数据库的分区表在分 布式系统上的实现副本1.为了数据
转载
2023-11-20 00:59:00
155阅读
凌云时刻6月1日,在数据库OceanBase3.0峰会上,蚂蚁集团自主研发的分布式数据库OceanBase宣布采用木兰公共协议 MulanPubL-2.0正式开源。CEO杨冰表示,OceanBase将持续坚持自研开放之路,在未来3年内,专注企业核心分布式改造。同时,宣布释放科技红利,7月启动全新价格体系,公共云版本将推出价格更低的存算分离版本。据悉,此次推出的最新3.0版本产品,让OceanBas
转载
2023-11-30 10:49:26
72阅读