1、认证体系介绍
1.1适用对象
①、具有丰富的数据库部署、管理、开发经验的高级技术人才;
②、有1年以上数据库实战经验的数据库管理员、应用开发人员、 架构师等数据库相关从业者;
③、初级数据库管理员、初级应用开发人员 、计算机相关专业高校师生、数据库技术爱好者;
④、数据库相关行业背景,想了解崖山数据库人员;
1.2学习目的
①、解决最困难的技术难题和最复杂的技术故障;
②、学习YashanDB的高级运维和管理;
③、学习YashanDB的基础操作和管理;
④、了解YashanDB介绍、功能、特性及案例;
2、国产数据库发展现状及未来
2.1国产数据库发展历程总览
2.2国产数据库发展趋势
3、产品概览
3.1产品定位
为什么选择YashanDB?
崖山数据库系统YashanDB是深圳计算科学研究院完全自主研发设计的新型数据库系统,经工信部下属机构权威检测,内核代码自主率100%。在经典数据库理论基础上,融入原创的有界计算理论、近似计算理论、并行可扩展理论和跨模融合计算理论,支持单机/主备、共享集群、分布式等多种部署方式,覆盖OLTP/HTAP/OLAP交易和分析混合负载场景,全面兼容私有化及云基础设施,为客户提供一站式的企业级融合数据管理解决方案,满足金融、政府、电信、能源等关键行业对高性能、高并发及高安全性的要求。
3.2六大特性
3.2.1 Oracle四层生态全面兼容
顶尖团队“核心理论+系统架构+工程能力”三位一体,极致性能,金融级高可用,语法、语义、高级特性、产品生态四个层面全面兼容主流生态。
3.2.2 卓越性能,极致性价比
相 同 硬 件 T P C - C 测 试 条 件 下 ,YashanDB性能表现远超于市面上的商业数据库及开源数据库,同时具备软硬件费用低、应用改造少、维护成本低的极致性价比。
3.2.3 共享集群,高端金融级高可用
YashanDB提供性能、功能、扩展性、可靠性、高可用维度完全对等DB2/Oracle RAC的集群产品形态,构建高端核心交易场景的平滑迁移方案,同时可支持异地多数据中心灵活部署/多写,具备金融级高可用和容灾特性。
3.2.4 源头创新,混合负载/实时数仓
内核层采用“分布式引擎+向量引擎+列存引擎”三大引擎结合,提供大规模并 行计算基础支撑,同时能够基于有界的透明计算加速原创理论,把大数据变小,把并发度提高,提升两个数量级分析性能。
3.2.5 应用平滑迁移
YashanDB在应用层提供对主流商业、开源生态的全面兼容,应用无需大量改造,用户可以用最小的成本和代价完成迁移。产品形态和架构上,全面支持客户多种集中式、共享集群、分布式形态,并提供自动评估和迁移工具一键迁移。
3.2.6自主创新,全面兼容国产生态
YashanDB从0开始自主研发,具备代码级自主可控能力,支持国产操作系统、CPU、服务器、中间件、云等主流上下游产品,全面兼容国产技术栈生态。
3.3 YashanDB背景
3.3.1中国的贝尔实验室
- 深圳市十大新设基础研究机构
- 批准:深圳市人民政府
- 主管:市科技创新委员会
- 共建:龙华区人民政府
- 国际论文78篇(68篇CCFA类顶级会议和期刊)
3.3.2五院院士原创理论
首席科学家樊文飞院士,大数据领域中、美、欧科学院唯一院士,数据库领域历史上仅有的两个“大满贯”学者之一;
国际公认的数据库领域极少数理论与系统双栖的顶级专家,在大数据计算、数据质量和半结构化数据的基础理论、算法与应用领域做出了杰出贡献;
3.3.3顶尖工程团队
- CoD研究室于2019年成立
- 资深工程师团队,核心研发成员人均10多年数据库内核经验;
- 产研结合打造基础软件【 崖 山 数 据 库 系 统YashanDB】
3.3.4专业开发与服务团队
- 全年7*24技术支持服务;
- 提供技术专家驻场服务;
- 提供崖山数据库专业培训及资格认证;
3.4 重要成果
3.5 产品形态
3.6 部署方式
4、总体架构
4.1数据库架构
4.2 存储架构
5、主要特性
5.1有界计算
5.1.1 有界计算简介
有界计算(BQP,Bounded Query Processing)是基于深圳计算科学研究院原创理论的大数据查询分析方法,实现与数据规模无关的查询响应能力,真正做到大数据变小。选用基于AIRCA(美国航空运输局)从1996年至今数据集的分析查询语句来做验证。
5.1.2 测试结果性能对比
YashanDB基于有界计算引擎,数据量从10G增长到1T,有界查询响应时间增长不超过50%;分析查询性能是MySQL的百倍至万倍,数据量越大优势越明显。
5.2 主备模式
一主多备高可用
技术原理:高可用支持最高性能, 最大可用, 最大保护三种数据保护模式
关键技术点:
- 物理日志并行回放
- 基于Raft的自动切换
- 读写分离
部署:提供一主多备、级联备部署方式。同时可以配合集群方式进行部署。
数据高可靠:通过多份副本,同时可以提高数据高可靠。
5.3 共享集群
共享集群高可用
技 术 原 理 : 数 据 层 面 , 通 过 共 享 存 储 ( S h a re d Disk),实现多节点共享数据库文件能力;访问层面,通过缓存融合技术,实现多实例节点同时支持读写业务。可实现毫秒级RTO,RPO=0效果。
故障时:依赖共享存储,集群可自助切换实例。同时集群可以快速新增节点,快速扩展数据库能力。
5.4 数据库备份恢复
备份
- 场景:整库级别归档。
- 支持全量备份和增量备份,提供多种算法的压缩和加密能力,主机和备机都可执行备份。
- 多线程备份恢复,最大化发挥磁盘IO性能。
- 支持基于时间点的恢复,可以通过备份集将数据库恢复到任意时间点。
- 支持远程备份和恢复,备份集可异地存放,可靠性更高。
5.5 数据库闪回(flashback)
- 场景:误删、业务仅需个别数据恢复。
- 支持数据的闪回查询:可以快速查询指定时间点的历史数据。在紧急情况下利用闪回查询的数据,可以快速进行历史数据的分析或恢复。
- 支持闪回数据:可以将当前数据闪回至历史时间点。当用户错误的修改了数据之后,可以通过闪回数据能力恢复历史数据并持久化,并且可以来回穿梭至各个时间点,具体很高的灵活度。
- 支持回收站闪回:当用户drop/truncate表之后,会自动移动至回收站。在清理回收站之前,该表的数据快照都会保存至回收站,若用户需要恢复这次删表操作,即可从回收站还原该表。
5.6 故障诊断与修复
5.6.1故障诊断
故障发现:当存储数据由于硬件故障等原因发生错误时,数据库会及时上报并且触发健康检查机制,扫描出所有损坏数据。
健康检查:除响应式触发健康检查外,还提供手动执行健康检查的能力,DBA可以定期监控数据库健康状态,及时发现并上报检测到的故障。
5.6.2自动修复
故障处理-修复:在主备部署模式下,损坏的数据页面可以从备机拿取正确的页面进行替换修复,故障对用户透明,不会导致业务中断。
5.7AWR报告
场景:需要对数据库工作状态进行分析,包括问题和瓶颈点。
AWR(Automatic Workload Repository), AWR报告通过比对两个时间点的历史数据,分析出数据库当前的工作状态,包括问题和瓶颈,极大方便了数据库异常的事后分析。基于AWR可以开展一系列数据库运维自动化的动作。
AWR报告中利用到的数据包括:等待事件、指标数据、空间使用统计、SQL状态信等,存储在SYSAUX表空间。崖山数据库系统同时提供机制,管理快照数据的生成、清理、配置。
5.8 数据库审计
场景:需要对数据库的访问进行记录,以追踪问题,从而提高数据库安全性
原理:统一审计主要利用策略和条件在数据库内部有选择地执行有效的审计,策略包括基于语句类型的审计和基于数据库对象动作的审计。审计记录支持记日志和记表两种形式。为提高数据库性能,审计记录缺省为异步写入。同时支持同步写入模式。
6、配套工具介绍
6.1基础工具及驱动
6.2 数据迁移同步工具
6.2.1迁移工具:Yashan Data Sync
Yashan数据迁移同步工具,聚焦异构数据迁移与实时数据同步核心能力,支持Oracle,MySQL,YashanDB等主流关系型数据库,适用于企业数据业务常见的迁移、并跑、灾备等多种场景。
6.2.2 核心特性
- “迁移+同步”一体化
- 异构高度自适应
- 无缝断点续传
- 秒级实时同步
- 部署非侵入性
6.3 运维监控管理平台
6.3.1运维工具:Yashan Cloud Manager
Yashan Cloud Manager一款针对YashanDB面向企业级数据库的一站式运维监控管理平台。
该产品基于web端,将积累的一线运维服务经验与解决方案代码化、平台化,为企业提供多类型混合数据库的统一管理服务。
6.3.2 核心特性
- 数据库全生命周期管理
- 安装部署实现标准自动化
- 安全可靠的备份恢复能力
- 支持数据库的高可用架构可视化
- 强大的监控告警能力
- 自动化智能健康巡检
- 高效进行数据库的诊断优化
- 可集成的第三方运维工具
6.3.4 一站服务体系
6.3.5 丰富能力生态
6.3.6 数据库性能监控
6.3.7 容器化管理插件功能
6.4 方案介绍
信创国产化:Oracle RAC多活集群,平移到国产平台和YashanDB;
云上数据底座:基于混合云、公有云等多种环境,提供基础设施能力,提供丰富、融合、可扩展的数据库、数仓能力;
政务数字化:提供可满足交易和分析业务、云上云下统一部署架构的融合数据管理解决方案,实现一网通办一网通管一网协同。
办公OA:高性价比、轻量、便捷的产品形态,提供ISV可集成、规模服务的灵活部署、运维服务模式。
智能制造:新一代MES系统,承载工业4.0和数字化制造的高性能实时数据、大规模数据分析计算能力。
智慧能源:支持全信创、全国产软硬件底座的国产化方案。
智能营销:金融行业用户全景标签建设,用于用户画像、智能营销等。
YCA官方报名链接:https://www.yashandb.com/YCA_courses