湖仓一体、存算分离等新技术探索与实践

大家好，我是 梦想家Alex ~ 今天我又为大家带来一波 Gdevops 官方的福利 。今年6月份的时候，就已经在广州举办了一期全球运维管理峰会，当时不少在广州的朋友还去到了现场 。

而我去年就参加过他们组织的 DAMS 中国数据智能管理峰会(上海站)的活动，收获满满，并且还有幸成为了当年的合作媒体之一 。今年 DAMS 又回归了，到时候我也会去现场，期待线下与大家相遇 ！

文末福利，主会场限时免费，想去的小伙伴不要错过！

随着大数据与云原生的相互碰撞，各技术领域的新一波挑战和创变正以迅雷之势向我们宣战。利用云原生技术的简便快捷、动态调度、按需伸缩等优势，如何加速大数据基础    软件和系统的迭代更新频率、确保整体环境的最终一致性，如何为数据库提供极致的性能、弹性和无限扩展能力，以及由此带来的运维模式转型该如何应对，以上种种，都是我们当下需要率先突破的课题。

为了和大家一起探索大数据与云原生强强联合的方式、挖掘由此激发的软件发展和技术进步，第八届DAMS中国数据智能管理峰会将于2022年10月14日在上海举办，携手京东、美团、字节、蚂蚁、网易、新浪、携程、快手、唯品会、哔哩哔哩、vivo、工商银行、平安银行、光大银行等产研界技术领跑单位，带来大数据、数据资产管理、数据治理、数据库、运维、金融科技等领域的先进理念和最佳实践。

DAMS中国数据智能管理峰会

时间：2022年10月14日

地点：国家会展中心上海洲际酒店（上海市青浦区诸光路1700号）

指导单位：上海市软件行业协会、上海市计算机行业协会、中国信息通信研究院云计算与大数据研究所

主办单位：dbaplus社群

演讲嘉宾及议题先睹为快

01

大  数  据

背负海量数据，如何踏上实时且灵活的高速列车

适听人群：数据开发、数据架构、大数据平台研发/运维、数据/算法工程、云原生研发等从业人员

京东OLAP云原生&存算分离实践

京东 OLAP团队负责人 李阳

云时代下，如何提供可快速交付、弹性伸缩的OLAP服务，并满足高可用、高性能诉求？本次将分享京东OLAP在此背景下遇到的问题与相关实践经验，具体包括以下内容：

1. OLAP云原生建设思路；
2. 存算分离选型与落地；
3. 智能化运维实践。

云原生离线在线资源混部技术落地

携程 研发总监 周昕毅

介绍基于K8S平台进行离线计算集群与在线应用集群的资源混部的技术方案，具体包括以下内容：

1. Yarn on K8S；
2. 云原生网络模型；
3. 统一资源调度；
4. 大数据平台自动化运维管理。

数据湖和增量计算在唯品会的实践

唯品会 数据平台负责人 王新春

数据湖技术可大大提高数据的时效性，降低冗余数据的存储。基于此，唯品会探索利用Hudi做增量计算的各种场景，大幅度降低ETL的存储和计算资源消耗，分享具体包括以下内容：

1. 数据湖Hudi落地的相关技术和迭代改进；
2. 增量ETL流程如何依赖数据湖相关技术落地。

湖仓一体在bilibili的演进之路

哔哩哔哩 OLAP平台负责人 李呈祥

湖仓一体是近年非常火的趋势，如何保持湖的灵活性，同时提供仓的高效分析效率，是一个亟待解决的问题。本次分享主要介绍bilibili在OLAP平台上遇到的挑战，以及湖仓一体的架构设计，具体包括以下内容：

1. 湖仓一体架构的好处；
2. 如何基于Iceberg建设湖仓一体架构；
3. 在数据分布、索引、预计算等多方面增强优化，提升数据分析效率，降低分析成本的实践经验。

实现数据价值最大化的新一代数据编织架构

丹诺德软件 华东区业务总监 周剑魂

主要介绍一种新型的数据纺织架构，帮助企业摆脱传统数据管理及消费模式的束缚，释放更多生产力，分享具体包括以下内容：

1. 如何利用元数据逻辑架构搭建的最新一代数据中台，使数据贴近数据源进行计算、消费及实时呈现相关数据报表；
2. 企业如何利用便捷的数据分享方式，打通行业上下游的物理瓶颈，达到数据协作的功效；
3. 如何最大化实现数据的内在价值。

*更多大数据主题演讲嘉宾及干货议题在路上，持续更新……

02

数据治理&数据资产管理

合规、高效、可重用，如何充分发挥数据价值

适听人群：数据治理、数据管理、数据分析、数据资产管理、数据安全、数据中台建设等从业人员

平安集团数据中台体系建设实践

平安科技 副总工程师 姜欣

平安集团建设数据中台的目的，一方面是整合内外数据能力，形成合力更全面立体高效地赋能全业务；另一方面是建设合规高效的数据管理及运营体系，加强对数据资产的管控和治理，保证数据使用的合规安全。本次分享内容具体如下：

1. 当前数据合规管理的现状和问题；
2. 解读国家和监管法律法规对责任主体，在数据确权、数据资产管理、数据使用方面的要求；
3. 基于合规底线框架，如何构建企业数据管理和运营体系，高效促进数据要素的流动；
4. 数据管理和运营体系需要哪些技术平台支撑，如何设计规划。

网易严选全链路数据治理实践

网易严选 数据总监 左琴

介绍网易严选在数据治理的方法论和落地实践，通过对整个生命周期的数据、任务、服务组件的治理 ，保障数据稳定、高质量地进行生产，并推进整体资源优化，以及大数据平台的演进，具体包括以下内容：

1. 如何提升数据体系的可观测性、可运维能力以及稳定性；
2. 如何更高效、低成本地进行数据治理，发现和减少数据系统的腐化问题。

快手数据治理实践（拟）

快手科技 数据管治团队负责人 孙伟

数据赋能决策：构建可重用的数字资产

汇丰软件 数据工程主管 李昂

了解数据在企业中是如何关联的，才能将数据转化为可重用的数字资产，并生成可操作且有价值的见解，本次分享主要以汇丰为例，具体包括以下内容：

1. 实体解析作为其中的关键，是确定多个记录是否引用相同的现实世界事物的过程；
2. 实体解析从内外部来源获取多个不同的数据点，并将它们解析为一个唯一的实体；
3. 有了唯一的实体，企业就可以使用这个结果来关联不同数据，增强或自动化决策，进而更快、更准确地识别和做出各种决策。

*更多数据治理&数据资产管理主题演讲嘉宾及干货议题在路上，持续更新……

03

数  据  库

海量数据及多云环境下，数据库如何突破瓶颈

适听人群：DAB、数据库开发/运维、分布式数据库、时序数据库、中间件等从业人员

数据库故障分析&性能优化平台建设

美团 数据库自治服务团队负责人 沈裕锋

分享如何基于MySQL源码的分析来快速、准确定位故障根因以及通过改造MySQL查询优化器源码，基于Cost模型自动给出风险SQL的索引优化建议，具体包括以下内容：

1. 快速、精准地做数据库故障根因分析；
2. 快速发现潜在的风险SQL并自动给出索引优化建议；
3. AIOps在数据库领域的探索及落地经验。

从蚂蚁集团数据库演进之路看未来数据库的选择

OceanBase 泛互联网&海外架构师负责人 弓子介

本次分享主要介绍蚂蚁集团发展过程中基础设施面临的问题与挑战，以及如何基于OceanBase构建蚂蚁统一存储架构，同时在容器化、单元化、异地多活、大促弹性、智能运维上沉淀的实践，并提供以下启发：

1. 解决规模化运维带来的DBA时间碎片化与业务连续性风险；
2. 业务单元化与异地多活建设思路；
3. 破解业务高速发展的不确定性与基础设施建设成本的矛盾。

海量metrics时序数据的分布式计算演进之路

字节跳动 可观测性时序数据库负责人 高英举

从单机到分布式、从开源到自研，字节跳动在可观测性领域的海量metrics时序数据库逐步构建出了一套相对完善的分布式计算与存储的时序数据处理能力。本次分享主要包括以下内容：

1. 如何应对可观测性领域的海量metrics数据；
2. 如何整体设计分布式的metrics系统；
3. 如何设计与实现metrics查询的分布式计算。

货拉拉混合云环境下的数据库中间件建设之路

货拉拉 数据库中间件团队负责人 林静

随着单体架构向微服务架构演进、单云环境向混合云环境的过渡，DB层稳定性建设迎来了全新挑战。静态的某个DB长期稳定运行已不能满足企业要求，新的稳定性体系必须是能够应对海量存储以及频繁表结构变更、数据迁移、容量扩缩容的反脆弱稳定性体系。本次分享主要包括以下内容：

1. 如何在云RDS的HA机制上锦上添花；
2. 结合中间件如何实现业务无感的数据库拆分迁移；
3. 为什么我们需要在云环境下“留一手”。

*更多数据库主题演讲嘉宾及干货议题在路上，持续更新……

04

运  维

云原生赛道竞速，运维转型要做的远比想象的多

适听人群：应用运维、业务运维、智能运维、算法、SRE、大数据平台研发/运维、云原生研发/运维等从业人员

新浪智能数据分析平台建设

新浪 部门主管 高鹏

vivo业务高可用建设实践

vivo 业务运维总监 周甲黎

随着业务高速发展，vivo对稳定性的诉求越来越高，面临着机房可用性、业务强耦合等多方面的挑战，本次分享将基于这些业务挑战，给大家带来一些高可用建设的新想法和建议，具体包括以下内容：

1. 影响业务稳定性的因素；
2. 高可用建设的常用方法；
3. 在业务标准化、高可用架构应用、预案演练及复盘等四个方向做的重点建设、沉淀的运维方法，尤其是高可用建设的具体落地实践。

京东科技全链路故障诊断智能运维实践

京东科技 智能运维算法负责人 张静

本次分享将介绍京东科技智能运维整体能力、传统运维与智能运维在故障预警到根因定位的直观比对时间轴，以及智能运维建设的价值。还将详述时序异常检测算法学件在京东科技线上横向业务场景，纵向监控、数据库、网络、资源调度等多个场景的落地经验，并提供以下启发：

1. 运维算法学件建设经验，持续化迭代训练体系搭建方案；
2. 运维算法学件与真实运维场景落地结合的实践经验；
3. IEEE智能运维方向论文收录经验，知识产权创新点挖掘方法。

运维数据价值升级：基于SLO健康度体系探索与实践

蚂蚁集团 AIOps技术专家 徐新龙

SLO为应用的服务质量定义了明确的目标，帮助团队提供一致的客户体验、平衡功能研发与平台稳定性，改善与内部和外部用户的沟通。本次分享将以蚂蚁集团内部实践为例，介绍如何从0到1构建SLO、如何将AI结合SLO使数据发挥更大价值，以及基于SLO的健康度体系在运维场景下的成功实践，并提供以下启发：

1. 结合实际场景和需求，定义SLO的意义和出发点；
2. 通过标准化设计，构建自动化能力，提升规模和场景覆盖，简化SLO配置的复杂度和费力度；
3. 将SLO应用到日常的应急场景中，结合AI算法在异常检测、故障定位、预案推荐等场景下的使用，提升应急能力和效率。

*更多运维主题演讲嘉宾及干货议题在路上，持续更新……

05

金  融  科  技

金融科技新布局：如何从科技赋能迈向科技引领

适听人群：银行/金融机构CIO/CTO，金融科技战略规划、大数据架构设计、金融科技应用研发/运维、金融业务系统研发/运维等从业人员

工商银行规模化监控系统落地实践

工商银行 数据中心系统三部高级经理 胡继强

介绍工行全球总分行组织模式下，两地三中心高可用布局的监控体系结构，以及超十万级纳管服务器规模的监控数据采集、处理、预警、通知和自动化处置的方法，具体包括以下内容：

1. 工行开放平台的监控体系；
2. 如何适应云环境、分布式、国产化等规模化、差异性的挑战；
3. 未来，监控系统将何去何从。

光大银行实时数据仓库应用实践

光大银行 大数据平台运维负责人 侯强

介绍光大银行大数据平台的发展历程，具体包括以下内容：

1. 初期规划、发展现状、未来计划；
2. 金融行业数据仓库如何建设既满足业务需求，又符合金融要求的应用实践。

*更多金融科技主题演讲嘉宾及干货议题在路上，持续更新……

峰会议程

关于DAMS中国数据智能管理峰会

数据已经成为企业的核心竞争力！谁掌控数据、更好地利用数据、实现资产化，谁就能真正抢占大数据时代高地。

中国数据智能管理峰会DAMS（Data & AI Management Summit），连续八年站在数据时代前沿，汇聚BAT、京东、美团、小米、蚂蚁金服、唯品会、三大运营商、中国银联、银行证券、国家电网等近百位互联网与传统企业行业专家，分享最新数据资产与大数据的理念、趋势、管理方法和最佳实践，坚持技术干货与实践经验分享。

DAMS峰会已经影响了过万名CXO、技术总监、IT经理、数据架构师、开发和运维领域相关负责人及工程师，覆盖了互联网、电信、金融、交通、物流等重点行业，专题涵盖数据资产管理、数据治理、大数据、Fintech等热门领域，数十家媒体争相报道，在业内具有极大影响力。

报名方式​

大数据梦想家·早鸟优惠

主会场限时免费

全日票原价99元/人，早鸟购票29.9元/人

扫码报名，先到先得！