中台的架构与建设
一、技术中台规划
- 基础设施层：云化基础实施资源，包括共享的云存储、共享的计算资源等。
- 技术Pass层：互联网技术中间件，如常见的分布式应用服务、容器服务、消息服务、服务注册发现、容器管理服务、日志服务等，为应用软件提供运行环境。
- 基础组件层：从业务中台抽象出来的通用技术功能模块，既包括认证、消息发送、规则引擎等，也包括为了隔离技术Paas的复杂和异构而设计的适配器，比如消息队列的适配器、缓存适配器等。
二、数据中台建设
1、数据中台功能定位
- 数据中台是汇聚不同业务系统、不同数据结构、不同数据格式的平台，是一个“业务矿产”；
- 把“业务矿产”进行统一化，即统一采集、建模、管理与安全，通过加工与提纯，形成企业的数据资产；
- 加工提纯后的“业务矿产”需要对数据进行服务化（即业务数据化、数据业务化），通过数据业务消费数据，再产生新的矿产；
- 数据中台应具备数据整合能力、开发计算能力、数据服务能力。
2、搭建大数据平台
- 搭建大数据平台主要解决数据采集的组件选型、数据处理的计算引擎选型、各种类型的数据存储组件选型，以及数据作业调度、权限、安全管理组件等问题；
- 通过对数据中台建设的数据资产进行评估，估算出搭建大数据平台需要的计算、存储、网络等资源；从数据总体量、数据日增长量、数据存储周期等方面综合计算。
3、搭建运维管理平台
运维管理平台提供界面化操作集群的能力，帮助开发、运维人员简单快速地搭建和管理集群，同时对集群健康状态进行监控，并在异常出现时及时告警。
4、搭建研发管理平台
- 数据集成：作为数据中台的数据采集层，在数据时效性上提供（准）实时、离线采集能力；支持结构化、半结构化和非结构化数据采集；支持主流关系型数据库CDC日志、SDK上报数据、文件流数据（准）实时数据采集；支持（非）关系型数据库、文件等数据的离线全量、增量数据采集。
- 数据模型：支持可视化数据建模设计工作，提供统一管理企业指标口径、数据模型的能力。方便模型设计人员利用维度建模理论统一构建标准化的数据模型体系；同时为标签平台、数据服务、数据资产等功能提供基础数据能力。
- 数据开发/算法开发：包含实时、离线、算法三部分功能开发，研发平台公共对不同计算引擎的数据输入、转化 、输出操作进行抽象封装，并未相应的操作内置丰富的插件。
- 数据质量：提供丰富的预警规则，支持对每个数据模型进行告警规则制定。
- 数据服务：对外提供服务的统一数据服务平台。
- 数据资产：对数据模型和指标等元数据资产从各个维度进行展示。
- 任务运维：提供任务作业DAG（有向无环图）可视化操作，支持任务多种调度周期你设置及运行任务的监控告警能力。
5、搭建智能标签平台
帮助企业构建标签体系，生成用户、商品等画像，赋能业务对用户、商品等的精细化运营。标签平台解决了企业以往通过手工书写脚本的不灵活、难运维的问题，还能够支持对用户行为过程数据设置标签，丰富用户消费过程行为画像数据。
- 自定义标签：支持运营人员创建客户标签、组合标签；
- 标签体系：支持多级标签定义，能够查看组合标签体系层级及群体人员明细；
- 客户画像：标签使用客户群体画像生成，支持用户分群选择，也能够对个人画像属性进行查看；
- 标签使用分析：系统平台定义的标签使用情况统计分析，查看热门标签以及未被使用的标签，优化标签结构；
- 平台开放性：平台定义的标签信息能够作为企业数据资产，提供API接口，第三方系统可以调用标签中心的接口进行标签的管理和应用创新。
6、搭建自助分析平台
自主分析平台搭建在大数据平台之上，依托于数据平台的数据研发自治功能，通过统一的数据服务，实现对数据分析探索的统一口径和标准管理，为企业业务分析提供准确、高效的数据决策支持。
- 多数据源支持：多种数据源、不同数据类型数据对接支持，轻松解决数据接入对接的多接口开发工作；
- 多维分析：具备前段系统的交互和分析能力-过滤（Filter）、钻取（Drill）、刷取（Brush）、缩放、关联（Associate）、动态计算（Dynamic Calculation）、超链接（Link）；
- 多图表组件支持
- 多用户权限
- 多并发支持
- 多屏支持
7、搭建企业数据资产
数据中台中的数据资产按照功能可分为数据模型和标准分析模型。
7.1 数据模型
数据模型是整合各种数据源的重要手段，通过数据模型，可以建立起各个业务系统与数据库库之间的映射关系，实现源数据有效采集；可排除数据描述的不一致性，使系统的各参与方能基于相同事实进行有效沟通；可以消除冗余数据。数据模型包含分析模型和应用算法模型，分析模型是将企业全域数据按照主题域进行梳理，并按数据粗细粒度进行分层存储，供上层数据应用按需索取。
（1）分析模型
- ODS（Operational Data Store，操作数据层）：面向主题、集成、当前或接近当前的、不断变化的数据。
- DWD（Data Warehouse Detail，明细数据层）：将不同系统的同类数据源按照某种维度进行聚合，形成宽表。
- DWS（Data Warehouse Summary，汇总数据层）：对dwd层数据进行维度退化并形成主题宽表，提升公共指标的复用性，减少复杂的加工工作。
- ADS（Application Data Store，应用数据层）：通过Dws层的公共基础指标衍生出应用型的指标。
（2）应用算法模型
从应用场景出发，围绕营销、运营、客服等场景如何利用算法封装出标准的算法模型，供前段应用场景调用。
- 交叉销售模型：通过对用户历史消费数据的挖掘分析，找出明显有关联性的商品组合，然后用不同的建模方法，投建消费者购买这些关联产品组合的可能模型，在用其中优秀的模型去预测新用户购买特定商品组合的可能性。
a. 运营方向-1：延缓客户流失，利用客户流失预警模型提前锁定可能流失的有价值的用户，然后由客服团队采用各种客户关怀措施，尽肯能挽留客户，从而降低客户流失率；
b. 运营方向-2：通过数据算法模型找出客户进一步的潜在消费需求，主动引导、满足、迎合客户需求。
c. 常用算法-1：购物篮分析，发现那些有较大可能被一起采购的商品，对他们进行有针对性促销和捆绑；
d. 常用算法-2：借鉴响应模型思路，为某几种重要商品分别建立预测模型，对潜在消费者通过特定预测模型进行过滤，然后针对最有可能的钱*%的消费者进行精确营销触达；
e. 常用算法-3：借鉴预测响应模型的思路，让重要商品两两组合，找出最有可能消费的潜在客户；
f. 常用算法-4：通过决策树清洗的树状规则，发现基于具体数据资源的具体规则逐层判断客户会对哪几种潜在商品感兴趣。
- 智能补货模型：除在营销端需要算法模型支撑基于大数据的智慧营销之外，在供应链端更需要通过算法模型对历史沉淀下来的海量销售数据、铺货经验、补货记录、调拨记录进行分析以提供更加精准的铺、补、调货决策。
a. 通过供应方式（供应时间、供应数量、供应周期等）的决策达到仓库中需求和供给的平衡，使得仓库中货品的库存既可以最大化满足用户的需求，也能将库存周转时间控制在一定范围内，保证供应的效率。
b. 智能配补货模型实现难点是如何精准预测某一段时间区域、门店甚至某一款商品的SKU的销量，而销量预测的难点又在于除了历史销售、促销活动、行业动态之外还有很多主观影响因素，如天气变化、国家政策等不可抗力因素。
7.2 分析专题
（1）用户留存分析
关注新用户留存率，出了监测新用户质量来调增获量渠道外，还可映射出产品对市场用户的粘性，不断复盘留存率变化，为新用户运营提供方向验证；主要包括研究用户统计周期的留存率，通过留存率衰减图，可快速直观地了解目前产品的新用户留存率水平、留存提升空间，以及用户流失的集中时间段，从而进一步制定保留促提的运营计划；核心指标如下：
- 新访问用户数：统计自然天内，新增注册的用户数；
- 次日留存率：新增注册用户在1日后再次登录活跃的占比；
- 2日留存率：新增注册用户在2日后再次登录活跃的占比；
- 3日留存率：新增注册用户在3日后再次登录活跃的占比；
- ...
（2）海盗模型分析
2A3R模型：用户获取（下载注册）、用户活跃、留存、变现、自传播（分享）5个产品生命周期阶段，核心指标如下：
- 注册用户：统计周期内，新增注册用户数；
- 活跃用户：统计周期内，登录并有浏览的用户数；
- 留存用户：统计周期内，新增注册用户后来重复登录使用的用户数；
- 支付用户：统计周期内，注册并下单支付的用户数；
- 分享用户：统计周期内，注册并分享的用户数；
- 活跃转化率：统计周期内，活跃用户占注册用户的百分比；
- 留存转化率：统计周期内，留存用户占注册用户的百分比；
- 支付转化率：统计周期内，注册并支付的用户占注册用户的百分比；
- 分享转换率：统计周期内，注册并分享的用户占注册用户的百分比。
（3）转化漏斗分析
通过分析电商用户行为，提炼关键节点数据访问、加购、下单、支付等形成转化漏斗分析；运营部门可通过监控在订单形成过程中关键节点转化效果，判断哪些环节存在优化空间，制定针对性策略，从而提高整体销售转化；核心指标如下：
- 商品访问用户：统计周期内，有浏览商品的用户数；
- 加购用户：统计周期内，有把商品加购物车的用户数；
- 下单用户：统计周期内，成功提交订单的用户数；
- 支付用户：统计周期内，成功支付订单的用户数；
- 加购转化率：统计周期内，加购用户占访问用户百分比；
- 下单转化率：统计周期内，下单用户占加购用户（或访问用户）的百分比；
- 支付转化率：统计周期内，支付用户占下单用户的百分比。
（4）商品分析
核心指标如下：
- 在售商品数：统计周期内，处于上架在售状态的商品ID数；
- 动销商品数：统计周期内，成功支付的商品ID数；
- 商品支付件数：统计周期内，成功支付的商品件数；
- 商品支付金额：统计周期内，成功支付的商品总金额；
- 商品PV：统计周期内，商品的浏览次数；
- 商品转化率：统计周期内，商品支付件数占商品PV的百分比；
- 动销率：统计周期内，动销商品数占在售商品数的百分比。
（5）交易分析
交易分析最能呈现出一个电商平台的市场竞争力，直观展示平台的营收能力、交易活跃度；分析时需重点关注核心业绩（交易额、支付用户、订单量）；核心指标如下：
- GMV（交易额）：统计周期内，所有用户下达并成功支付金额（=注册用户*转化率*客单价）；
- 支付用户数：统计周期内，成功支付的用户数（去重）；
- 支付订单数：统计周期内，成功支付的订单数；
- 客单价：统计周期内，支付用户平均每单的金额；
- 支付件数：统计周期内，成功支付的商品件数；
- 实发件数：统计周期内，实际发货的商品件数；
- 实发金额：统计周期内，实际发货的商品金额；
- 完成订单数：统计周期内，用户订单状态为“已完成”的订单数；
- 完成金额：统计周期内，用户订单状态为“已完成”的金额；
- 完成人数：统计周期内，用户订单状态为“已完成”的支付用户数；
- 完成件数：统计周期内，用户订单状态为“已完成”的商品件数；
- 申请退款件数：统计周期内，售后申请退款的商品件数；
- 申请退款金额：统计周期内，售后申请退款的商品总金额；
- 退款审核通过件数：统计周期内，审核通过售后申请退款的商品件数；
- 退款审核通过金额：统计周期内，审核通过售后申请退款的商品总金额；
- 成功退款件数：统计周期内，成功退款的商品件数；
- 成功退款金额：统计周期内，成功退款的商品总金额。
