余额宝目前储存有大量的数据,那么如何处理、储存和利用这些数据是需要解决的问题,同时还要保证数据的安全性
数据来源于业务数据、日志数据和其他数据
采用分布式的数据储存:
后台的数据储存系统可以分为两部分,一部分解决实时查询,另一部分用于离线计算,对数据进行挖掘、分析。
外部储存的数据可以是业务数据、文件日志等,将他们导入到数据库
前端采用自主开发的数据库软件或其他可用外部工具
在他们之间通过算法的处理,如:神经网络、机器学习等增加数据调用的速度,数据的实时处理速度
- 耦合。首先计算和数据的耦合还是存在的。这实际上是对系统的扩展是不利的。另外,单个计算节点上,在业务上还是存在耦合,我们很多业务上的东西还是存在拆分的可能。
- 数据流转,我们现在数据库层面也是分布式,所以数据的抽取、同步和流转会遇到很多现实的问题。
- 运维。在运维方面除了遇到的传统分布式系统的运维遇到的一些难题之外,我们还在业务层面的运维也会遇到一些现实问题。
按照业务分类储存数据,建立分布式的储存系统
批量计算:RDS 集群
分析型、挖掘类需求可采用列存数据库
保证系统数据的安全行
提高数据的读写速度
对历史数据分析、挖掘
减少数据同步出现的数据冗余