机器学习平台和大数据平台没有硬性的关系,比如很多同业在没有大数据平台之前就借助 SAS 、 SPSS 等建模工作进行建模,且在相关领域也取得了不错的成绩,比如评分卡等。在我们看来大数据平台和 SAS 等传统的建模平台有以下差别:
但是由于近期银行在大数据方面发力迅猛,对在银行业的建模(机器学习)的影响较大,主要方面有三:
一是大数据平台为机器学习平台提供了大数据支撑。好的模型是通过数据不断的分析、迭代、优化出来的,大数据平台的海量数据为模型的探索提供了丰富的原材料;
二是大数据平台上的 KAFKA 等实时数据工具为机器学习平台提供了实时数据以及实时场景,比如在线推荐、反欺诈、实施风控等场景;
三是大数据平台为机器学习提供强大的算力以及处理能力。大数据采用 SPARK 方式等分布式的机器学习算法较 SAS 等单机版的计算性能有较大的提升,使得计算能力更加强大。且大数据平台更易于图数据库结合,应用图算法将某些场景下的机器学习能力提升。
从以上情况看来机器学习平台是大数据的一个重要的发力点,模型比传统的业务系统有更强的场景驱动性,业务穿透性更强。建设机器学习平台有可能是银行整体规划,也有可能是偶然性的项目需求中提出的。但建议银行可以尽早的了解学习此类平台、技术和算法等,建立人才储备和项目管理(建模类)机制,应对未来的业务需求和项目风险。
银行如何引入机器学习平台?情况大多是科技部驱动,较项目驱动比例略低。比如审计、分析平台、营销类、风控类项目都可能包含机器学习平台的引入,主要看业务需求是否能由传统方式实现。
常用的机器学习算法都可能用到,比如分类,聚类,关联,也会用到深度学习和图算法等。应用场景见下表:
结合以上的场景分析,希望给大家同行在机器学习领域的场景研究提供参考。