项目背景

上海宏原信息科技有限公司成立于2013年,致力于帮助品牌建立大数据时代营销模式。宏原基于跨平台的大数据连接,洞察消费者决策旅程,为品牌主提供包括:营销策略制定、活动效果评估、touchpoint规划、营销效果转化等服务和产品。

宏原作为大数据营销创业公司,对营销洞察有着自己独特的营销分析模型和独特算法。但是对于大数据基础软件的开放和运用并不是强项,选择存储处理能力较强的数据平台,可以解决在数据平台相关项目上的人才招聘、培养等问题,节省成本,将更多的精力投入自己擅长的营销数据挖掘和应用中。


项目需求

宏原科技专注营销智能化分析,凭借营销经验,将消费者数据进行分析和挖掘,继而进行消费洞察等数据应用。

宏原拥有海量数据,这其中大量来自淘宝等电商渠道的图、表等非结构化数据占据了很大比例,对海量结构复杂的数据的存储和处理是数据应用的基础,选择一个强有力的数据平台,将数据进行最优化的处理,才能支撑在此之上进行的所有数据应用、数据挖掘。

随着公司数据量的不断增加,以较低的成本进行数据平台扩容,以及扩容的便捷性,被提上日程,同时,营销洞察对数据处理的速度提出了较高的要求。


大数据平台选型

宏原自身建有数据库存储数据,最初只涉及医药品类,产品品类较少,数据量在一定范围内,自身的数据库尚可以满足。随着公司涉足服装等产品,品类越来越多,数据量激增,原有的数据库无法处理大量级数据,在存储和处理上都出现了相应的问题。

宏原之前采用MongoDB软件,处理几万条数据需要的时间是10秒。而随着公司的不断进阶、发展,公司的数据量也不断增长、逐渐变得更为庞大,数据库对于数据处理的速度已经无法满足需求。

电商在国内发展飞速,数据增长的速度惊人,数据库扩容和维护的便捷性,都是宏原关注的重点。综合考虑之后宏原选择和星环科技牵手,采用TDH大数据平台,非常便捷的将数据迁移至TDH平台,处理大量结构化、半结构化、非结构数据,TDH平台具备线性扩容的特性,分布式处理的架构使得计算速度大大提升。星环在国内的研发团队可以为宏原提供强有力的技术支持,大大降低宏原组建基础软件研发的人力成本和资金成本。


数据平台建设效果及数据应用

1、提升数据处理效率

宏原通过AMP人群管理平台,完成数据获取,获取来的数据存入TDH平台,进行存储和计算。TDH平台将结构化、半结构化、非结构化数据进行分布式存储,平均处理五亿条数据所花的时间为2秒,效率大大提升。

2、便于快速查询、线性扩容

TDH组件Hyperbase提供JDBC/ODBC接口,支持SQL直接操作,通过利用星环TDH平台的Hyperbase组件,程序员完全可以按照传统数据库方式进行代码编写,并且无论是从key,还是从属性列,都可以进行快速查询。分布式的存储和计算没有复杂的关系模型,可以拆分,也方便进行线性扩容。

3、基于大数据平台上的营销洞察

在大数据平台基础之上,宏源利用自己的计算模型进行营销洞察,基于TDH的数据存储和计算框架,可以实现全数据的快速扫描和统计,为数据应用提供了必要的后台支撑。

以女性服装消费品为例,在数百万的商品详情属性,和上千万的电商评论、人群的属性中,通过宏原科技的系统可以抓取800万条女装评论数据,TOP75% 卖家销量及商品详情数据,根据算法模型可以知道女神都在关注什么、女神都有哪些类型、女神们是如何评论服装的。通过结合场景,天气,感官,质感等多维度的关联分析,宏源科技可以更为准确地把握女神们对着装的不同要求,从而帮助品牌厂家设计新的服装或制定新的营销效果。将数据应用落实到行动指导上。

4、数据挖掘与应用分析

基于品牌的特点选择有ID体系的真实用户,进行数据挖掘与分析洞察消费者,新浪微博,天猫评论和垂直户外社区的互动数据是户外品牌的主要数据来源。将这些数据进行计算和归类分析,洞察消费诉求、消费偏好、消费场景、社交关系等,将结果与阿里巴巴数据平台的上人群标签进行匹配,找到最有可能购买产品的消费人群,不同特征的人群投放针对消费者特征和消费场景的个性化广告内容。