背景目前项目在移动端上，首推使用微信小程序。各项目的小程序访问数据有必要进行采集入库，方便后续做统计分析。虽然阿拉丁后台也提供了趋势分析等功能，但在众多的个小程序情况下一个个查找获取数据然后做数据分析也是很痛苦的一件事情。通过将数据转换成sql持久化到数据库上，为后面的数据分析和展示提供了基础。实现思路阿拉丁产品分开放平台和统计平台两个产品线，目前开放平台有api及配套的文档http://doc.
需求背景业务系统将各类的报表和统计数据存放于ES中，由于历史原因，系统每天均以全量方式进行统计，随着时间的推移，ES的数据存储空间压力巨大。同时由于没有规划好es的索引使用，个别索引甚至出现超过最大文档数限制的问题，因此我们需要最小的代价来解决这个问题。下面以内网开发、测试环境举例使用python脚本解决这个问题。EachElasticsearchshardisaLuceneindex.There
Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号
