项目中的数据迁移（更）

需求

  • 数据服务的需求，除了公司集群现有的业务数仓表之外，还需要用户行为数据，因为主要是风控业务，所以大数据一直在做和规则机有关的数据处理和分析，由于定位问题，所以是有将行为数据回收自己开发的想法，为了完成这次关于用户行为的数据服务需求，并且未来方便起见，将所以行为有关的events迁移到自己的集群。
  • 字段500+，数据周期：半年，数据量TB。

过程

整体过程

三方集群数据落地（脚本）到hive → 集群去三方拉取数据（hdfs底层数据） → 数据存储，结构，分析

问题

  • 三方集群性能问题
    提供API和JDBC两种方式，API方式会将impala拉取崩溃，JDBC方式繁琐并且impala性能不稳，最后使用JDBC方式。
    每次不要处理的数据量过大，1000w左右就可以，毕竟中间是有障碍。
  • 三方存储问题
    想要一次性的将所有数据落地然后一次性迁移，但是三方存储不足，如果将全部数据重新落地，耗费太多的硬盘，所以是十天一个周期进行迁移，实际操作就是脚本操作，考虑到如果一次拉取全部数据我们集群的spark也会耗费大量资源。
    所以在三方集群落地时候脚本就是一天一张表，我们拉取也是一张表进行拉取做date循环。
  • 格式转换问题，由于落地到hdfs的原始数据，所以很多数据会出错，比如list会变成string，在拉取的过程中会和 \N 这种混在一起，就会出现对不齐的情况，最后数据就会出错。
    所以在落地的时候提前进行数据探查，因为desc看不到具体类型，只有string，所以必须自己探查，最后将list处理为string就可以。