数据仓库与数据库区别

  • 数据库：主要面向OLTP服务
  • 数据仓库：主要面向OLAP服务
  • OLTP：
  • 联机事务处理，用来实时记录交易信息。
  • 快速返回响应信息，毫秒级
  • 倾向于业务
  • OLAP：
  • 联机及分析处理，用来分析查询所存数据。
  • 一般系统按天、周、月生成报表。
  • OLAP属于商业智能范畴，数据需要研究、处理、分析，驱动商业决策
  • 倾向于分析
  • CAP原则
    指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），三者不可得兼
  • ETL
    ETL工程师
    用来描述将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。
    爬虫、数据的算法（清洗、转换）、ETL工具

HIVE的优点及缺点

HIVE的优点
  • HIVE
    定位是数据仓库，偏向数据分析和计算方向。
    计算引擎mapreduce只是其中之一。
    计算引擎spark
  • 高可靠、高容错
  • HIVE Sever采用:主备模式
    有主有从。当主机挂掉，备机马上启动。即【高可用】单点故障。
  • 双MetaStore
  • 超时重试
  • 类SQL
  • 类似SQL语法
  • 内置大量函数
  • 可扩展
  • 自定义存储格式
  • 自定义函数（UDF/UDAF/UDTF）
  • 多接口
  • Beeline,JDBC,Thrift,Python,Rest
HIVE的缺点
  • 延迟较高
  • 默认为M/R为执行引擎，启动有延迟
  • 不支持物理化视图
  • 不能在视图上更新、插入、删除
  • 不适用OLTP
  • 暂不支持列级别添加、更新、删除
  • 暂不支持存储过程
  • 当前版本不支持存储过程，只能听哦那个过UDF实现一些逻辑处理

UDF(不影响条数)，UDAF(会让条数减少)，UDTF(会让调试增加)

HIVE的应用场景

  • 数据挖掘
  • 用户行为分析
  • 兴趣分区
  • 区域展示
  • 非实时分析
  • 日志分析
  • 文本分析
  • 数据汇总
  • 每天/周用户点击情况
  • 流量统计
  • 作为数据仓库
  • 数据抽取
  • 数据加载
  • 数据转换