Spark+CarbonData也是数据仓库可以借鉴的模型~
转载 2021-07-23 17:43:21
367阅读
CarbonData简介CarbonData是一种新型的Apache Hadoop本地文件格式,使用先进的列式存储、索引、压缩和编码技术,以提高计算效率,有助于加速超过PB数量级的数据查询,可用于更快的交互查询。同时,CarbonData也是一种将数据源与Spark集成的高性能分析引擎。图1 CarbonData基本架构  使用CarbonData的目的是对大数据即席查询提供超
CarbonData http://carbondata.apache.org/ Apache顶级项目CarbonData应用实践与2.0新技术规划介绍_搜狐科技_搜狐网 https://www.sohu.com/a/193921606_470008
转载 2018-07-16 09:19:00
30阅读
2评论
本节将介绍如何在 Spark on YARN 模式的集群上安装和配置 CarbonDatacarbondata1.5.1的编译可以看上一篇版本:spark2.3.1,carbondata1.5.1前置条件Hadoop HDFS 和 Yarn 需要安装和运行。 Spark 需要在所有的集群节点上安装并且运行。 CarbonData 用户需要有权限访问 HDFS.以下步骤仅针对于 ...
原创 2021-08-16 15:11:46
684阅读
前言CarbonData已经发布了1.0版本,变更还是很快的,这个版本已经移除了kettle了,使得部署和使用 变得很
原创 2023-04-06 16:23:50
57阅读
使用案例 CarbonData在各种分析工作中都很有用。这里记录了CarbonData被使用的一些最典型的使用情况。 CarbonData用于但不限于以下方面 银行 o 欺诈检测分析 o 风险状况分析 o 作为一个拉链表来更新客户的每日余额 电信 o 检测VIP客户的信号异常以提供更好的客户体验 o ...
转载 2021-09-17 14:20:00
327阅读
2评论
点击上方蓝色字体,选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注,大数据开发领域最强公众号!大数据真好玩点击右侧关注,大数据真好玩!当前无论是传统企业还是互联网公司...
转载 2021-06-10 20:23:23
284阅读
点击上方蓝色字体,选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注,大数据开发领域最强公众号!大数据真好玩点击右侧关注,大数据真好玩!当前无论是传统企业还是互联网公司...
转载 2021-06-10 20:23:22
159阅读
作者:陈亮,Apache CarbonData项目 PMC Chairman,技术CommitterCarbonData是一种高性能大数据存储方案,已在100+企业生产环境上部署应用,其中最大的单一集群数据规模达到几万亿。针对当前大数据领域分析场景需求各异而导致的存储冗余问题,业务驱动下的数据分析灵活性要求越来越高,CarbonData提供了一种新的融合数据存储方案,以一份数据同时支持多种应用场景
原创 2021-03-29 09:03:05
418阅读
CarbonData 在 Apache Spark 和存储系统之间起到中介服务的作用,为 Spark 提供的4个重要功能。
前言CarbonData 拥有不错的明细查询能力,比如简单的where条件过滤,性
原创 2023-03-15 07:06:56
100阅读
What is CarbonData? Apache CarbonData is an indexed columnar data format for fast analytics on big data platform, e.g. Apache Hadoop, Apache Spark, etc. 因为我的spark是2.3.1的版本,而最新版的carbondata1.5.1才支持,但是官网
原创 2021-08-16 14:51:40
104阅读
官方提供了一个快速上手的 Quick-Start ,不过是采用spark-shell local模式的出,Carbon...
原创 2023-03-17 19:58:53
30阅读
CarbonData Learning Materials1. introductionApache CarbonDat.1 官网: http:...
原创 2023-01-04 11:06:27
54阅读
CarbonData 是什么引用官方的说法:Apache CarbonData是一种新的高性能数据存储格式,针对当前大数据领域分析场景需求各
原创 2023-04-30 06:40:39
63阅读
【摘要】 在Spark SQL中使用CarbonData【准备CarbonData】在浏览器地址栏输入以下链接,点击"download"按钮下载已经准备好的CarbonData jar包链接:https://github.com/QiangCai/carbonjars/blob/master/master/apache-carbondata-2.1.0-SNAPSHOT-bin-spark2.4.
原创 2021-05-26 11:33:57
450阅读
作为IOT最底层的无线通信网络生成大量与位置相关的数据,用于无线通信网络规划和优化,帮助电信运营商建设更好体验的精品网络,构建万物互联的信息社会。
原创 2021-11-25 10:41:58
604阅读
1点赞
CarbonData是一种新型的Apache Hadoop本地文件格式,使用先进的列式存储、索引、压缩和编码技术,以提高计算效率,有助于加速超过PB数量级的数据查询,可用于更快的交互查询。同时,CarbonData也是一种将数据源与Spark集成的高性能分析引擎。
原创 2022-10-29 10:57:37
190阅读
1点赞
原本不知道啥时候才有时间写,没想到在等高铁的时候就顺带写了。这篇文章谈
原创 2023-03-15 07:30:55
44阅读
ApacheCarbonData1.0.0发布及其新特性介绍iteblog过往记忆大数据首先祝大家新年快乐啊。大年初二ApacheCarbonData迎来了第四个稳定版本CarbonData1.0.0。CarbonData是由华为开发、开源并支持ApacheHadoop的列式存储文件格式,支持索引、压缩以及解编码等,其目的是为了实现同一份数据达到多种需求,而且能够实现更快的交互查询。目前该项目正处
原创 2021-04-02 11:32:24
304阅读
  • 1
  • 2
  • 3
  • 4
  • 5