51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
全部课程 厂商认证 IT技术 24年11月软考 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
# 大数据
atlas 初体验

atlas 初体验

atlas是由apache开源的数据血缘解析平台 布拉布拉2020-08-27T06:11:21,978 ERROR [3cf21166-5613-4313-a607-d6b77d305

atlas
数据血缘
字段血缘
spark sql血缘
hive sql血缘
原创 2022-08-05 10:21:40 398 阅读
hera源码剖析：项目启动之分布式锁

hera源码剖析：项目启动之分布式锁

文章目录前言获取当前机器ip分布式锁知识点总结master服务work服务work连接master前言本文章中有这样一部分代码 static { host

hera
分布式锁
hera任务调度
赫拉任务调度
初始化
原创 2022-08-05 10:20:48 67 阅读

使用java在aliyun/aws创建E-MapReduce (emr)集群

背景在上个公司，我的 hera 任务调度系统是运行在本地 cdh 机器上的，并没有使用 aws/aliyun

emr集群创建
java创建emr集群
E-MapReduce
amazon/aliyun emr
aws
原创 2022-08-05 10:19:39 65 阅读
hive访问不在同一集群的hbase表数据

hive访问不在同一集群的hbase表数据

最近有个需求，有一些数据会实时写入到 hbase，但是又需要在 hive 中计算这些数据，最后把

hbase映射表
hive访问hbase数据
hive location
hive
hadoop
原创 2022-08-05 10:18:41 157 阅读
Flink实战之StreamingFileSink如何写数据到其它HA的Hadoop集群

Flink实战之StreamingFileSink如何写数据到其它HA的Hadoop集群

前言我们公司使用的集群都是 EMR 集群，于是就分别创建了一个 flink 集群专门用户实时计算，一

flink实战
flinkHA集群
hadoop集群
StreamingFileSink
hdfs
原创 2022-08-05 10:18:26 144 阅读
presto sql输入表、输入字段、limit、join操作解析

presto sql输入表、输入字段、limit、join操作解析

前言一段时间没有写文章了，写下最近做的事情。目前我们这边有一个metabase 查询平台供运营、分析解析工具...

presto
数据血缘
sql 血缘解析
spark sql
hive sql
原创 2022-08-05 10:17:59 814 阅读
记一次大数据跨区域流量排查及修复

记一次大数据跨区域流量排查及修复

最近公司在降成本，发现了欧州、美国区两个区每天存在 300$ 的跨区流量费用，经过运维同学定位

跨区流量
s3
emr
任务调度
hive元数据
原创 2022-08-05 10:17:14 255 阅读
spark sql 数据倾斜案例实操

spark sql 数据倾斜案例实操

最近数仓同学有个离线任务跑不动了，问题是总是出现MetadataFetchFailedException 的异常，最后导

spark
数据倾斜
spark sql 采样
执行计划
数据
原创 2022-08-05 10:17:02 181 阅读
深入剖析 Delta Lake: MySQL CDC 实战

深入剖析 Delta Lake: MySQL CDC 实战

前言在初建大数据平台时，我想大家都遇到过这样一个需求，mysql 的数据如何同步到 hdfs 中供数

mysql cdc
delta lake
数据同步
数据湖
mysql同步
原创 2022-08-05 10:15:58 464 阅读
spark剖析：spark读取parquet文件会有多少个task

spark剖析：spark读取parquet文件会有多少个task

前言做大数据开发的肯定都知道小文件的弊端读取阶段：spark在读取文件时会根据文件的数

spark
parquet
小文件
spark小文件
hive
原创 2022-08-05 10:15:45 1666 阅读
数据准备之日志采集发展历程

数据准备之日志采集发展历程

大家都听说过大数据计算，可能大家没想过大数据计算的数据来源自哪里呢？是怎么被抽取到数据

大数据
日志采集
日志集成
flink
数据
原创 2022-08-05 10:15:22 239 阅读

Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯