浪尖聊大数据的博客

OLAP 技术选型：对什么进行选型?

数据模型、存储格式与数据处理架构；

数据

数据处理

json

原创点赞0 阅读10000+ 收藏0 评论0 2021-12-14

基于 ElasticSearch 实现站内全文搜索

elasticsearch

spring

analyzer

转载点赞0 阅读10000+ 收藏0 评论0 2021-12-14

基于MySQL和DynamoDB的强一致性分布式事务实践

本文我们将深入探讨 Freewheel 如何实现无单点故障的可扩展分布式事务实现模型。

分布式事务

回滚

数据源

转载点赞0 阅读10000+ 收藏0 评论0 2021-12-14

Flink 在伴鱼的实践：如何保障数据的准确性

随着伴鱼业务的快速发展，离线数据日渐无法满足运营同学的需求，数据的实时性要求越来越高。

数据

flink

缓存

转载点赞0 阅读10000+ 收藏0 评论0 2021-12-14

吐血整理：常用的大数据采集工具，你不可不知

大数据的来源多种多样，在大数据时代背景下，如何从大数据中采集出有用的信息是大数据发展的最关键因素。

数据

数据采集

apache

原创点赞0 阅读10000+ 收藏0 评论0 2021-12-14

Flink 在广告业务的实践

一、业务场景实时数据在广告业务的使用场景主要可以分为四个方面：数据大屏：包括曝光、点击、收入等核心指标的展示，以及故障率等监控指标；异常监测：因为广告投放的链路比较⻓，所以如果链路上发生任何波动的话，都会对整体的投放效果产生影响。除此之外，各个团队在上线过程中是否会对整体投放产生影响，都是通过异常监测系统能够观测到的。我们还能够观测业务指标走势是否合理，比如在库存正常的情况下，曝光是否有不同的波动

数据

离线

flink

转载点赞0 阅读10000+ 收藏0 评论0 2021-12-14

Hive SQL优化思路

Hive的优化主要分为：配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL优

数据倾斜

hive

子查询

转载点赞0 阅读10000+ 收藏0 评论0 2021-12-14

实时数仓不保障时效还玩个毛？

❝我要更快、更快更快！！！❞

数据

数据源

flink

转载点赞0 阅读10000+ 收藏0 评论0 2021-12-14

实战 | flink sql 与微博热搜的碰撞！！！

❝flink sql 与微博热搜的碰撞????❞

数据

flink

sql

转载点赞0 阅读10000+ 收藏0 评论0 2021-12-14

聊聊维度建模的灵魂所在——维度表设计

灵魂所在，不骗你 ...

类目

数据

数据集市

转载点赞0 阅读10000+ 收藏0 评论0 2021-12-14

标签类目体系设计方法论

标签类目体系的设计方法

类目

数据

属性值

转载点赞0 阅读10000+ 收藏0 评论0 2021-12-14

Hive 拉链表实践

代码实践，基于 Greenplum vs Hive 设计实现

数据

链表

加载

转载点赞0 阅读10000+ 收藏0 评论0 2021-12-14

5 款强大的 JVM 性能调优监控工具，挺香

希望能起抛砖引玉之用

java

sed

ubuntu

转载点赞0 阅读10000+ 收藏0 评论0 2021-12-14

老板要我开发一个简单的工作流引擎

子节点

表单

嵌套

转载点赞0 阅读10000+ 收藏0 评论0 2021-12-14

PB 级数据即席查询基于 Flink 的实践

Threat Hunting 平台的架构与设计，及以降低 IO 为目标的优化与探索。为什么以及如何使用块索引。

数据

字段

数据库

转载点赞0 阅读10000+ 收藏0 评论0 2021-12-14

kafka存储结构以及Log清理机制

本文主要聚焦 kafka 的日志存储以及日志清理相关。日志存储结构首先我们来看一张 kafak 的存储结构图

日志文件

kafka

偏移量

转载点赞0 阅读78 收藏0 评论0 2021-12-14

阿里巴巴数据中台12年建设与实践

复盘

数据

大数据

数据质量

转载点赞0 阅读99 收藏0 评论0 2021-12-14

谈谈ClickHouse性能情况以及相关优化

数据

服务器

sql

转载点赞0 阅读332 收藏0 评论0 2021-12-14

4W字全面解读数据中台、数据仓库和数据湖

从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵进行系统的解析。

数据

数据仓库

数据库

转载点赞0 阅读53 收藏0 评论0 2021-12-14

数据仓库体系建模&实施&注意事项小总结

什么是数仓从字面上来看，数据仓库就是一个存放数据的仓库，它里面存放了各种各样的数据，而这些数据需要按照一些结

数据

字段

表名

原创点赞0 阅读29 收藏0 评论0 2021-12-14

关于数仓建设及数据治理的超全概括

万字长文

数据

数据仓库

建模

转载点赞0 阅读36 收藏0 评论0 2021-12-14

一文概览数据仓库知识和面试

1、什么是数据仓库？权威定义：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持

数据

数据仓库

元数据

原创点赞0 阅读90 收藏0 评论0 2021-12-14

基于数据中台的数据治理解决方案

数据治理人需要有一双狼一样的眼睛！

数据

数据质量

元数据

转载点赞0 阅读170 收藏0 评论0 2021-12-14

Java 性能优化的 50 个细节（珍藏版）

数组

java

缓存

转载点赞0 阅读5 收藏0 评论0 2021-12-14

维度建模技术实践——深入事实表

大家好，我是云祁！前面我们聊过了维度建模的灵魂所在——维度表设计，今天就深入学习下维度建模的核心——事实表。

建模

数据

大数据时代

转载点赞0 阅读60 收藏0 评论0 2021-12-14

数据指标体系建设方法

数据数据是指未经过处理的原始记录。数据的本质是利用数学观察、记录、理解世界；数据分析的过程就是人类从定

数据

创业公司

商业模式

转载点赞0 阅读97 收藏0 评论0 2021-12-14

Apache Spark 完全替代传统数仓的技术挑战及实践

eBay 是如何基于开源的 Spark 和 Hadoop 如何替换传统数据仓库？

spark

sql

hdfs

转载点赞0 阅读48 收藏0 评论0 2021-12-14

美团商品知识图谱的构建及应用

相比深度学习，知识图谱中的知识可以沉淀，具有较强的可解释性，与人类的思考更加贴近，为隐式的深度模型补充了人类的知识积累，和深度学习互为补充。因此，全球的互联网公司都在积极布局知识图谱。

数据

类目

建模

转载点赞0 阅读81 收藏0 评论0 2021-12-14

数据

线性模型

重排序

转载点赞0 阅读154 收藏0 评论0 2021-12-14

蜀海供应链数仓平台建设实践

导读：随着蜀海供应链业务的发展，供应链中各个环节角色的工作人员利用数据对业务进行增长分析的需求越来越迫切。在过去大数据分析平台架构1.0的实践中，存在数据生产链路太长，架构太复杂，开发运维成本都很高，之前的团队对这个架构的驾驭能力不足，数据冗余，对业务的适应能力较弱和不能快速的响应业务各种数据需求等诸多问题，基于这种问题，我们通过引入Apache Doris引擎优化生产方案，实现蜀海供应链大数据数

数据

flink

kafka

转载点赞0 阅读75 收藏0 评论0 2021-12-14

官方博客	意见反馈	了解我们	全部文章
在线客服	网站地图	热门标签

51CTO博客

mb60bdd0d5e6334的博客

OLAP 技术选型：对什么进行选型?

基于 ElasticSearch 实现站内全文搜索

基于MySQL和DynamoDB的强一致性分布式事务实践

Flink 在伴鱼的实践：如何保障数据的准确性

吐血整理：常用的大数据采集工具，你不可不知

Flink 在广告业务的实践

Hive SQL优化思路

实时数仓不保障时效还玩个毛？

实战 | flink sql 与微博热搜的碰撞！！！

聊聊维度建模的灵魂所在——维度表设计

标签类目体系设计方法论

Hive 拉链表实践

5 款强大的 JVM 性能调优监控工具，挺香

老板要我开发一个简单的工作流引擎

PB 级数据即席查询基于 Flink 的实践

kafka存储结构以及Log清理机制

阿里巴巴数据中台12年建设与实践

谈谈ClickHouse性能情况以及相关优化

4W字全面解读数据中台、数据仓库和数据湖

数据仓库体系建模&实施&注意事项小总结

关于数仓建设及数据治理的超全概括

一文概览数据仓库知识和面试

基于数据中台的数据治理解决方案

Java 性能优化的 50 个细节（珍藏版）

维度建模技术实践——深入事实表

数据指标体系建设方法

Apache Spark 完全替代传统数仓的技术挑战及实践

美团商品知识图谱的构建及应用

美团技术团队博客：推荐算法实践

蜀海供应链数仓平台建设实践