业务需要一种OLAP引擎，可以做到实时写入存储和查询计算功能，提供高效、稳健的实时数据服务，最终决定ClickHouse。什么是ClickHouse？ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。列式数据库更适合于OLAP场景(对于大多数查询而言，处理速度至少提高了100倍)，下面详细解释了原因(通过图片更有利于直观理解)，图片来源于ClickHouse中文官
转载
2023-07-11 17:28:51
322阅读
本篇文章主要在架构&使用上介绍ClickHouse的基本概念&基本查询，抛砖引玉，大家实践的路上多多交流。说在前头：OLAP的分类与OLAP操作OLAP的架构分类1.ROLAP：使用关系模型进行建模，数据建模通常使用星型模型或雪花模型。OLAP最初提出的时候就是建立在关系型数据库上，将多维度分析操作直接转换为SQL查询。2.MOLAP：为了缓解ROLAP的性能问题，MOLAP使用多
转载
2024-06-12 20:48:34
62阅读
最强OLAP分析引擎-Clickhouse快速精通二 ==楼兰== 文章目录四、集群机制4.1 数据副本4.2 分布式表五、配置优化六、查询优化6.1 查看执行计划6.2 clickhouse内置的语法优化规则6.3 高性能查询优化1、选择合适的表引擎2、建表时不要使用Nullable3、合适的划分分区和索引4、数据变更优化5、使用Prewhere替代where6、指定列和分区7、避免构建虚拟
转载
2024-08-21 08:56:24
488阅读
实战案例使用背景ELK作为老一代日志分析技术栈非常成熟，可以说是最为流行的大数据日志和搜索解决方案；主要设计组件及架构如下：而新一代日志监控选型如ClickHouse、StarRocks特别是近年来对ELK地位发起较大的挑战，不乏有许多的大公司如携程，快手已开始把自己的日志解决方案从 ES 迁移到了 Clickhouse，将日志从ES迁移到ClickHouse可以节省更多的服务器资源，总体运维成本
转载
2024-04-23 14:45:17
982阅读
引言ClickHouse是近年来备受关注的开源列式数据库，主要用于数据分析（OLAP）领域。目前国内社区火热，各个大厂纷纷跟进大规模使用：
今日头条 内部用ClickHouse来做用户行为分析，内部一共几千个ClickHouse节点，单集群最大1200节点，总数据量几十PB，日增原始数据300TB左右。
腾讯内部用ClickHouse做游戏数据分析，并且为之建立了一整套监控运维体系。
最近工作比较忙，多半个月没更新文章，看到这个新技术，控制不住自己，赶紧给大家分享一下
转载
2021-08-10 11:44:16
250阅读
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源欢迎点赞+收藏+转发朋友圈素质三连文章不错？点个【在看】吧！ ...
转载
2021-06-10 21:36:32
224阅读
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源欢迎点赞+收藏+转发朋友圈素质三连文章不错？点个【在看】吧！ ...
转载
2021-06-10 21:36:33
373阅读
前言
今天事情又比较多，写得言简意赅一些，看官勿怪。
Flink和ClickHouse分别是实时计算和（近实时）OLAP领域的翘楚，也是近些年非常火爆的开源框架，很多大厂都在将两者结合使用来构建各种用途的实时平台，效果很好。关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。
点击流及其维度建模
所谓点击流（click stream），就是指用户访问网站、App等W
转载
2021-08-09 15:08:35
191阅读
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜前言Flink和ClickHouse分别是实时计算和（近实时）OLAP领域的翘楚，也是近些年非常火爆的开源框架，很多大厂都在将两者...
转载
2021-10-28 10:58:05
1105阅读
前言Flink和ClickHouse分别是实时计算和（近实
转载
2021-11-19 16:42:24
10000+阅读
前言Flink和ClickHouse分别是实时计算和（近实时）OLAP领域的翘楚，也是近些年非常火爆的开源框架，很多大厂都在将两者结合使用来构建各种用途的实时平台，效果很好。关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。点击流及其维度建模所谓点击流（click stream），就是指用户访问网站、App等Web前端时在后端留下的轨迹数据，也是流量分析（traf
原创
2021-12-21 15:19:30
756阅读
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！如果你对ClickHouse不了解，请参考：《你需要懂一点ClickHouse的基础知识》《战...
转载
2021-06-10 20:24:17
454阅读
Flink和ClickHouse分别是实时计算和（近实时）OLAP领域的翘楚，也是近些年非常火爆的开源框架，很多大厂都在将两者结合使用来构建各种用途的实时平台，效果很好。关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。
转载
2021-08-09 15:08:45
267阅读
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！如果你对ClickHouse不了解，请参考：《你需要懂一点ClickHouse的基础知识》《战...
转载
2021-06-10 20:24:16
330阅读
趣头条基于Flink+ClickHouse构建实时数据分析平台王金海Flink中文社区摘要：本文由趣头条数据平台负责人王金海分享，主要介绍趣头条Flink-to-Hive小时级场景和Flink-to-ClickHouse秒级场景，内容分为以下四部分：一、业务场景与现状分析二、Flink-to-Hive小时级场景三、Flink-to-ClickHouse秒级场景四、未来发展与思考Tips：点击「阅读
原创
2021-02-05 20:57:28
1091阅读
分享嘉宾：王金海趣头条编辑整理：王彦内容来源：FlinkForwardAsia出品平台：DataFunTalk导读：趣头条一直致力于使用大数据分析指导业务发展。目前在实时化领域主要使用Flink+ClickHouse解决方案，覆盖场景包括实时数据报表、Adhoc即时查询、事件分析、漏斗分析、留存分析等精细化运营策略，整体响应80%在1秒内完成，大大提升了用户实时取数体验，推动业务更快迭代发展。本次
原创
2021-03-26 21:50:26
1282阅读
Flink-to-Hive 小时级场景和 Flink-to-ClickHouse 秒级场景详细介绍！
转载
2021-06-13 21:16:49
672阅读
爱学it学无止境MySQL中的重做日志（Redo Log）和二进制日志（Binary Log）是两种重要的日志系统，它们在数据库的事务处理、恢复和复制中扮演着关键角色。以下是它们之间的主要区别：作用：重做日志（Redo Log）主要用于保证事务的持久性和原子性。当系统发生故障时，可以使用重做日志来恢复未提交的事务更改，确保数据的完整性 。二进制日志（Binary Log）则主要用于数据的复制、恢复
原创
2024-07-31 10:42:33
106阅读
简介： 本文由趣头条数据平台负责人王金海分享，主要介绍趣头条 Flink-to-Hive 小时级场景和 Flink-to-ClickHouse 秒级场景。 作者：王金海@趣头条摘要：本文由趣头条数据平台负责人王金海分享，主要介绍趣头条 Flink-to-Hive 小时级场景和 Flink-to-Cl ...
转载
2021-10-13 15:43:00
389阅读
2评论
