0、前言Hadoop生态圈的技术繁多，HDFS一直用来保存底层数据，地位牢固。Hbase作为一款Nosql也是Hadoop生态圈的核心组件，它海量的存储能力，优秀的随机读写能力，能够处理一些HDFS不足的地方。Apache Kudu是Cloudera Manager公司16年发布的新型分布式存储系统，结合CDH和Impala使用可以同时解决随机读写和sql化数据分析的问题。分别弥补HDFS静态存储
转载
2023-10-25 23:16:02
124阅读
一、简介redis是一种NoSQL数据库。NoSql数据的共同特点是去掉关系型数据的关系型特点。数据之间没有关系，这样就非常容易扩展。也无形之间，在架构层面上带来了可扩展的能力。[官网][https://redis.io/documentation]RDBMSNosql结构化查询语言没有声明查询语言数据和关系都存储在单独的表中键值对存储、列存储、文档存储、图形数据库严格一致性最终一致性、高性能、高
转载
2024-10-16 09:43:15
11阅读
# 比较 Hadoop 和 ClickHouse：哪个更适合你的需求？
在大数据处理的领域，有很多工具可以选择。在这篇文章中，我们将探讨 Hadoop 和 ClickHouse 的优缺点，帮助你决定使用哪一个。我们将通过一系列的步骤来实现这一点，并且要借助代码、图表等形式帮助你理解。
## 评估流程
下面是评估 Hadoop 和 ClickHouse 的总体流程：
| 步骤 |
原创
2024-10-19 07:02:04
17阅读
翻译自官网文档：https://clickhouse.tech/docs/en/engines/table-engines/integrations/hdfs/ 文章目录用法实现细节通配符举例配置配置选项kerberos支持 Clickhouse通过HDFS引擎可以实现对HDFS上数据的管理，从而实现了与Apache Hadoop生态圈的集成。该引擎和File以及URL类型的引擎十分相似，不同之处
转载
2023-11-08 15:55:16
144阅读
MongoDB 和 Redis 都是流行的 NoSQL 数据库系统，但它们的应用场景和特点不同，主要体现在以下几个方面：1.数据类型：MongoDB 是面向文档的数据库系统，支持复杂的数据类型，如嵌套文档、数组等；Redis 则是一个基于内存的键值数据库系统，支持字符串、哈希表、列表、集合等简单数据类型。2.数据持久化：MongoDB 支持多种数据持久化方式，包括内存映射文件、复制和分片等技术；R
转载
2023-06-01 18:26:52
187阅读
redis总结为什么选择使用redis传统的关系型数据库如mysql已经不能适用所有的场景，比如秒杀的库存扣减，很容易把数据库打崩，所以需要引入缓存中间件，目前市面上比较常用的缓存中间件有redis和memcached，考虑优缺点，选择了redis。redis有哪些数据结构，以及应用场景string：这是最简单的类型，就是普通的 set 和 get，做简单的 KV 缓存。计数器。共享用户Sessi
转载
2023-08-01 15:25:08
20阅读
背景从本章开始，在没有特殊说明的情况下，文章中的MQTT版本均为 3.1.1。MQTT 的发展历史在物联网中，开源和开放标准是基本的要素。MQTT 的发展历史大致如下：1999 年，IBM 和合作伙伴共同发明了 MQTT 协议。2004 年， MQTT.org 开放了论坛，供大家广泛参与。2011 年，IBM 建立了 Eclipse 开源项目 Paho ，并贡献了代码。Eclipse Paho 是
环境信息Docker是什么？Docker就是一个平台，这个平台具备开发、发布和运行应用程序的功能，在项目生命周期中，我们可以运用Docker实现快速交付、测试和部署。Docker通过将运行环境打包成一个镜像，就可以在安装了Docker的任意平台上运行（一次构建，到处运行）。安装Dockercentos版本推荐7以上，centos6安装docker比较麻烦。如果以前安装过docker，需要先清理：s
之前使用数据库较多的是mysql，其次是redis和mongo。应对数据量较大的情况时：对mysql做了分区存储。mysql在常规情况下的存储量级是：2000万。但是当数据量越来越大的情况下，效率也会相应降低。场景：从es获取了应用日志，入库后分析。首先用开源框架“达芬奇”将入库后的数据进行展示，默认展示7天，一张表大概12万数据量，整表数据量大概60万。表结构不算复杂、大数据量导致慢sql，达芬
转载
2023-07-29 19:26:09
328阅读
前言 对于分布式使用Nginx+Tomcat实现负载均衡，最常用的均衡算法有IP_Hash、轮训、根据权重、随机等。不管对于哪一种负载均衡算法，由于Nginx对不同的请求分发到某一个Tomcat，Tomcat在运行的时候分别是不同的容器里，因此会出现session不同步或者丢失的问题。 实际上实现Session共享的方案很多，其中一种常用的就是使用Tomcat、Jetty等服务器提供的Sessi
转载
2024-05-31 12:07:37
27阅读
MongoDB和Redis都是NoSQL，采用结构型数据存储。二者在使用场景中，存在一定的区别，这也主要由于二者在内存映射的处理过程，持久化的处理方法不同。MongoDB建议集群部署，更多的考虑到集群方案，Redis更偏重于进程顺序写入，虽然支持集群，也仅限于主-从模式。 指标 MongoDB(v2.4.9) Redis(v2.4.17) 比较
转载
2023-07-03 17:05:24
83阅读
mongodb和memcached不是一个范畴内的东西。mongodb是文档型的非关系型数据库，其优势在于查询功能比较强大，能存储海量数据。mongodb和memcached不存在谁替换谁的问题。
和memcached更为接近的是redis。它们都是内存型数据库，数据保存在内存中，通过tcp直接存取，优势是速度快，并发高，缺点是数据类型有限，查询功能不
转载
2023-06-13 23:14:14
188阅读
本身应用场景不同，自然无法直接对比优势劣势。 从效率来说： Redis的数据存放在内存，所以速度快但是会受到内存空间限制。MySQL存放在硬盘，在速度上肯定没有Redis快，但是存放的数据量要多的多。从功能来说： Redis是一个K-V数据库，同时还支持List/Hash/Set/Sorted Set等几个简单数据结构，所以只能以这些数据结构为基础实现功能。而MySQL这点就不必说了。最后需要提到
转载
2023-07-05 16:52:26
119阅读
一、什么是Redisson1.Redisson是架设在Redis基础上的一个Java驻内存数据网格(In-Memory Data Grid)，它实现了分布式和可扩展的Java数据结构。2.它不仅提供了一系列的分布式的Java常用对象，还实现了可重入锁（Reentrant Lock）、公平锁（Fair Lock）、联锁（MultiLock）、红锁（RedLock）、 读写锁（ReadWriteLoc
转载
2023-08-30 08:51:02
59阅读
和传统的关系型数据库不同，NoSQL大部分都是以键值对存储在内存中的，我们不能直接把RDBMS里面的一些做法直接移植到NoSQL中来，一个最主要的原因是，在NoSQL中缺少RDBMS中的一些诸如join ,union以及一些在关系型数据库中效率很高的执行语句，这些在NoSQL不能很好的支持，或者说效率低。 下文首先通过例子介绍在SQLServer中设计一个DB系统以及与NoSQL环境中设计一个D
转载
2024-06-10 12:10:55
42阅读
ClickHouse到底牛逼在哪里？为什么比MySQL快831倍！这两年 ClickHouse 非常的火，尤其是在大数据领域。刚好这两天也有群友在群里说起 ClickHouse，这款来自俄罗斯 Yandex 的开源数据库产品性能屌爆了，宣称比 MySQL 快 831 倍。今天我们就扯一扯 ClickHouse 到底好在哪里？Yandex在开始之前，我们先说一下 Yandex 这家公司，他是俄罗斯的
转载
2023-11-20 08:48:16
3阅读
简介ClickHouse是一个面向联机分析处理(OLAP)的开源的面向列式存储的DBMS，简称CK, 与Hadoop, Spark相比，ClickHouse很轻量级,由俄罗斯第一大搜索引擎Yandex于2016年6月发布, 开发语言为C++官网： https://clickhouse.tech/ClickHouse的特点开源的列存储数据库管理系统，支持线性扩展，简单方便，高可靠性，容错跑
转载
2024-01-12 06:27:35
240阅读
业务需求的升级和数据量的增长推动着技术的升级变革和创新。当下会员标签数据也正在从最初的Mysql关系型数据库迁移到ES。以满足更高数据量下业务方对查询性能和数据分析的要求。目前来看，ES能完美解决当下数量级的查询及分析聚合要求，但是ES的数据量上到十亿级别，性能还是有所退化，查询速度就显得捉襟见肘。用户是最不喜欢等待的，超过1秒的等待都是不太好的用户体验。我在以往的工作中，有过使用Hadoop全家
转载
2023-12-10 14:03:29
82阅读
1、关于Apache IgniteApache Ignite是一个以内存为中心的分布式数据库、缓存和处理平台，支持事务、分析以及流式负载，可以在PB级数据上享有内存级的性能。比传统的基于磁盘或闪存的技术具有更高的性能，同时他还为应用和不同的数据源之间提供高性能、分布式内存中数据组织管理的功能。Apache Ignite允许用户将常用的热数据储存在内存中，它支持分片和复制两种方式，让开发者可以均匀地
转载
2023-10-12 20:20:19
93阅读
# Redis和H2的比较
在选择数据库时，了解不同数据库的特性对于开发者至关重要。Redis和H2作为两种常见的数据存储方案，各有其优缺点。本文将通过一个简单的流程帮助你理解如何比较这两者，并帮助你决定哪个更适合你的项目。
## 流程概述
以下是比较Redis和H2的流程概述：
| 步骤 | 任务 | 代码示例
原创
2024-09-07 04:50:08
121阅读
