最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业,估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验,与大家讨论一下Hadoop、Spark、HBase及Redis等几个主流大数据技术的使用场景(首先声明一点,本文中所指的Hadoop,是很“狭义”的Hadoop,即在
转载
2023-07-09 22:33:22
13阅读
当前已经进入大数据时代,大数据技术和产品百花齐放,在各自的应用场景发挥重要作用,Redis做为高性能的键值数据库与这些技术有着千丝万缕的联系,本文将介绍如何将Redis与Hadoop、ELK等技术进行结合。一、Redis与HadoopHadoop作为大数据时代的分布式计算平台,由于其高可用性、可扩展性、高容错、低成本等特性,已经是大数据系统的标配,但是Hadoop中HDFS的存储机制使得它无法面向
转载
2023-07-13 15:00:19
93阅读
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业,估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验,与大家讨论一下Hadoop、Spark、HBase及Redis等几个主流大数据技术的使用场景(首先声明一点,本文中所指的Hadoop,是很“狭义”的Hadoop,即在
转载
2023-11-10 15:14:01
65阅读
Redis 优点: 1 读写性能优异 2 支持数据持久化,支持AOF和RDB两种持久化方式 3 支持主从复制,主机会自动将数据同步到从机,可以进行读写分离。 4 数据结构丰富:除了支持string类型的value外还支持string、hash、set、sortedset、list等数据结构。缺点: 1 Redis不具备自动容错和恢复功能,主机从机的宕机都会导致前端部分读写请求失败,需要等
转载
2023-06-13 15:51:57
94阅读
Hadoop:Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。不是一个工具,也不是一种技术,是一种技术的合称HDFS:分布式文件系统。传统的文件系统是单机的,不能横跨不同的机器。比如你说我要获取/hdfs/tmp/file1的数据,你引用的是一个文件路径,但是实际的数据存放在很多不同的机器上。你作为用户,不需要知道这些,就好比在单机上你不关心文件分散在什么磁道什
转载
2023-07-11 18:57:03
134阅读
我们开发中经常用到Redis作为缓存,将高频数据放在Redis中能够提高业务性能,降低MySQL等关系型数据库压力,甚至一些系统使用Redis进行数据持久化,Redis松散的文档结构非常适合业务系统开发,在精确查询,数据统计业务有着很大的优势。但是高频数据流处理系统中,Redis的压力也会很大,同时I/0开销才是耗时的主要原因,这时候为了降低Redis读写压力我们可以用到本地缓存,Guava为我们
转载
2023-07-08 13:27:00
67阅读
在现代大数据处理环境中,Redis和Hadoop这两种技术的有效组合为数据存储和处理提供了强有力的解决方案。然而,不同版本的Redis和Hadoop之间可能会出现兼容性和性能问题。在这篇博文中,我们将深入探讨“Redis版本和Hadoop对应”这一复杂问题,并提供相应的解决方案。
## 版本对比
在对比Redis与Hadoop的版本时,我们首先必须考虑到特性差异。不同版本之间在性能、功能性及生
1:redis简介
Redis是一种面向“键/值”对数据类型的内存数据库,可以满足我们对海量数据的读写需求
redis的键只能是string类型
redis的值支持多种数据类型
1:字符串:string
转载
2023-09-29 22:43:20
38阅读
1.首先了解下hadoop: 1.1分为三个重要模块:HDFS —— 实现将文件分布式存储在很多的服务器上MapReduce —— 实现在很多机器上分布式并行运算Yarn —— 帮用户调度大量的mapreduce程序,并合理分配运算资源 1.2hadoop:相关框架Hadoop:Java编写的软件框架,以支持数据密集型分布式应用ZooKeeper:高可靠性分布式协调系统Map
转载
2024-07-01 20:20:13
104阅读
性能数据1.yandex公司使用clickhouse处理20万亿的数据,90%的查询可以在1s内返回向量化执行cpu的向量化执行就是指使用SIMD指令执行,相当于单条执行处理多条数据,最通俗的理解就是比如程序的循环展开,比如int s=10;
for(int i=0;i<10;i++){
s++
}类似上述的代码,如果不使用SIMD指令执行,就会调用10次普通指令进行先加操作,而如果使用S
转载
2023-09-21 15:27:37
87阅读
目录1. Nosql概述2. 什么式NoSQL3. NoSQL的四大分类 1. Nosql概述为什么要用Nosql大数据时代,一般的数据库无法进行处理了!2006年 HadoopHadoop 是一个由 Apache 基金会所开发的分布式系统集成架构,用户可以在不了解分布式底层细节情况下,开发分布式程序,充分利用集群的威力来进行高速运算与存储,具有可靠、高效、可伸缩的特点Hadoop简介Hadoo
转载
2023-08-15 22:28:57
88阅读
一、什么是Redisson1.Redisson是架设在Redis基础上的一个Java驻内存数据网格(In-Memory Data Grid),它实现了分布式和可扩展的Java数据结构。2.它不仅提供了一系列的分布式的Java常用对象,还实现了可重入锁(Reentrant Lock)、公平锁(Fair Lock)、联锁(MultiLock)、红锁(RedLock)、 读写锁(ReadWriteLoc
转载
2023-08-30 08:51:02
59阅读
前言看到好多东西,都是自己不会的。这不,刷个微博,看到了关键字redis、memcached,这,是什么东西?正文这是个探索过程,记录下。 这篇文章是介绍用途 — 为什么要使用redis? 之所以引起注意,在微博上,是因为提起redis和memcached时又提起了分布式和高并发、大数据。这正是寒假前帆哥提到的点,那就探索下喽。 那么,和Hadoop有什么关系呢? 之前只是搭建了个Hado
转载
2023-11-24 22:01:02
42阅读
一、什么是Zookeeper ZooKeeper 顾名思义 动物园管理员,他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig) 的管理员, Apache Hbase和 Apache Solr 以及LinkedIn sensei 等项目中都采用到了 Zookeeper。ZooKeeper是一个分布式的,开放源码的分布式应用程序
转载
2023-07-04 17:32:25
60阅读
1 认识RedisRedis 是一种基于内存的数据库,对数据的读写操作都是在内存中完成,因此读写速度非常快,常用于缓存,消息队列、分布式锁等场景。Redis 提供了多种数据类型来支持不同的业务场景,比如String(字符串)、Hash(哈希)、 List (列表)、Set(集合)、Zset(有序集合)、Bitmaps(位图)、HyperLogLog(基数统计)、GEO(地理信息)、Stream(流
转载
2023-11-23 10:09:35
5阅读
随着hadoop集群数据量增大,以及机器的不断扩容,修改副本数量降本增效是很常见的做法1、配置hdfs-site.xml参数 dfs.replication<property>
<name>dfs.replication</name>
<value>2</value>
</property>生效后只有新加入的数据才会使用这个副
转载
2023-07-04 18:08:57
45阅读
redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。
转载
2024-01-02 21:54:36
56阅读
以此记录自己的笔记,并跟大家分享,还有很多优秀文章,喜欢的话点个关注哦~HadoopHadoop和spark参考文献: https://www.zhihu.com/question/32326748/answer/57393279Hadoop是由Apache基金会所开发的分布式系统基础架构Hadoop主要包括:Hadoop分布式文件系统:一个分布式的、面向块的、不可更新的、高度伸缩性的、可运行在集
转载
2023-11-13 19:44:29
52阅读
Centos Linux 安装单机 Hadoop(HDFS)视频教程链接:https://www.bilibili.com/video/BV1we4y1z7VT/1. Hadoop 简介Hadoop 是一个开源的分布式计算和存储框架,是 Apache 基金会开发的,包含3个核心组件:HDFS:全称是 Hadoop Distributed File System,即 Hadoop 分布式文件系统。可
转载
2023-11-21 15:33:26
47阅读
Redis1.redis基础入门什么是redisredis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的
转载
2024-01-03 21:31:47
58阅读