目录1. Nosql概述2. 什么式NoSQL3. NoSQL的四大分类 1. Nosql概述为什么要用Nosql大数据时代,一般的数据库无法进行处理了!2006年 HadoopHadoop 是一个由 Apache 基金会所开发的分布式系统集成架构,用户可以在不了解分布式底层细节情况下,开发分布式程序,充分利用集群的威力来进行高速运算与存储,具有可靠、高效、可伸缩的特点Hadoop简介Hadoo
转载 2023-08-15 22:28:57
88阅读
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业,估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验,与大家讨论一下Hadoop、Spark、HBase及Redis等几个主流大数据技术的使用场景(首先声明一点,本文中所指的Hadoop,是很“狭义”的Hadoop,即在
转载 2023-07-09 22:33:22
13阅读
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业,估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验,与大家讨论一下Hadoop、Spark、HBase及Redis等几个主流大数据技术的使用场景(首先声明一点,本文中所指的Hadoop,是很“狭义”的Hadoop,即在
随着hadoop集群数据量增大,以及机器的不断扩容,修改副本数量降本增效是很常见的做法1、配置hdfs-site.xml参数 dfs.replication<property> <name>dfs.replication</name> <value>2</value> </property>生效后只有新加入的数据才会使用这个副
转载 2023-07-04 18:08:57
45阅读
redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。
一、环境系统        CentOS7.0 64位namenode01    192.168.0.220namenode02    192.168.0.221datanode01    192.168.0.222da
原创 2016-04-28 15:26:02
806阅读
在这篇博文中,我将详细记录“hadoop配置redis”的完整过程,涵盖环境准备、分步指南、配置详解、验证测试、排错指南以及扩展应用等内容,以帮助大家更好地理解和运用这个配置。 ### 环境准备 在进行“hadoop配置redis”之前,我们需要做好相应的环境准备。以下是软硬件要求的详细信息。 | 组件 | 最低版本 | 推荐版本 | |------
原创 7月前
26阅读
当前已经进入大数据时代,大数据技术和产品百花齐放,在各自的应用场景发挥重要作用,Redis做为高性能的键值数据库与这些技术有着千丝万缕的联系,本文将介绍如何将RedisHadoop、ELK等技术进行结合。一、Redis与HadoopHadoop作为大数据时代的分布式计算平台,由于其高可用性、可扩展性、高容错、低成本等特性,已经是大数据系统的标配,但是Hadoop中HDFS的存储机制使得它无法面向
转载 2023-07-13 15:00:19
93阅读
hadoop的官网hadoop官网下载并安装hadoop(本人使用的是2.10.1)下载:hadoop2.10.1 安装:tar -zxvf 解压文件 在linux 环境下也可以 直接用 wget http地址 的形式下载配置hadoop及启动集群最好改动一下hadoop的java配置地址:准备启动 Hadoop 群集,解包下载的 Hadoop 分发。在分发中,编辑文件etc/hadoop/had
转载 2023-07-12 14:49:02
48阅读
分布式系统执行介绍常用命令的简介和使用1  HDFS是一个分布式文件系统,而对于一个文件系统来讲,文件的存取是最频繁的操作,了解HDFS中读取和写入文件的流程更有利于我们理解HDFS分布式文件系统架构通过HDFS读取文件  通过HDFS写入文件HDFS的基本文件操作命令(需要切换到bin目录下执行hadoop命令)1.显示命令的帮助信息语法格式:hadoop fs -help  &nbs
转载 2023-07-04 18:09:19
88阅读
1.redis简介 Redis是一种面向“键/值”对数据类型的内存数据库,可以满足我们对海量数据的读写需求。 redis的键只能是字符串 redis的值支持多种数据类型: 1:字符串 string 2:哈希 hash 3:字符串列表 list 4 :字符串集合 set 不重复,无序 5:有序集合sorted set ,不重复,有序 6:Hype...
原创 2021-07-29 10:42:52
397阅读
1.首先安装c的编译环境 yum -y install cpp yum -y install binutils yum -y install glibc yum -y install glibc-kernheaders yum -y install glibc-common yum -y install glibc-devel yum -y install gcc yum -...
原创 2021-07-29 10:45:11
243阅读
Redis、ES、Ceph、Hadoop:大数据处理的四大利器 在当今信息爆炸的时代,人们通过各种渠道不断产生和获取各种数据,大数据的概念也逐渐走进人们的视野。而要处理这些规模庞大且快速增长的数据,传统的数据存储和处理方式已经无法满足需求,因此出现了一系列强大的工具和框架。在这些工具中,Redis、ES、Ceph和Hadoop脱颖而出,成为大数据处理的四大利器。 Redis是一个开源的内存数据
原创 2024-02-01 13:39:56
72阅读
在这篇博文中,我们将深入探讨如何配置 RedisHadoop 环境,以便实现高效的数据存储与处理。通过以下的步骤,你将能够建立一个功能完整的 Redis-Hadoop 集成环境。 ### 环境准备 首先,我们需要确保我们的环境中具备必要的硬件资源及软件依赖。 #### 前置依赖安装 在开始之前,请确保以下软件包已安装: - **Java (JDK 8+)** - **Hadoop (
原创 7月前
35阅读
文档结构如下:  一、环境说明: 作用IP地址端口操作系统版本安装目录哨兵文件主库172.16.10.806379Redhat 6.7/redis5.0/redis-5.0.0Sentinel6379.conf从一172.16.10.816380Redhat 6.7/redis5.0/redis-5.0.0Sentinel6380.conf从二172.16.10.826381
hadoop是什么?Hadoop就是为大数据应运而生、Hadoop 框架是用 Java 编写的、Hadoop是Apache下的子项目、Hadoop是分布式系统基础架构,它主要是用于大数据的处理、Hadoop可以看成是一个平台或者生态系统。Hadoop生态系统包含哪些组件?有分布式存储HDFS,有并行计算 MapReduce,有NoSQL数裾库的HBase,有数据仓库工具 Hive, 有 Pig 工
转载 2023-09-06 20:43:14
63阅读
写流程:怎么将文件切割成块,上传到服务器 读流程:怎么从不同的服务器来读取数据块 写流程 图一
1:redis简介   Redis是一种面向“键/值”对数据类型的内存数据库,可以满足我们对海量数据的读写需求     redis的键只能是string类型     redis的值支持多种数据类型         1:字符串:string  
转载 2023-09-29 22:43:20
38阅读
redis持久化(persistence)   redis支持两种方式的持久化,可以单独使用或者结合起来使用     第一种:RDB方式(redis默认的持久化方式)     第二种:AOF方式 1:redis持久化之RDB   rdb方式的持久化是通过快照完成的,当符合一定条件时redis
转载 2024-01-03 23:36:19
31阅读
1.首先了解下hadoop: 1.1分为三个重要模块:HDFS —— 实现将文件分布式存储在很多的服务器上MapReduce —— 实现在很多机器上分布式并行运算Yarn —— 帮用户调度大量的mapreduce程序,并合理分配运算资源  1.2hadoop:相关框架Hadoop:Java编写的软件框架,以支持数据密集型分布式应用ZooKeeper:高可靠性分布式协调系统Map
转载 2024-07-01 20:20:13
104阅读
  • 1
  • 2
  • 3
  • 4
  • 5