目录一、简介二、HDFS 1.1Namenode 1.2Sconedarynamenode 1.3Datanode&n
转载
2024-03-02 09:46:59
85阅读
Hadoop (一) Hadoop学习1.Hadoop 简介1.1 单独的 Hadoop软件Hadoop是Apache 软件基金会开源的一款开源Java软件，用户编写简单的编程模型实现跨机器对海量数据分布式计算处理的框架Hadoop的核心组件有Hadoop HDFS：分布式文件系统 大数据存储Hadoop YARN：集群的资源管理和任务调度框架 集群资源分配Hadoop MapReduce：分布式
转载
2023-09-24 19:27:13
112阅读
近年来，大数据技术越来越吃香，也是追求高薪的必备技能之一。 近些日子，打算技术转型，开始研究大数据技术，基于对JAVA、LINUX系统有一定的基础，完成hadoop集群搭建（1个master和1个slave）。一、准备工具 VMvare、centOS6.3、SSH Secure客户端（具体安装过程这里不做描述） hadoop2.X压缩包与jdk安装包，我这里准备的JDK和Hadoop软件包如下所示
转载
2024-10-14 09:36:24
41阅读
Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed
转载
2023-09-07 13:15:03
73阅读
hive的库、表等数据实际是hdfs系统中的目录和文件，让开发者可以通过sql语句， 像操作关系数据库一样操作文件内容， 比如执行查询，统计，插入等操作。一直很好奇hive是如何做到这些的。通过参考网上几篇不错的文档， 有点小心得分享出来。主要的参考链接 http://tech.meituan.com/hive-sql-to-mapreduce.html http://www.
转载
2023-07-21 16:21:41
32阅读
大数据开发——hadoop、spark（2）大数据第二周 1.安装CentOS7最小安装版 硬盘容量不小于30G。 自定义硬件中，勾选“虚拟化Intel VT-x/EPT或AMD-V/RVI(V) ”。 在此界面中，“SOFTWARE SELECTION”保持默认，因为默认就是最小安装。 安装完成后，配置网络。 进入/etc/sysconfig/network-scripts目录，使用命令 cd
转载
2023-12-22 20:32:31
52阅读
Hadoop 入门总结搜索了好几个博客，把hadoop基础总结了一下，感觉收货还挺多。一.hadoop简介Hadoop是一个开源框架，允许使用简单的编程模型在跨计算机集群的分布式环境中存储 和处理大数据。它的设计是从单个服务器扩展到数千个机器，每个都提供本地计算和存储。二.hadoop的基本组成hadoop1.0 ：1:HDFS: Hadoop Distributed File System 分
转载
2024-07-13 09:21:39
55阅读
社区推荐是自己编译,官网在这里，过程相当简单，就一句话 sh build.sh，但是在编译过程中容易遇到各种失败，例如Failed to download DataTables.zip during the compilation of the third-party library就需要更改下载数据源，更改完这个可能还有其他问题，这里就用已编译版本了，如果坚持要自己编译可以看这个大神的博客。Do
一、hadoop HA架构的角色分析1、namenode存储元数据，与client客户端进行交互，当服务启动时加载fsimage镜像文件和edits.log文件到自己的内存。在整个架构中，分别有处于active状态的nameNode,和处于standby状态的namenode，standby也是时刻启动的，一致在通过journalnode与actived的namenode进行数据同步，这样来保持，
转载
2023-07-12 21:05:29
70阅读
MySQL 软件提供了一个非常快速、多线程、多用户和健壮的 SQL（结构化查询语言）数据库服务器。MySQL Server 旨在用于任务关键型、重负载生产系统以及嵌入到大规模部署的软件中。Oracle 是 Oracle Corporation 和/或其附属公司的注册商标。MySQL 是 Oracle Corporation 和/或其附属公司的商标，未经 Oracle 明确书面授权，客户不得使用。其
转载
2024-04-07 15:22:40
25阅读
在 Java 编程中，如何实现锁的底层机制是一个既基本又复杂的主题。这个话题不仅关乎多线程编程的效率，还是保证数据的一致性与安全性的关键。接下来，让我们深入探讨这个问题。
许多开发者在使用 Java 的线程同步机制时，常常会遇到性能瓶颈，甚至程序阻塞等问题。为了更好地理解这一现象，首先来看一些实际情况。
- 事件 A：开发者在多线程环境下使用 `synchronized` 关键字。
- 事件
Pig为大型数据集的处理提供了更好层次的抽象。Pig为MapReduce提供了更丰富的数据结构，这些数据结构往往都是多值和嵌套的，Pig还提供了一套更强大的数据变换操作。Pig包括两部分：（1）用于描述数据流的语言，Pig Latin。（2）用于运行Pig Latin程序的执行环境。当前有两个环境：单JVM中的本地执行环境和Hadoop集群上的分布式执行环境。Pig Latin程序由一系列“操作”
转载
2023-10-06 21:09:13
45阅读
#Hadoop# #大数据# #大数据分析# #数据分析#1 轻量级大数据流处理语言——PigPig是处理大数据集的数据流语言，Pig由Yahoo开发，Twitter公司大量使用Pig处理海量数据。处理数据的流程可以一步步定义，比如第一步加载，第二步转换，第三步再转换，第四步存储，可以一步步定义数据的走向，适合做数据探索和ETL阶段数据处理、检索和分析数据量较大的数据集。Pig包括两部分：一是用于
转载
2023-11-08 18:37:51
54阅读
1. hadoop 原理hadoop是apche基金会的一个开源项目，是一个可运行在大规模集群上的分布式并行编程框架，核心设计是HDFS（分布式文件系统）和mapreduce。为用户提供了底层细节透明的分布式基础设施。其中hdfs提供了高容错和高伸缩的特性，而mapreduce计算模型编写分布式应用程序相对简单，主要设计实现map、reduce类，其他并行编程复杂问题如分布式存储，工作调度，负载均
转载
2023-09-24 19:27:33
65阅读
目录bean生命周期推断构造方法的底层原理1、使用哪个构造方法？2、如果有参把哪个bean对象赋值给入参？AOP实现原理spring事务@Configuration 循环依赖为什么会出现循环依赖提前AOP第一级缓存：singletonObjects第二级缓存：earlySingletonObjects第三级缓存：singletonFactoriesbean生命周期 userSe
转载
2024-03-26 16:55:43
24阅读
Redis五种基本数据类型底层实现1、Redis是什么Redis 是一个开源(BSD许可)的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如 **字符串(strings)， 散列(hashes)， 列表(lists)， 集合(sets)， 有序集合(sorted sets) **与范围查询， bitmaps， hyperloglogs 和 地理空间(g
转载
2023-09-21 20:41:48
33阅读
## Redisson 底层实现解析
Redisson 是一个基于 Java 的 Redis 客户端，提供了丰富的功能和使得使用 Redis 变得更加简单的 API。它不仅支持基本的 Redis 数据结构和命令，还提供了分布式对象、集群管理以及异步和响应式编程等特性。本文将深入探讨 Redisson 的底层实现，并通过代码示例和图示帮助理解。
### 1. Redisson 的设计理念
Re
原创
2024-10-23 03:45:04
97阅读
IoC与DI
首先想说说IoC（Inversion of Control，控制倒转）。这是spring的核心，贯穿始终。所谓IoC，对于spring框架来说，就是由spring来负责控制对象的生命周期和对象间的关系。这是什么意思呢，举个简单的例子，我们是如何找女朋友的？常见的情况是，我们到处去看哪里有长得漂亮身材又好的mm，然后打听她们的兴趣爱好、qq号、电话号、ip号、iq号………，想办法认识
原子操作平常编程中类似i++的操作并非一个原子操作； 可以使用： AtomicInteger AtomicIntegerArray指令重排序JVM只保证程序最终结果等同于顺序时的结果，指令的实际执行顺序与代码顺序可能不一致。意义是根据处理器的特点，进行适当的重排序可以提高性能。happens-before法则如果action b要看到action a的执行结果，那么ab需要满足happans-be
转载
2024-07-16 14:10:44
21阅读
前言Redis是一种键值(key-Value)数据库，相对于关系型数据库，它也被叫作非关系型数据库。Redis中，键的数据类型是字符串，但是为了丰富数据存储方式，方便开发者使用，值的数据类型有很多。一、SDS1、SDS源码解读sds (Simple Dynamic String)，Simple的意思是简单，Dynamic即动态，意味着其具有动态增加空间的能力，扩容不需要使用者关心。String是字
转载
2024-07-17 16:45:53
24阅读
