Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed
转载
2023-09-07 13:15:03
46阅读
1. hadoop 原理hadoop是apche基金会的一个开源项目，是一个可运行在大规模集群上的分布式并行编程框架，核心设计是HDFS（分布式文件系统）和mapreduce。为用户提供了底层细节透明的分布式基础设施。其中hdfs提供了高容错和高伸缩的特性，而mapreduce计算模型编写分布式应用程序相对简单，主要设计实现map、reduce类，其他并行编程复杂问题如分布式存储，工作调度，负载均
目录一、简介二、HDFS 1.1Namenode 1.2Sconedarynamenode 1.3Datanode&n
Redis 简介Redis 是一个开源，高级的键值存储和一个适用的解决方案，用于构建高性能，可扩展的 Web 应用程序。Redis 也被作者戏称为 数据结构服务器 ，这意味着使用者可以通过一些命令，基于带有 TCP 套接字的简单 服务器-客户端 协议来访问一组 可变数据结构 。(在 Redis 中都采用键值对的方式，只
转载
2023-08-11 15:07:53
124阅读
目录SDS 的设计到底有多牛逼。List、Set、Sorted Set、Hash 底层实现原理SDS 的设计到底有多牛逼Redis 使用 C 语言编写，但是并没有直接使用 C 语言自带的字符串，而是使用了 SDS 来管理字符串。接下来就来探讨下为什么 Redis 使用了 SDS 来管理字符串。SDS 全称 Simple Dynamic String，即简单动态字符串。SDS 组成部分如下：
文章目录一、基本定义一、类对象的解析一、ISA指针指向解析1.2.3. 影响对象内存的因素二、元类的继承类关系1. 位域的定义2. 联合体的定义3. 结构体和联合体的区别三、内存平移的概念1. 要点2. 通过isa地址获取类对象的内存地址四、 实例方法、属性的存储位置分析五、问题六、用到的指令七、其它 一、基本定义类对象：即类，oc中用@interface 定义。大多数的类对象继承自NSObj
转载
2023-07-25 08:04:26
103阅读
本篇主要讲述什么是Spring和它的IOC容器的实现原理，AOP切面编程以后再说。一、Spring概述1.1 什么是SpringSpring是以IOC(控制反转)和AOP（面向切面编程）为内核的轻量级开源框架。狭小方面来说相当于用一个容器来针对管理我们开发中的bean的生命周期。宽广方面来说它可以集成其它框架技术来完成对JavaEE企业级的开发。想了解更多可以移步至Spring官网。1.2 Spr
Redis的数据结构，可以在两个不同的层面来讨论它，第一个层面，是从使用者的角度。比如：string、list、hash、set、zset(sorted set)五种数据类型，这一层面也是Redis暴露给外部的调用接口。第二个层面，就是这五种数据类型的内部实现结构，属于更底层的实现。比如：dict(字典)、sds(simple dynamic string简单动态字符串)、intset(整数集合)
转载
2023-08-14 11:03:38
152阅读
Hadoop 入门总结搜索了好几个博客，把hadoop基础总结了一下，感觉收货还挺多。一.hadoop简介Hadoop是一个开源框架，允许使用简单的编程模型在跨计算机集群的分布式环境中存储 和处理大数据。它的设计是从单个服务器扩展到数千个机器，每个都提供本地计算和存储。二.hadoop的基本组成hadoop1.0 ：1:HDFS: Hadoop Distributed File System 分
Hadoop (一) Hadoop学习1.Hadoop 简介1.1 单独的 Hadoop软件Hadoop是Apache 软件基金会开源的一款开源Java软件，用户编写简单的编程模型实现跨机器对海量数据分布式计算处理的框架Hadoop的核心组件有Hadoop HDFS：分布式文件系统 大数据存储Hadoop YARN：集群的资源管理和任务调度框架 集群资源分配Hadoop MapReduce：分布式
一、hadoop HA架构的角色分析1、namenode存储元数据，与client客户端进行交互，当服务启动时加载fsimage镜像文件和edits.log文件到自己的内存。在整个架构中，分别有处于active状态的nameNode,和处于standby状态的namenode，standby也是时刻启动的，一致在通过journalnode与actived的namenode进行数据同步，这样来保持，
转载
2023-07-12 21:05:29
56阅读
上一次为大家介绍了AES算法的基本概念，我们是有追求的程序员，不能知其然不知其所以然。这一次，我来了解一下AES算法的底层原理。小明：老师，上一次你介绍了AES算法的基本概念，这一次可不可以讲讲AES的底层加密解密原理？老师：没问题，让我们先来回顾一下AES算法整体的关系图。上一篇我们已经对AES的总体加密流程进行了介绍，在这里我们重新梳理一下：1.把明文按照128bit拆分成若干个明文块。2.按
一、高效分布式锁当我们在设计分布式锁的时候，我们应该考虑分布式锁至少要满足的一些条件，同时考虑如何高效的设计分布式锁，这里我认为以下几点是必须要考虑的。1、互斥在分布式高并发的条件下，我们最需要保证，同一时刻只能有一个线程获得锁，这是最基本的一点。2、防止死锁在分布式高并发的条件下，比如有个线程获得锁的同时，还没有来得及去释放锁，就因为系统故障或者其它原因使它无法执行释放锁的命令,导致其它线程都无
转载
2023-08-06 00:59:42
253阅读
本文主要介绍block的类型、循环引用的解决方法以及block底层的分析block 类型block主要有三种
原创
2021-07-02 14:28:43
1141阅读
iOS 底层原理 文章汇总KVC的全称是Key-Value Coding，翻译成中文是 键值编码，键值编码是由NSKeyValueCoding非正式协议启用的一种机制，对象采用该协议来间接访问其属性。既可以通过一个字符串key来访问某个属性。这种间接访问机
原创
2021-09-01 17:00:33
398阅读
本文为转过来，对Spring进行了总体上的说明，有益于建立对Spring的总体把握和认识。 1、spring原理spring的最大作用ioc/di,将类与类的依赖关系写在配置文件中，程序在运行时根据配置文件动态加载依赖的类，降低的类与类之间的藕合度。它的原理是在applicationContext.xml加入bean标记,在bean标记中通过class属性说明具体类名、通过propert
转载
2023-07-20 15:32:42
50阅读
IO，其实意味着：数据不停地搬入搬出缓冲区而已（使用了缓冲区）。比如，用户程序发起读操作，导致“ syscall read ”系统调用，就会把数据搬入到 一个buffer中；用户发起写操作，导致 “syscall write ”系统调用，将会把一个 buffer 中的数据 搬出去(发送到网络中 or 写入到磁盘文件)上面的过程看似简单，但是底层操作系统具体如何实现以及实现的细节就非常复杂了。正是因
KVO，全称为Key-Value observing，中文名为键值观察，KVO是一种机制，它允许将其他对象的
原创
2021-06-29 16:37:28
956阅读
文章目录第二章 Java并发机制的底层实现原理框架图volatile的应用volatile的定义和实现原理volatile的使用优化synchronized的实现原理与应用Java对象头锁的升级与对比偏向锁轻量级锁锁的优缺点对比原子操作的实现原理处理器如何实现原子操作Java如何实现原子操作 第二章 Java并发机制的底层实现原理框架图高清图片地址高清图片地址volatile的应用简单介绍：是一
转载
2023-07-07 20:42:43
135阅读
引言ArrayList集合类在面试、开发中饱受关注，用起来也是真香。本篇文章有针对性的归纳整理ArrayList的常见问题，如有遗漏，欢迎留言或评论。面试开始小伙子，说下ArrayList的底层数据结构吧？ArrayList的底层数据结构就是一个数组，数组元素的类型为Object类型，对ArrayList的所有操作底层都是基于该数组的。程序清单1： ArrayList的底层数组transient
转载
2023-07-04 14:42:37
62阅读
