hadoop是一种和大数据有关的技术，经过一定的了解后知道hadoop有三个版本，其中第二个版本是我感兴趣的一个， 他分为四个部分，首先hdfs是存储数据的，其次yarn是分配数据的，最后mapreduce是用来计算的 ...
转载
2021-09-06 16:12:00
66阅读
2评论
大数据云计算出来也比较久了，目前也比较的火，最近打算学习下相关的知识。进行学习首先得选择一本书，这里我选择Hadoop+Spark生态系统操作与实战指南，因为书比较薄，适合入门。作者也提供了相关的视频和配置文件，环境。 hadoop权威指南，书是不错，不过太厚，目前入门不想使用此书，此书打算放在后面再进行
转载
2023-08-18 20:46:54
73阅读
从零开始学习hadoop之发行版选择经常会看到这样的问题：零基础学习hadoop难不难？有的人回答说：零基础学习hadoop，没有想象的那么难，也没有想象的那么容易。看到这样的答案不免觉得有些尴尬，这个问题算是白问了，因为这个回答似乎什么也没给出来。这个问题的关键在于“零基础”到底是个什么样的基础？所谓的零基础大体可以分为两种：第一种是hadoop初学者，有一定的Linux基础、虚拟机
转载
2024-03-11 17:22:08
21阅读
注：因为Hadoop中的代码实现用java较为方便，并且书中代码用java实现的解释较为容易理解，所以，在博客中的代码实现均会使用java。第1章 初识Hadoop我们为什么需要Hadoop我们生活在一个数据爆炸的时代，现代每天产生的数据量甚至要超过从商周到清代产生的数据的总和。在这样一个时代，数据即是机遇，如何存储更多的数据，如何快速的对数据进行分析提取，就成了一个无法避免的问题。此外，我们注意
转载
2024-02-26 18:53:10
45阅读
这篇文章是关于，如何修改hadoop的src以实现在client端上传大文件到HDFS的时候，为了提高上传的效率实现将文件划分成多个块，将块并行的写入到datanode的各个block中的初步的想法，本文会根据实时的进展不断的进行修改。 如果想实现并发写的话，应该先了解一下系统原始的工作原理 关于客户端向HDFS的写 在Java的写操作过程中大致遵循下面的流程：首先会
转载
2023-07-24 14:24:27
162阅读
1.1数据！数据！
我们已经进入了一个数据大爆炸的时代！（有大量数据需要存储和处理）
1.2数据的存储与分析
硬盘存储容量多年来不断提升的同时，访问速度却没有与时俱进。
可采用分布式存储。但是存在两个问题，1.硬件故障问题。解决办法：a.冗余硬盘阵列（RAID）；b.Hadoop的文件系统HDFS。
2.多数任务需要某种方式结合大部分数据来共同分析。
1.3
转载
2024-05-30 12:12:08
22阅读
零基础学习hadoop,没有想象的那么困难，也没有想象的那么容易。从一开始什么都不懂，到能够搭建集群，开发。整个过程，只要有Linux基础，虚拟机化和java基础，其实hadoop并没有太大的困难。下面整理一下整个学习过程，给大家一个参考。零基础学习hadoop,没有想象的那么困难，也没有想象的那么容易。从一开始什么都不懂，到能够搭建集群，开发。整个过程，只要有Linux基础，虚拟机化和java基
转载
2023-08-04 11:09:58
41阅读
由于没有机会对Hadoop、Spark、HBase与Redis的各个特性进行测试，所以在网络上找到了这篇文章，说说Hadoop、Spark、HBase与Redis的适用性问题。问题导读： 1.你认为Hadoop适用什么场景？ 2.Spark适用于什么场景？ 3.HBase与 Redis各有什么特点？1. Hadoop Vs. Spark Hadoop/MapReduce和Spark最适合的都是做离
转载
2023-07-13 15:00:55
56阅读
线程1. 进程（Process）进程通常可以理解为正在运行的程序，有自己独立的内存空间，有操作系统负责分配资源，例如：CPU的调度。多个进程可以并发执行。对于单个CPU，并发从宏观上理解是在同时执行，但是在微观上是顺序执行。2. 线程（Thread）线程是进程中的一个顺序执行流（一个线程执行多个任务时，这多个任务是顺序执行的）
原创
2015-06-23 20:52:34
1199阅读
此文档是笔者在一个游戏公司里面所用，学完之后，觉得记得下来会方便以后工作！
文档具体出自我总监推荐给我阅读，觉得有一定的代表性；适合初学者学习
原创
2018-06-15 15:44:59
713阅读
点赞
1评论
conftintf0/0ipospfpriority2/改接口的优先级用来改变DR或者BDRexitclearipospfprocess?yes/改完接口的优先级必须要清理ospf的进程必须要做的R1conftintlo0/routerID，环回接口ipadd1.1.1.1255.255.255.255exitintf0/1ipadd172.16.20.1255.255.255.0exitrout
原创
2018-01-28 14:31:17
1450阅读
程序员不断地创造新语言是有充分理由的。每一种编程语言都有其独特之处以及最擅长的方面。此外，随着计算机技术的发展，编程语言也处在不断发展中。因为创建应用程序完全是为了实现与计算机的高效交流，许多程序员都懂多种编程语言，这样他们可以根据要做的任务选择最合适的语言使用
原创
2022-04-15 14:01:20
114阅读
java的内存分配: java在运行时的内存结构分为:stack(栈内存)，heap(堆内存),codesegment(方法区内存)。1、stack(占内存)有局部变量，操作数，帧数据组成。2、heap(堆内存)new创建的对象和数组。3、codesegment(方法去内存)类的基本信息，类的详细信息。类的详细信息有有常量池，字段信息，方法信息，静态变量，classloader的引用和class
原创
2013-09-20 11:39:39
429阅读
RT1enableconft/进入全局模式bannermotd#thisisaccna1#/设置旗标bannerlogin#thisisaccna1#intf0/0/进入接口ipadd172.16.20.1255.255.255.0/接口配ip地址intf0/1ipadd172.16.10.1255.255.255.0eixtiproute172.16.30.0255.255.255.0172.1
原创
2018-01-28 14:34:21
1005阅读
Linux基础命令
原创
精选
2022-04-19 10:39:16
1265阅读
点赞
Linux 是一个开源操作系统，与 Windows 不同，它的环境是由贡献者不断更新的。开发人员可以轻松访问Linux源代码进行定制。Linux 提供了更高程度的安全性、稳定性，并且需要很少的磁盘空间。它具有强大的网络功能，并赋予用户对机器的控制权。Linux 如此流行，以至于移动设备上使用的 Android 都是基于其框架构建的。在本指南中，我将向您展示一些入门所需的基本命令。首先，您需要在工作
原创
精选
2023-07-10 14:35:46
2529阅读
最近正在上Hadoop的课程，需要做一个project验收。老师的要求是搭建一个Hadoop集群，1个namenode和2个datanode，老师交代只用自己的笔记本跑就可以，搭三个虚拟机运行下就好，然鹅，我的笔记本是lowlow的i3，内存也只有4GB（扎心），平时跑一个虚拟机都算勉强，再跑一个都够呛，此时，我灵光一闪，用docker试试吧
转载
2024-03-11 09:26:23
58阅读
Hadoop的单机运行模式配置目录一、Hadoop配置的准备工作.11、linux1二、配置Hadoop11.将hadoop放置到 opt下面的software文件后解压到modules文件下面： 12.配置hadoop的java环境支持.13、配置hdfs33.1、与hdfs相关的配置.33.2、格式化namenode33.3、启动hdfs守护进程.43.4、访问web界面.53.5、
转载
2023-07-20 17:26:26
164阅读
1.手工测试是什么?手工测试是一种软件测试,手工测试人员执行测试用
原创
2022-03-29 09:40:42
358阅读
<!DOCTYPE html><html><head lang="en"> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width; initial-scale=1.0; maximum-scale=1.
原创
2015-02-04 15:38:04
1057阅读
