MapReduce分布式需要解决的问题:将运算转移到数据上？运算变成分布式，结果为局部的结果了如何分发代码？1.拷贝、启动代码。启动最后一台的时候可能第一台运行结束了2.代码分发到了哪些机器上运行？3.有一台机器宕机了，局部结果没了，那汇总的结果就没意义了。因此需要时刻监控节点情况，看哪个正常，哪个不正常4.汇总到某一台机器(负载高)还是汇总到几台机器上(逻辑复杂)？ 例子:
转载
2023-07-20 23:31:04
47阅读
【】【】【】【】【【【【集群只有在启动的时候才读取配置文件】】】】】】【【【【【【【【【【集群只有在启动的时候才读取配置文件】】】】】】只有名称节点由镜像，名称节点存放的是块信息，块经来后会向块索取名称列表hosts的映射关系千万不要弄错，不然启动后，datanode也会有问题--------------初始化没问题，但是进入webui看datanode没有数据呢。之前我配了 127.0.0.1
翻译
精选
2016-06-17 16:46:05
834阅读
名称节点不会存放数据块的，可以存但是不会这么做。namenode目录挂了，单点故障namenodesecondarynamenode 备份，防止单点故障就完了，最重要的还是这目录，这叫做镜像datenode datenode datenode 3个分布式--------------由分布在不同主机上的程序(进程)协同在一起才能构成整个应用。brows
翻译
精选
2016-06-15 11:39:51
998阅读
HiveHive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL ，它允许熟悉 SQL 的用户查询数据。
原创
2022-02-16 14:04:13
61阅读
我的Hadoop学习之第一天
原创
2015-03-24 23:08:14
326阅读
脚本里面单独的 \ 是把一行换成多行，换行符通配0.0.0.0表示任意一个ip都可以访问、电脑有网卡，本地连接其他的2NN配置独立的主机----------现在是005的18分38秒--------------------<property> <name>dfs.namenode.secondary.http-address</name>  
翻译
精选
2016-06-16 12:03:27
751阅读
HiveHive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存
原创
2021-05-28 22:31:50
457阅读
第8天作业 1.请用自己的语言描述为什么需要重定向？ 重定向就是把输出到屏幕的信息，保存到文件中 2.请描述以下重定向符号的意思 > 正确覆盖重定向 >> 正确追加重定向 2> 错误覆盖重定向 2>> 错误追加重定向 3.如何将正确和错误都输出到一个文件里 touch bash.sh cat >ba ...
转载
2021-09-27 19:01:00
79阅读
2评论
数组 数组概述 数组的声明创建 数组使用 多维数组 Arrarys类 稀疏数组 数组概述 相同数据类型的有序集合 相同类型的若干个数据，按照一定先后顺序排列组合 每个数据称作一个数组的元素，每个数组元素可以通过一个下标来访问它们 数组的声明创建 首先必须声明变量，才能在程序中使用变量语法如下 dat ...
转载
2021-08-02 22:30:00
67阅读
2评论
昨日回顾 数组的查找算法 顺序查找 二分查找算法 数据库介绍 分类 主流数据库： mysql数据库的系统级操作及基本语法规定 启动/停止mysql数据库服务： 登录/退出mysql系统 数据库的备份和恢复： 基础语法规定 注释： 语句行： 大小写问题 命名问题 数据库定义语句 创建数据库： 删除数据库： 显示一个数据库的创建语句： “进入”（选择）某个数据库： 字段类型（数据类型） 总览： 整数类
转载
2024-03-03 12:07:32
0阅读
# 如何在Hadoop中查找5天前的文件
在大数据处理的世界中，Hadoop作为一个强大的框架，被广泛用于存储和处理大规模数据集。一个常见的任务是查找特定日期之前的文件，例如5天前的文件。在这篇文章中，我们将深入探讨如何使用Hadoop来完成这一任务，并提供相应的代码示例。
## Hadoop简介
Hadoop是一个开源的分布式计算框架，主要用于处理大规模的数据集。Hadoop的核心组件包括
原创
2024-10-06 06:01:26
77阅读
一、Hadoop核心组件HDFS（Hadoop Distributed File System）定义：Hadoop分布式文件系统，允许在多台计算机上存储和处理大规模的数据集。组件：NameNode（存储文件的元数据）和DataNode（在本地文件系统存储文件块数据）。特点：高可靠性、高吞吐量。MapReduce定义：Hadoop中的一种编程模型，允许用户编写Map和Reduce函数来处理和分析HD
CSS DOM动态样式使用JS操作CSS中的各属性。JS只能操作或修改行内样式。如：imgObj.style.border = “1px solid red”对于类样式，通过className来赋值。如：imgObj.className = “imgClass”style对象每个HTML标记，都有一个style属性。但这个style属性又是一个style对象。那么，这个style对象的属性有哪些？
转载
2024-03-03 11:19:06
0阅读
问题Hadoop 1.0存在的问题：单点故障和内存受限NameNode单点故障：NameNode只有一个，一旦宕机了，则数据就会丢失，虽然有配置SecondaryNameNode，但是SecondardyNameNode合并元数据和日志文件需要时间的，所有还是会有部分数据会丢失(edits)NameNode压力大：单节点只有一个NameNode，所有的请求都访问一个NameNodeHa...
原创
2021-05-28 22:31:17
528阅读
启用写入后清理缓存dfs.datanode.drop.cache.behind.writes和启用读取后清理缓存dfs.datanode.drop.cache.behind.虽然这个方面内存会自动释放，但是特别是对应大数据这样文件系统，在规划hadoop 节点内存时最好留有一定的内存作为这个方面内存。 读写文件时，Linux内核为了提高读写效率与速度，会将文件在内存中进行缓存，这就是C
转载
2023-09-01 08:19:04
66阅读
问题Hadoop 1.0存在的问题：单点故障和内存受限NameNode单点故障：NameNode只有一个，一旦宕机了，则数据就会丢失，虽然有配置SecondaryNameNode，但是SecondardyNameNode合并元数据和日志文件需要时间的，所有还是会有部分数据会丢失(edits)NameNode压力大：
原创
2022-02-16 14:04:58
83阅读
# Hadoop与Java8
## 介绍
Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。Java是Hadoop的主要编程语言之一，而Java8引入了许多新的特性和改进，使得在Hadoop上进行数据处理更加方便和高效。本文将介绍Hadoop和Java8的结合，并提供一些示例代码来说明它们的用法和好处。
## Hadoop简介
Hadoop是一个基于分布式文件系统（HDF
原创
2023-08-09 14:36:44
42阅读
想要搭建一个能够互相通信的集群并且能够避免每次IP的动态变化对我们的集群造成不必要的影响，给我们的集群分配固定的IP是十分必要的，而且为了方便，我们选择NAT网络模式，在这种模式下，外部机器访问不了我们内部的某个虚拟机，但是我们内部的虚拟机可以访问外部的IP。前提条件： 1.你电脑的CPU开启了对虚拟化技术的支持，否则无法正常安装虚拟机，具体怎么开启，在开启计算机的时候进入bios程序，然后找到
一、JDK安装1、用SecureCRT的FX工具将jdk导入到opt目录下面的software文件夹下面 2、在linux系统下的opt目录中查看软件包是否导入成功 [atguigu@hadoop101 opt]$ cd software/ 3、解压jdk到/opt/module目录下 [atguigu@hadoop101 software]$ ...
原创
2022-05-16 09:11:24
665阅读
k8s与dubbo的区别与联系 k8s与spring cloud(netflix/alibaba)的区别与联系 k8s与hadoop(hdfs/yarn/hadoop-mapreduce)的区别与联系
转载
2020-07-06 12:58:11
173阅读
