首先先要说明我的系统的一个配置主机名主机IPV4地址配置hadoop001192.168.120.100RecourceManager、NodeManager、DateNode、NameNodehadoop002192.168.120.101NodeManager、DateNode、SecondaryNameNodehadoop003192.168.120.102NodeManager、DateN
转载
2023-11-08 18:40:29
109阅读
1 基本概念在字典中搜索oozie一词，可以看到如下释义：没错，就是训象人！大象，你想到了什么？没错就是hadoop的logo，一只黄色的小象。所以光从这个翻译来看，你就应该明白oozie是做什么的了吧。接下来我们详细介绍2 oozie概念Hadoop常见调度框架： （1）Linux Crontab： Linux自带的任务调度计划，在任务比较少的情况下，可以使用这种方式，直接执行脚本，例如添加一个
转载
2023-08-11 12:15:47
40阅读
到现在为止我们看到的HDFS访问模式都是单线程访问。它可以操作一组文件----例如定义file glob----但是要高效并行处理这些文件，你需要自己写一个程序。HADOOP自带了一个有用的程序叫distcp用来并行拷贝文件到/从HADOOP文件系统。 &
转载
2023-12-17 14:13:12
32阅读
解决办法： Options->ReportOptions->DoublePass勾选即可
转载
2018-01-25 10:07:00
200阅读
2评论
一、下载hadoop-eclipse-plugin-2.7.3.jar插件放到eclipse的plugins的目录下二、把Window编译后的hadoop的文件放到 hadoop的bin目录下 三、添加环境变量的支持hadoop/hadoop-2.7.7 Path=%HADOOP_HOME%/bin;%HADOOP_HOME
转载
2024-06-03 15:45:19
33阅读
Unity的Realtime GI, Probe Volumes, LOD GroupsRealTime GILight Probe Proxy VolumesLOD GroupsReference RealTime GI烘焙的光照使用lightmap处理静态物体，使用light probe处理动态物体，但是它不能处理动态的光源。对于动态光源，Unity提供了实时全局光照的支持。我们可以在Win
转载
2024-09-17 11:22:31
83阅读
如何解决"pytorch gpu util 一直0"
概述：
当使用PyTorch进行GPU加速时，有时候会出现GPU利用率一直为0的问题。这可能是由于一些常见的原因造成的，比如未正确安装CUDA、驱动问题等。在本文中，我将向你介绍如何逐步解决这个问题。
解决步骤：
下面是解决"pytorch gpu util 一直0"问题的步骤。你可以按照这些步骤进行操作，以便逐步排查和解决问题。
| 步
原创
2023-12-12 05:43:31
310阅读
1：MapReduce的概述： （1）：MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.MapReduce由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。 （3）：这两个函数的形参是key、value对，表示函数的输入信息。2：MapReduce执行步骤： （1）：
轻松了一个月，被老师拉来搞hadoop和hbase，而且时间紧，任务重。每天要上交大于100字的学习日记。先草草看了下hadoop权威指南，记录下。Hadoop提供了一个可靠的共享存储和分析系统，HDFS实现存储，而MapReduce实现分析处理。这两个是核心。HBase使用HDFS作为底层存储，同时支持MapReduce的批量式计算和点查询（随即读取）。MapReduce作业（job）是客户端需
转载
2023-12-12 11:20:17
77阅读
# Hive SQL 中 HDFS 副本数为 0 的解决方案
在使用 Hive 进行数据仓库管理时，可能会遇到 HDFS 副本数为 0 的问题。这不仅会影响数据的完整性和可用性，还可能导致查询失败。在这篇文章中，我们将逐步讲解如何正确设置 HDFS 副本数并确保 Hive SQL 能正常工作。
## 整体流程
在开始之前，我们先来了解整个流程，以下是解决 HDFS 副本数为 0 问题的步骤：
## Hadoop 提交任务一直卡解决流程
### 1. 确认Hadoop集群状态
在提交任务之前，首先需要确认Hadoop集群的状态是否正常。可以使用以下命令检查集群中的节点是否都处于正常运行状态：
```shell
$ hdfs dfsadmin -report
```
### 2. 检查Hadoop任务配置
确保Hadoop任务的配置文件正确设置，主要包括以下几个方面：
- `c
原创
2023-07-14 16:20:42
291阅读
Hadoop 学习总结之一：HDFS简介Hadoop学习总结之二：HDFS读写过程解析Hadoop学习总结之三：Map-Reduce入门Hadoop学习总结之四：Map-Reduce的过程解析 在使用hadoop的时候，可能遇到各种各样的问题，然而由于hadoop的运行机制比较复杂，因而出现了问题的时候比较难于发现问题。本文欲通过某种方式跟踪Hadoop的运行痕迹，方便出现问题的时候可以
问题：document.documentElement.scrollTop或者document.body.scrollTop一直为0 原因：浏览器的兼容问题 解决：document.documentElement.scrollTop = document.body.scrollTop= window ...
转载
2021-09-29 09:58:00
617阅读
2评论
一、API的配置---Configuration类API的配置：Hadoop提供了专门的API对资源进行配置，Configuration类的实例(在org.apache.hadoop.conf包)包括配置属性及其值的集合。每个属性是一个String类型，值的类型可能是以以下的多种类型：包括了Java基本类型(如boolean、int、long、float)和其他一些有用的类型。配置从给定资源中读取
# 使用Hive进行数据分析的介绍
Hive是一个构建在Hadoop之上的数据仓库基础设施，它提供了类似于关系型数据库的查询和分析能力。Hive使用类似于SQL的HiveQL查询语言，将查询转化为MapReduce任务来执行，并将结果存储在Hadoop分布式文件系统中。本文将介绍Hive的基本概念，并通过一个具体的示例演示如何使用Hive进行数据分析。
## Hive的基本概念
1. **表
原创
2023-07-21 19:55:34
117阅读
大四，自从十月十三号拿到offer之后就没有看过书，没有敲过代码了，颓废了两个月的心终于有点虚了。于是，决定叫亲爱的豆子来监督我看书，哈哈哈。博文是我的阅读笔记，主要是记录一下书中重要的知识点，以便以后复习用。转入正题，话说昨天去UC面试实习生，又被问到了spring的作用是什么。以我的大四面试经历来说，面试官都特喜欢问这个问题，《Spring in action》这本书总结的很好。 S
# PyTorch在CPU上训练时的“CPU一直是0”现象解析
在使用PyTorch进行深度学习模型训练时，有时会遇到“CPU一直是0”的现象。这通常意味着你的代码没有充分利用CPU资源，从而导致训练效率低下。本文将探讨这个现象的原因以及可能的解决方案，同时提供一些代码示例以帮助你更好地理解和应对这一问题。
## 1. 理解“CPU一直是0”现象
在深度学习训练过程中，监控CPU和GPU的使
原创
2024-10-05 04:35:11
197阅读
最近开启SDK Manager，突然发现android7.0的都有了，这迭代升级还真快。不过国内普遍手机还是停留在4.4+，多则是是处于5.0版本的。Android5.0变化非常大，引入material design，加强权限管理、减少功耗...好像扯远了0 0。现在直接进入主题。在这里先感谢读者的支持！！ 笔者前阵子写了一个万能适配器，提供了上拉加载、上拉刷新
# 在 Python 中使用 `subprocess.poll()` 实现进程状态查询
在Python中，`subprocess`模块是一个强大的工具，用于创建和管理子进程。在某些情况下，你可能会遇到 `poll()` 方法一直返回 0 的问题。这通常意味着子进程仍在运行。为了更好地理解这一点，下面我们将逐步解析如何使用 `subprocess` 模块。
## 流程步骤
为了清楚地理清整个过
原创
2024-10-18 06:37:08
31阅读
我们在写sql的时候经常发现读取数据不多，但是代码运行时间异常长的情况，这通常是发生了数据倾斜现象。数据倾斜现象本质上是因为数据中的key分布不均匀，大量的数据集中到了一台或者几台机器上计算，这些数据的计算速度远远低于平均计算速度，从而拉慢了整个计算过程速度。本文将介绍如何通过日志分析，判断数据中的哪个key分布不均，从而导致了数据倾斜问题。任务是否发生了倾斜hive判断
转载
2023-08-06 12:13:31
619阅读
