Hadoop学习有一段时间了，但是缺乏练手的项目，老是学了又忘。想想该整理一个学习笔记啥的，这年头打字比写字方便。果断开博客，咩哈哈~~ 开场白结束（木有文艺细胞） 默认的MapReduce作业 import org.apache.hadoop.conf.Configuration;
import org.apach
转载
2023-07-24 14:31:26
53阅读
hadoop输入的处理类 InputFormat &n
转载
2023-09-20 10:31:41
41阅读
1、课程知识概述部分2）操作系统文件属性知识8个部分a、文件属性findtarb、文件权限信息权限阻止c、文件用户信息d、文件时间信息e、文件inde信息（索引）block信息（磁盘容量）命令查看远离概念（文件数据是如何读取的）f、文件的硬链接、软链接说明2、课程知识回顾说明1）掌握系统安装过程2）掌握远程连接方法3）掌握基础管理命令4）掌握重要文件信息3、3、文件属性文件类型信息在linux系统
原创
2019-12-22 17:59:38
318阅读
文件属性的判断式：
-a 文件 如果文件存在,
-b 文件 如果文件存在,且文件是区域设备文件
-c 文件 如果文件存在，且文件是字符设备文件
-d 文件 如果文件存在，且文件是目录
-e 文件 如果文件存在
-f 文件 如果文件存在，且文件是一般文件
-g 文件 如果文件存在，且该文件设立了set
翻译
2010-07-12 15:34:11
587阅读
第1章 inux文件属性 1.1 故障案例：no space left on device [root@oldboyedu50-lnb ~]# ls -lhitotal 304K 660149 - rw-r--r-- 1 root &n
原创
2018-07-27 20:01:58
727阅读
点赞
通配符^以什么开头ls|grep^d$以什么结尾df-h|grep/$linux系统文件如何压缩tarziprarbz2为什么要使用压缩1.节省空间2.备份3.减少IO（重要）1000个文件什么时间压缩业务的低谷期tartar压缩格式tar-zcvf包名文件或目录tar-zcvf框子萝卜香蕉苹果梨-z使用压缩的方式gzip-c创建-vverbose显示压缩的过程-f指定包的名字-f参数必须在最后-
原创
2019-08-13 18:32:53
591阅读
在linux系统中，文件类型不是由文件扩展名称决定。Linux系统中有哪些类型文件：普通文件-文本文件（可读可写）、二进制文件也叫命令文件、数据文件也叫压缩文件目录文件d链接文件l设备文件b（block）存储设备文件/dev/sda1c（charset）字符流文件/dev/urandoms（socket）网络套接字文件？？？·和文件类型相关命令操作：（1）如何在系统中找寻文件信息方法一：找寻命令文
原创
2019-12-15 00:46:01
550阅读
1.设置文件属性： SetFileAttributes(文件名， 属性值)BOOL WINAPI SetFileAttributes( _In_ LPCTSTR lpFileName, _In_ DWORD dwFileA
原创
2022-11-10 14:42:23
1288阅读
这一章都是文字叙述，不需要写源代码了。一般情况下，只需要记住这些东西就可以了。Hadoop处理大数据。大数据以文件的形式存储在HDFS。大文件被划分成文件块存贮，每个文件块有固定的大小，通常是64M，或者128M，或者255M。我们在第2章写了一个WordCount的MapReduce程序，最关键部分是Mapper和Reducer。在做MapReuce时，先做Map，再
转载
2023-12-31 20:45:25
46阅读
前段时间一直在准备实习的事情，没有更新项目相关的博客。最近才通过了百度的实习生面试，面试的时候这个小项目助力不少，所以又想来补充一下前面没有分享的一些项目经验。Hadoop输入输出格式Hadoop中mapper的输入必须是(key, value)格式的。若输入文件类型为文本格式，这也是默认的输入文件类型。则key是行号，value就是这一行对应的文本。 同理reducer输出的默认格式也是文本，
转载
2024-01-03 21:40:32
29阅读
python来获得文件的通用属性：大小，修改时间等；去掉文件的readonly属性； 对于windows文件，可以获得是否archive，文件的版本信息等；代码：import os
def TestFileAttributes():
# This function is platform indepedent.
statinfo = os.stat("c:\\python26\\pytho
转载
2023-06-26 15:29:23
365阅读
Python学习之——文件的操作（1）阅读文件内容——open方法内的打开方式为‘r’open方法第一个参数是需要打开的文件的路径，第二个参数是打开方式，有“r”，“w”两种打开方式。“r”代表从文件读内容，“w”代表写入内容到文件中。默认打开方式是“r”。open方法返回一个文件对象，文件对象具有一些属性和内置方法。文件对象的属性name（文件名），mode（打开模式）example1 = "E
转载
2023-10-13 13:00:06
475阅读
# 在Hadoop中使用IDEA输出文件内容的步骤
作为一名经验丰富的开发者，我很高兴能帮助刚入行的小白学习如何在Hadoop中使用IDEA（IntelliJ IDEA）输出文件内容。本篇文章将详细介绍整个过程，包括每一步需要的代码，并附上必要的注释，帮助你更好地理解每个步骤。我们还将使用Mermaid语法展示饼状图和旅行图，便于直观理解。
## 整体流程
首先，我们来看看在Hadoop中输
# 如何实现Hadoop改变输出文件的名字
## 1. 整个流程
| 步骤 | 操作 |
|------|------|
| 1 | 设置job的输出路径 |
| 2 | 在job运行前改变文件名 |
| 3 | 重命名输出文件 |
## 2. 每一步的操作
### 步骤1: 设置job的输出路径
在编写MapReduce程序时，需要在Driver类中设置job的输出路径，代码如下：
原创
2024-06-22 06:41:32
88阅读
在处理Hadoop中输出文件到终端这一问题时，我总结了整个解决过程，包括备份策略、恢复流程、灾难场景、工具链集成、日志分析、预防措施等多个部分，希望对Hadoop用户提高文件输出效率有所帮助。
首先，我们来讨论备份策略，这是确保数据安全和完整性的关键环节。以下是我的备份流程图，展示了整个备份过程的逻辑：
```mermaid
flowchart TD
A[开始备份] --> B{备份类
1.-rwxrw-r-- 1 root root 2321 Sep 4 8:21 samba.txt [文件权限] [连接数] [文件所有者] [文件所属组] [文件大小,单位B] [最后修改时间] [文件名] 文件创建时默认权限为7552.权限前第一位字符代表的意思 “-” 代表文件
原创
2015-07-28 11:57:51
962阅读
文件类型文件权限连接数文件所有者文件所属用户组文件大小文件最后被修改时间文件名-rw-r--r--1testtestgroup5238Jun 1910：25test.txtrw-r--r--文件所有者的权限文件所属用户组的权限其他组的权限权限的分数对照：'r'=4 'w'=2 'x'=1 '-'=0权限修改命令：chgrp:修改文件所属用户组 ，如：chgrp users install.log/
原创
2017-03-01 21:37:33
587阅读
Linux文件属性 作者：左婷婷归档：学习笔记2018/7/30 快捷键：Ctrl + 1 标题1Ctrl + 2 标题2Ctrl + 3 标题3Ctrl + 4 实例Ctrl + 5 
原创
2018-08-02 17:16:24
342阅读
Linux文件属性 作者：左婷婷归档：学习笔记2018/7/30 快捷键：Ctrl + 1 标题1Ctrl + 2 标题2Ctrl + 3 标题3Ctrl + 4 实例Ctrl + 5 
原创
2018-08-02 17:16:28
336阅读
Linux文件属性作者：左婷婷归档：学习笔记2018/7/30快捷键：Ctrl+1标题1Ctrl+2标题2Ctrl+3标题3Ctrl+4实例Ctrl+5程序代码Ctrl+6正文格式说明：蓝色字体：注释×××背景：重要绿色背景：注意老男孩教育教学核心思想6重：重目标、重思路、重方法、重实践、重习惯、重总结学无止境，老男孩教育成就你人生的起点！联系方式:网站运维QQ交流群：Linux385168604
原创
2018-08-14 16:46:33
344阅读
