1. shell配置文件的位置最常用的shell有sh和bash等，此处只讲sh和bash1.1. sh(Bourne Shell)配置文件主要有两个，分别为每个用户主目录中的.profile文件以及/etc/profile文件，前者是用户独有的，后者是所有用户共有的;.profile是在profile(有点复杂,不太明白)之后运行的，不具体讲解 1.2. bas
转载
2023-08-14 08:49:26
167阅读
linux之shell脚本执行及配置文件bash脚本执行方法: 1 解释器直接运行
/usr/bin/bash bash FOO.sh
2 使用路径运行脚本(需要有x权限
原创
2017-09-09 13:06:29
3347阅读
hadoop hdfs的shell命令与java 常用api的操作与思想保持一致，故对比，易于理解与记忆 主要区别点： shell命令行，一般在虚拟机集群或者远程连接工具Xshell上操作，被操作对象分别为 Linux文件系统本地 + HDFS文件系统 Java API，一般在Windows系统下idea软件上编写代码操作，被操作对象分别为 Windows文件系统本地 + HDFS文件系统（一）H
转载
2024-04-11 13:55:42
95阅读
1 准备知识HDFS：hadoop集群分布式文件系统，用来存储海量数据。HDFS采用分而治之的设计思想，将文件切分为文件块进行存储，存储数据的节点为datanode，存储这些数据具体存放位置的节点为namenode。HDFS的架构为一主多从，即namenode为主，datanade为从。本文主要介绍HDFS的shell命令，即如何通过命令行对HDFS进行操作。首先附上官网链接，HDFS Comma
转载
2024-03-20 12:44:56
53阅读
读取配置文件的shell脚本实现。
原创
2015-12-12 11:13:04
383阅读
前言协助同事:用shell脚本实现对配置文件的读取，并将读取到的配置项以变量的形式返回。随手整理了安装过程，提供各位看官参考。{如有错漏，烦劳指出，谢谢！}{如有侵权，烦劳告知，跪谢！}
原创
2021-12-25 18:37:38
7392阅读
前言
我们在liunx上使用脚本经常碰到需要读取自定义配置文件来执行脚本，实现可配置化执行脚本，增加灵活性，ini配置文件是windows经常在bat脚本使用，那么在liunx上也能灵活使用。
常用的ini配置文件格式
[module1] # 根据[]来划分一个个模块的配置项
key1=value1 # 使用key-value键值对进行配置，方便读取
[module2]
key2=valu
原创
2021-06-10 20:33:37
2837阅读
目录 问题 实例 问题 问： 想在bash脚本中修改改安装Oracle软件的响应文件db_install.rsp。 相关参数有： SELECTED_LANGUAGES=en,zh_CN,zh_TWORACLE_HOME=/u01/app/oracle/prod...
转载
2021-05-08 15:34:00
944阅读
2评论
目录问题实例问题问：想在bash脚本中修改改安装Oracle软件的响应文件db_install.rsp。相关参数有：SELECTED_LANGUAGES=en,zh_CN,zh_TWORACLE_HOME=/u01/app/oracle/product/11.2.0/db_1ORACLE_BASE=/u01/app
原创
2021-09-28 09:49:25
563阅读
安装配置Hadoop开发环境下载Hadoop我们去官网下载：http://hadoop.apache.org/配置Hadoop环境来搭建一个单节点的集群，配置一个伪分布式，为什么不做分布式呢？其实分布式的配置和伪分布式差不多，只是分布式机器增加了而已，其他没什么两样。##设置SSH免密登录 在之后操作集群的时候我们需要经常登录主机和从机，所以设置SSH免密登录时有必要的。输入如下代码：ssh-ke
转载
2024-03-25 16:22:08
0阅读
Hodoop1.x 到 Hadoop2.x1、Hadoop 1.x 存在的问题：– HDFS存在的问题 • NameNode单点故障，难以应用于在线场景• NameNode压力过大，且内存受限，影响系统扩展性– MapReduce存在的问题 • JobTracker访问压力大，影响系统扩展性•难以支持除MapReduce之外的计算框架，比如Spark、Storm等 2、Hadoop 1.
转载
2024-05-31 19:12:07
72阅读
ls /etc/profile 环境变量配置文件/etc/profile.d 自定义.sh文件,都放在这个目录下#!/bin/bashexport PATH=$PATH:/usr/local/apache ---可以直接使用apache目录下的命令source /etc/profile 让新定
原创
2016-06-08 17:03:59
848阅读
#!/bin/bash
# 该脚本是用来配置nginx配置文件语法高亮
# 我已经把nginx.vim放在了我的服务器上172.16.0.1,大家可以去官网上下载
echo 'get nginx.vim
bye' | lftp 172.16.0.1:/pub/Sources/sources/nginx
mkdir 
原创
2015-01-06 20:35:07
810阅读
core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</v
原创
2022-07-19 12:04:24
79阅读
1，合并+去重+分割 第一：两个文件的交集，并集前提条件：每个文件中不得有重复行1. 取出两个文件的并集(重复的行只保留一份)2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)3. 删除交集，留下其他的行1. cat file1 file2 | sort | uniq > file32. cat file1 file2 | sort | uniq -d > file
转载
2024-05-23 16:46:20
98阅读
记录一下常用的HDFS的Shell操作命令，它们基本上与Linux命令相同，只不过使用的时候书写需要多点格式。一定要先给hadoop添加了环境变量，才能像我下面这样在每个命令前面写上“hadoop fs”，当然也可以使用“hdfs dfs”作为前缀，但是使用这个前缀的时候必须在hadoop的根据录下，否则会提示找不到或者无法加载主类。而第一种，因为配置了全局环境变量
转载
2024-05-06 16:48:53
68阅读
HDFS的shell命令操作（Shell指令）1）基本语法2）参数大全3）常用命令实操（1）-help：输出这个命令参数（2）-ls: 显示目录信息（3）-mkdir：在hdfs上创建目录（4）-moveFromLocal从本地剪切粘贴到hdfs（5）-moveToLocal：从hdfs剪切粘贴到本地（6）--appendToFile ：追加一个文件到已经存在的文件末尾（7）-cat ：显示文件
转载
2023-12-06 17:27:30
189阅读
文章目录指定默认shell/登录shell/登录zsh shell后自
原创
2022-06-14 22:27:52
869阅读
# Java HDFS 配置文件位置的实现
在使用Java操作Hadoop HDFS（Hadoop Distributed File System）时，正确配置HDFS的相关属性至关重要。为了确保你的应用程序能够成功访问HDFS，你需要了解如何设置配置文件的位置。在这篇文章中，我将引导你一步步完成HDFS配置文件位置的设置，虽然可能会觉得信息量有些大，但我会尽量详细解释每一步，以帮助你理解。
序言：本文介绍HDFS分布式搭建，使用4台新的虚拟机，文中部分需要使用到wget等工具，请自行下载。菜鸟作者用来整整2天的时候才搭建成功，中间遇到了种种坑~~~环境：1. 使得主机之间可以互相通信 1.1 修改主机名：hostnamectl set-hostname 主机名1.2 修改hosts文件vim /etc/hosts加入以下语句192.168.174.128 master
192.
