3 Linux常用的命令3.1 查找命令grep命令 命令是一种强大的文本搜索工具格式： grep [option] pattern [file] 可使用 —help 查看更多参数。 使用实例：ps -ef | grep sshd 查找指定 ssh 服务进程ps -ef | grep sshd | grep -v grep 查找指定服务进程，排除 gerp 本身grep -n 'hel...
原创
2021-08-18 02:11:29
136阅读
0x00 教程内容0x01 Linux命令常用操作1. Linux命令常用操作2. vi 编辑器常用操作3. 注意事项0xFF 总结
原创
2021-06-10 20:52:37
264阅读
0x00 教程内容0x01 Linux命令常用操作1. Linux命令常用操作2. vi 编辑器常用操作3. 注意事项0xFF 总结
原创
2022-02-11 09:44:45
152阅读
3 Linux常用的命令
3.1 查找命令
grep命令 命令是一种强大的文本搜索工具
格式： grep [option] pattern [file] 可使用 —help 查看更多参数。 使用实例：
原创
2022-03-04 16:59:14
117阅读
1.Linux日常操作的命令 pwd查看当前所在的目录 date查看当前系统使用的时间 查看有谁在线(哪些人登录了服务器) who 查看当前在线 last 查看最近的登录历史信息 hostname 查看主机名称,修改主机名称 vi /etc/sysconfig/network uname -a 查看 ...
转载
2021-10-16 15:26:00
108阅读
2评论
读取HDFS文件大小#!/bin/bashpath=$1dir=$(hadoop fs -ls $path | awk '{print $8}')f
原创
2022-12-28 15:11:00
155阅读
常见端口汇总：Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 19888：jobhistory WEB UI端口Zookeeper: 2181 ： 客户端连接zookeeper的端口 ...
原创
2021-09-05 13:36:47
705阅读
常见端口汇总：Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 19888：jobhistory WEB UI端口Zookeeper: 2181 ： 客户端连接zookeeper的端口 ...
原创
2022-01-20 13:50:30
252阅读
# 大数据常用架构实现流程
## 概述
大数据常用架构是指在处理海量数据时，所采用的一种分布式系统架构。通过将数据分散存储和处理，可以提高数据处理的效率和可扩展性。本文将介绍大数据常用架构的实现流程，并提供相应的代码示例。
## 实现流程
下面是实现大数据常用架构的基本步骤，可参考该表格进行操作：
| 步骤 | 描述 |
| --- | --- |
| 1. 数据采集 | 从各种数据源（如数
原创
2023-07-19 20:24:46
711阅读
原创
2021-07-20 21:19:04
618阅读
4.1 Linux系统软件安装方式
Linux上的软件安装有以下几种常见方式：
1、二进制发布包
软件已经针对具体平台编译打包发布，只要解压，修改配置即可
2、RPM发布包
软件已经按照redhat的包管理工具规范RPM进行打包发布，需要获取到相应的软件RPM发布包，然后用RPM命令进行安装
3、Yum在线安装
软件已经以RPM规范打包，但发布在了网络上的一些服务器上，可用yum在线安装服
转载
2018-12-06 20:10:00
157阅读
2评论
1 挂载外部存储设备
可以挂载光盘、硬盘、磁带、光盘镜像文件等
1/ 挂载光驱
mkdir /mnt/cdrom 创建一个目录，用来挂载
mount -t iso9660 -o ro /dev/cdrom /mnt/cdrom/ 将设备/dev/cdrom挂载到 挂载点 ： /mnt/cdrom中
2/ 挂载光盘镜像文件（.iso文件）（Alt+P）
mount -t
转载
2018-12-06 10:38:00
55阅读
2评论
二.目录操作
1 查看目录信息
ls / 查看根目录下的文件信息
ls . 或者 ls ./查看当前目录下的文件信息
ls ../查看根目录下
ls /home/hadoop
ls -l . 查看当前目录的详细信息
ls -l -h或者ls -lh 查看详细信息带单位
ls -lha -a是显示隐藏文件 -l是以更详细的列表形式显示
2 切换工作目录
cd / 跳到根目录
cd /home/h
转载
2018-11-14 22:47:00
71阅读
2评论
一.基本日常操作命令
1 查看当前所在工作目录的全路径 pwd
2 查看当前系统的时间 date
设置时间，date -s"2018-11-12"
修改时间后，需要写入硬件bios才能在重启之后生效，hwclock -w
3 查看哪些人登录了服务器
命令 who
查看最近的登录人
last
last -3 最近的三个人登录
4 关机/重启
关机，必须用root用户
shutdown -h no
转载
2018-11-13 14:00:00
146阅读
2评论
常用命令 1.查看Linux系统的信息 uname -a
原创
2021-04-13 20:41:39
592阅读
四 查到命令
1 查找可执行的命令所在的路径 which ls 查ls命令所在的路径
2 查找可执行的命令和帮助的位置 whereiis ls
3 从某个文件夹开始查找文件 find / -name "hadoop*" 在根目录下根据名字查找hadoop文件
find / -name "hadoop*" -ls
4查找并删除 find / -name "hadoop*" -ok rm {} \;
转载
2018-11-16 16:43:00
113阅读
2评论
三 文件操作
1创建文件
touch somefile.txt 创建一个空文件somefile.txt
> 重定向操作符
echo "woshiwoa"> some.txt 将woshiwoa写入到some.txt 文件中，如果文件不存在则会创建出来
echo "www.baidu.com" >> some.txt 将文字追加在文件后面，不会覆盖原文件内容。
ll >
转载
2018-11-15 18:13:00
138阅读
2评论
大数据架构 目前围绕Hadoop体系的大数据架构包括：传统大数据架构数据分析的业务没有发生任何变化，但是因为数据量、性能等问题导致系统无法正常使用，需要进行升级改造，那么此类架构便是为了解决这个问题。依然保留了ETL的动作，将数据经过ETL动作进入数据存储。数据分析需求依旧以BI场景为主，但是因为数据量、性能等问题无法满足日常使用。流式架构在传统大数据架构的基础上，流式架构数据全程以流的
转载
2023-06-12 21:03:33
259阅读
本文目录Hadoop 原理hdfs读流程hdfs写流程Hive 原理HBase 原理Flume 运行原理kafka 原理MapReduce 原理Spark 原理 Hadoop 原理hdfs读流程HDFS文件读流程：客户端读取数据的过程如下：（1）首先客户端会调用FileSystem. open()方法获取的dfs实例，dfs会向远程的NameNode发送RPC请求。 （2）然后NameNode会
转载
2023-08-01 14:38:05
95阅读
大数据常用默认端口
HADOOP
端口
说明
50070
HDFS WEB UI端口
8020
高可用的HDFS RPC端口
9000
非高可用的HDFS RPC端口
8088
yarn的WEB UI接口
8485
JournalNode的RPC端口
8019
ZKFC端口
19888
MapReduce
8032
yarn的通讯端口
HIVE
端口
说明
9083
metast
转载
2021-06-10 09:02:28
1311阅读
2评论
