翁老师的教学团队的博客_2021大数据班（翁老师）

欢迎

电商数仓（用户行为数据采集）

x

数据采集

hadoop

数据

服务器

原创 2023-01-09 11:36:44 563 阅读

Hive3_1

1 Hive基本概念1.1 什么是Hive》》1： hive简介Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表

hive3

hive

mysql

hadoop

原创 2022-09-16 09:01:03 128 阅读

5 网络配置和系统管理操作

5 网络配置和系统管理操作5.1 查看网络IP 和网关（1）查看虚拟网络编辑器（2）修改虚拟网卡Ip（

linux

网络

hadoop

运行级别

重启

原创 2022-09-16 06:21:59 134 阅读

7 常用基本命令11-20

7.2.11 more 文件内容分屏查看器more指令是一个基于VI编辑器的文本过滤器，它以全屏幕

linux

基本语法

软链接

显示文件

原创 2022-09-16 06:07:05 189 阅读

7 常用基本命令1-10

7 常用基本命令7.1 帮助命令7.1.1 man 获得帮助信息基本语法man [命令或配置文件]（功能描述：对路

linux

基本语法

绝对路径

重命名

原创 2022-09-16 06:06:57 115 阅读

7 常用基本命令21-30

7.4 用户管理命令7.4.1 useradd 添加新用户1．基本语法useradd 用户名（功能描述：添加新用户

linux

基本语法

用户名

用户组

原创 2022-09-16 06:06:47 86 阅读

Hadoop3_06（重点）

5 NN和2NN（面试开发重点）5.1 NN和2NN工作机制思考：NameNode中的元数据是存储在哪里

Hadoop

hdfs

元数据

hadoop

原创 2022-09-16 06:06:37 182 阅读

Hadoop3_05

1 HDFS概述1.1 HDFS产出背景及定义1.1 产出背景随着数据量越来越大，在一个操作系统管辖的范围

hadoop

hdfs

xml

原创 2022-09-16 06:06:12 72 阅读

7 常用基本命令41-50

7.9 磁盘分区类7.9.1 df 查看磁盘空间使用情况df: disk free 空余硬盘1．基本语法df 选项 9M 224K

linux

centos

操作系统

firefox

基本语法

原创 2022-09-15 19:51:52 117 阅读

7 常用基本命令41-50

7.9 磁盘分区类7.9.1 df 查看磁盘空间使用情况df: disk free 空余硬盘1．基本语法df 选项 24K

linux

centos

操作系统

firefox

基本语法

原创 2022-09-15 19:51:52 44 阅读

7 常用基本命令31-40

7.7 搜索查找类7.7.1 find 查找文件或者目录find指令将从指定目录``向下递归地遍历其you/ -user dev （3）按文件大小：在/home目录下查找大于200

linux

基本语法

解压缩

数据库

原创 2022-09-15 19:51:51 92 阅读

Shell01

1 Shell概述》1：大数据程序员为什么要学习Shell呢？（1）需要看懂运维人员编写的Shell程hell解析器有：cat /etc/shells/bin/sh/bin/bash/sbin/nol

shell

linux

bash

基本语法

vim

原创 2022-09-15 19:51:38 581 阅读

Shell02

7 流程控制（重点）7.1 if 判断1．基本语法if [ 条件判断式 ];then 程序 fi 或者 if [ 条件判断式 ] thhvim if.sh添加#!/bin/

shell

sed

bash

vim

原创 2022-09-15 19:51:25 68 阅读

Hadoop3_01

1 大数据概论1.1 大数据概念大数据概念大数据（big data）：指无法在一定时间范围

hadoop

大数据

数据

原创 2022-09-15 19:51:16 85 阅读

Hadoop3_02（重点）

3 Hadoop运行环境搭建（开发重点）3.1 虚拟机环境准备-（1）克隆虚拟机，虚拟机配置)ifconf

大数据

hadoop

java

vim

原创 2022-09-15 19:51:07 60 阅读

Hadoop3_03

4 Hadoop运行模式Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。H也可以自行在

hadoop

hdfs

mapreduce

原创 2022-09-15 19:51:03 197 阅读

Hadoop3_07

1 MapReduce概述1.1 MapReduce定义Mapreduce是一个分布式运算程序的编程

linux

hadoop

mapreduce

apache

原创 2022-09-15 19:50:53 102 阅读

Hive常用函数.md

1常用函数常用日期函数unix_timestamp:返回当前或指定时间的时间戳from_unixtime几天months_between：两个日期间的

hive3

unix

取整

时间戳

原创 2022-09-15 19:50:33 129 阅读

Hive3_2

4.5.3 管理表与外部表的互相转换（1）查询表的类型hive (default)> desc formatted

hive3

hive

数据

hdfs

原创 2022-09-15 19:50:20 64 阅读

窗口函数over.md

over()over() 函数在Hive中运用广泛，通常搭配row_number() ,min(),max(),sum()来使用,总

hive3

hive

数据导入

原创 2022-09-15 19:50:14 71 阅读

Hive3_3

11 Hive实战11.1 需求描述统计iqiyi视频网站的常规指标，各种TopN指标：– 统计视频观看

hive3

ide

hadoop

hive

原创 2022-09-15 19:50:09 737 阅读

Hadoop3_08

2 Hadoop序列化2.1 序列化概述1：什么是序列化？序列化就是把内存中的对象，转

split

maptask

reducetask

序列化

mapreduce

原创 2022-09-15 19:49:53 72 阅读

Hadoop3_09

3.3 Shuffle机制3.3.1 Shuffle机制Map方法之后，Reduce方法之前的数据处理过程称之为Shu机归属地不同省份输出到不同文件中（分区）（1）默认partition分区public c

mapreduce

hadoop

apache

原创 2022-09-15 19:49:44 83 阅读

Hadoop3_11

3.8.2 数据清洗案例实操-复杂解析版1.需求对Web访问日志中的各字段识别切分，去除日志中不合法的记录。根据清洗规则，输出过滤后的数据。（1）输入数据weblog.txt（2）期望输出数据都是合法的数据2.实现代码（1）定义一个bean，用来记录日志数据中的各数据字段public class LogBean { private String remote_user;// 记录客户端用户

hadoop

apache

mapreduce

原创 2022-09-15 19:49:37 40 阅读

Hadoop3_10

3.4 MapTask工作机制MapTask工作机制如图（1）Read阶段：MapTask通过用户编写的Reco

hadoop

数据

apache

原创 2022-09-15 19:49:17 103 阅读

6 远程登录

6 远程登录通常在工作过程中，公司中使用的真实服务器或者是云服务器，都不允许除运维人员之外的员工直接接触，因此就需要通过远程登录的方式来操作。所以，远程登录工具就是必不可缺的，目前，比较主流的有Xshell, SSH Secure Shell, SecureCRT,FinalShell等，本人比较推荐国产软件Finalshell,同学击运行finalshell_

linux

Finalshell

远程登录

好用

安装使用

原创 2022-09-15 19:46:23 102 阅读

1 Linux入门

1 Linux入门1.1 概述》为什么要学Linux?开源、稳定、漏洞少，靠谱公司都用它。》什

linux

centos

发行版

原创 2022-09-15 19:44:32 13 阅读

3 Linux文件与目录结构

3 Linux文件与目录结构3.1 Linux文件Linux系统中一切皆文件。3.2 Linux目录结构/bin (/usr/bin 、 /usr/local/bin) 是Binary的缩写, 这个目录存放着最经常使用的命令/sbin (/usr/sbin 、 /usr/local/sbin) s就是Super User的意思，这里存放的是系统管理员使用的系统管理程序。/home

linux

root

主目录

linux系统

原创 2022-09-15 15:35:01 86 阅读

4 VI/VIM编辑器

4 VI/VIM

vi

vim

vim编辑器

文本编辑器

数据

原创 2022-09-15 15:34:46 196 阅读

Kafka 报错 InvalidReplicationFactorException: Replication factor:

报错 InvalidReplicationFactorException: Replication factor: 1 larger than available brokers原因是kafka的zk中的配置与创建参数对不上打开server.properties vim /opt/module/kafka/config/server.properties 查看配置 zookeeper.conne

kafka

big data

hadoop

zookeeper

原创 2022-09-15 15:09:15 1015 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

12927594

欢迎

电商数仓（用户行为数据采集）

Hive3_1

5 网络配置和系统管理操作

7 常用基本命令11-20

7 常用基本命令1-10

7 常用基本命令21-30

Hadoop3_06（重点）

Hadoop3_05

7 常用基本命令41-50

7 常用基本命令41-50

7 常用基本命令31-40

Shell01

Shell02

Hadoop3_01

Hadoop3_02（重点）

Hadoop3_03

Hadoop3_07

Hive常用函数.md

Hive3_2

窗口函数over.md

Hive3_3

Hadoop3_08

Hadoop3_09

Hadoop3_11

Hadoop3_10

6 远程登录

1 Linux入门

3 Linux文件与目录结构

4 VI/VIM编辑器

Kafka 报错 InvalidReplicationFactorException: Replication factor: