邵奈一shaonaiyi888的博客_复制粘贴玩转大数据系列专栏,产品,复制粘贴玩大数据系列教程

Spark RDD高级应用（传参、闭包、共享变量）

教程目录0x00 教程内容0x01 向Spark传递参数的方式1. 匿名函数2. 传入静态方法和传入方法的引用0x02 闭包1. 闭包的概念2. 闭包实操3. 打印 RDD 的元素0x03 共享变量1. 广播变量2. 累加器0xFF 总结 0x00 教程内容向Spark传递参数的两种方式闭包的概念及实操共享变量的两种方式 0x01 向Spark传递参数的方式Spark 中的大部分操作都依赖于用户传

spark

大数据

匿名函数

共享变量

原创 2022-01-30 10:11:56 241 阅读

网站用户行为分析项目之会话切割（一）

项目背景我们在浏览网站的时候，我们的很多信息都会被网站的后台采集到，采集的方式有很多种，至于怎么采集，以后有机会再写教程详细说，这篇教程主要是讲解采集到了数据后，对数据进行一个切割的过程。关于信息的收集，可参考文章，自行了解一下：网站分析数据（即用户行为数据）的三种收集方式详解如果有时间，再整理相应的实操教程出来。目前我们有三份数据数据一、网站用户点击日志（存储在HDFS），格式如下：...

用户行为分析

会话切割

数据

maven

spark

原创 2022-01-30 09:38:06 323 阅读

Vue2.x案例之计划清单的实现

教程目录0x00 教程内容0x01 准备环境1. 安装nvm（node与npm）2. 安装并初始化vue-cli0x02 开发Todolist1. 启动项目2. 编写代码3. 代码讲解0x03 校验效果1. 详细步骤0xFF 总结0x00 教程内容0x01 准备环境1. 安装nvm（node与npm）a. 请参考教程：Node版本管理工具nvm的安装与使用（windows）b....

vue

前端

初始化

编写代码

全栈工程师

原创 2022-01-30 09:37:40 80 阅读

Java的序列化与反序列化实操

文章目录0x00 文章内容0x01 编写代码1. 编写对象类2. 编写调用测试代码0x02 测试结果1. 测试序列化2. 测试反序列化3. 查看生成的文件大小4. 测试修改对象代码0xFF 总结0x00 文章内容编写代码测试结果0x01 编写代码1. 编写对象类a. 编写Block类package com.shaonaiyi.hadoop.serialize;import j...

java

大数据

序列化

反序列化

原创 2022-01-30 09:37:18 107 阅读

Hadoop支持的文件格式之Text

文章目录0x00 文章内容0x01 Text格式概念1. Text是啥0x02 编码实现1. 写文件完整代码2. 读文件完整代码0x03 校验结果1. 启动集群2. 执行写Text文件格式代码3. 执行读Text文件格式代码0x04 可能出现的问题解决1. 类无法导入0xFF 总结0x00 文章内容Text格式概念编码实现校验结果可能出现的问题解决Hadoop支持的四种常用的文件格...

文件格式

hadoop

apache

mapreduce

原创 2022-01-30 09:37:03 480 阅读

Windows本地安装Hadoop

文章目录0x00 文章内容0x01 下载并解压1. 下载Hadoop安装包2. 解压Hadoop安装包0x02 配置执行环境1. 配置环境变量2. 拷贝相关文件到相应目录0xFF 总结0x00 文章内容下载并解压配置执行环境0x01 下载并解压1. 下载Hadoop安装包a. 此步骤略过2. 解压Hadoop安装包a. 如果你的Win系统当前用户不是管理员用户，为了保险起见，需...

hadoop

大数据

安装与配置

hadoop安装

执行环境

原创 2022-01-30 09:36:25 215 阅读

Zookeeper之zkCli.sh客户端的使用

0x00 教程内容0x01 zkCli.sh的启动与帮助1. 启动2. 查看帮助命令0x02 zkCli.sh客户端的使用1. zkCli.sh基础操作2. zkCli.sh进阶操作0xFF 总结

zookeeper

大数据

bigdata

子节点

客户端

原创 2022-01-30 09:36:06 431 阅读

“Usage of API documented as @since 1.8+”报错的解决办法

原因：无法引入类，版本问题。解决办法如下：方法一：修改Project Structure的Language level方法二：直接在pom.xml文件添加插件 <build> <plugins> <plugin> <groupId>org.apache.maven...

问题解决

maven

apache

xml文件

原创 2022-01-30 09:35:47 454 阅读

Hadoop压缩机制及实操

文章目录0x00 文章内容0x01 Hadoop压缩机制1. 压缩的关键2. Hadoop支持的压缩工具0x02 代码实操1. 原理2. 代码及校验0xFF 总结0x00 文章内容Hadoop压缩机制代码实操压缩是一种通过特定的算法来减小计算机文件大小的机制。这种机制是一种很方便的发明，尤其是对网络用户，因为它可以减小文件的字节总数，使文件能够通过较慢的互联网连接实现更快传输，此外还...

hadoop

压缩机制

apache

3g

原创 2022-01-30 09:35:36 59 阅读

Hadoop支持的文件格式之Avro

文章目录0x00 文章内容0x01 行存储与列存储1. 行存储2. 列存储2. Avro与Parquet0x02 编码实现Avro格式的读写1. 编码实现读写Avro文件2. 查看读写Avro文件结果3. 编码实现读写Avro文件到HDFS4. 查看读写Avro文件结果（HDFS）0xFF 总结0x00 文章内容行存储与列存储编码实现Avro格式的读写0x01 行存储与列存储比如现在...

文件格式

hadoop

apache

java

原创 2022-01-30 09:35:15 470 阅读

问题解决：IDEA自动重置Language Level和JavaCompiler版本

问题：Maven项目总是自动调整Language Level，导致一些代码不兼容解决：引入插件，设置上版本号，可自行修改。 <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</a...

java

maven

maven项目

apache

原创 2022-01-30 09:34:51 251 阅读

Hadoop支持的文件格式之Parquet

文章目录0x00 文章内容0x01 行存储与列存储1. Avro与Parquet0x02 编码实现Parquet格式的读写1. 编码实现读写Parquet文件2. 查看读写Parquet文件结果3. 编码实现读写Parquet文件（HDFS）4. 查看读写Parquet文件（HDFS）结果0x03 彩蛋0xFF 总结0x00 文章内容行存储与列存储编码实现Parquet格式的读写彩蛋...

文件格式

parquet

hadoop

apache

hdfs

原创 2022-01-30 09:34:38 1792 阅读

Hadoop支持的文件格式之SequenceFile

文章目录0x00 文章内容0x01 SequenceFile格式概念1. SequenceFile是啥0x02 编码实现1. 写文件完整代码2. 读文件完整代码3. 写文件完整代码（HDFS）4. 读文件完整代码（HDFS）0x03 校验结果1. 启动集群2. 执行写SequenceFile文件格式代码3. 执行读SequenceFile文件格式代码4

hadoop

文件格式

apache

hdfs

原创 2022-01-30 09:34:20 367 阅读

VirtualBox安装教程及使用（Windows）

virtualbox安装详解VirtualBox＋CentOS7安装教程

windows

centos

解决方案

公众号

原创 2022-01-30 09:34:01 1200 阅读

Python模拟日志生成

0x00 文章内容0x01 编写Python代码1. 完整代码0x02 生成日志1. Linux定时调度工具的使用2. 验证日志是否生成（Linux）3. 验证日志是否生成（Windows）0xFF 总结

python

日志生成

大数据

linux

html

原创 2022-01-30 09:33:37 483 阅读

通过SequenceFile实现合并小文件(调优技能)

文章目录0x00 文章内容0x01 通过SequenceFile合并小文件1. 准备工作2. 完整代码0x02 检验结果1. 启动HDFS和YARN2. 执行作业3. 查看执行结果0xFF 总结0x00 文章内容通过SequenceFile合并小文件检验结果说明：Hadoop集群中，元数据是交由NameNode来管理的，每个小文件就是一个split，

合并小文件

sequencefile

大数据

调优

hadoop

原创 2022-01-30 09:33:20 298 阅读

IDEA入门到精通系列（一）

教程目录0x00 教程内容0x01 字体设置1. 设置窗口字体2. 设置代码字体3. 设置console控制台字体4. 设置实时调整字体大小0x02 编码设置1. 设置全局、项目编码为UTF-82. 设置SSH终端编码为UTF-80x03 项目结构设置1. 引入JDK2. 给项目的模块设置文件夹类型3. 给项目的模块添加额外依赖4. 给项目的模块

intellij idea

ide

项目结构

scala

原创 2022-01-30 09:33:03 92 阅读

Web课程导学

为什么学习Web知识？我们的生活和工作离不开互联网，互联网网页的制作是Web技术的成果。也正因为此，学习Web技术不易过时。Web前端技术应用领域广泛，诸多优秀的移动端产品同样有赖于Web技术支持。技术市场对学习Web前端的人才需求大，就业机会多。如果你入门Web后，

html

css

web

js

web技术

原创 2022-01-30 09:32:41 59 阅读

IDEA入门到精通系列（二）

教程目录0x00 教程内容0x01 编辑区设置1. 实时显示编辑区2. 自动导包0x021.2.0xFF 总结0x00 教程内容如何实现像Sublime一样，点击文件名，编辑区的文件问实时显示出来？！如何设置自动导包？！如何显示编辑区的行号？！如何设置最适合宽屏显示器的标签Tab？！说明：因为IDEA版本原因，

intellij idea

文件名

ide

导包

原创 2022-01-30 09:32:20 70 阅读

Scala入门教程

教程目录0x00 教程内容0x01 Scala 理论1. Scala 基本概念2. Scala 交互式命令行0x03 Scala 基本语法1. 基础语法2. 标识符3. 注释4. 数据类型5. 常量和变量6. 基本函数7. 局部应用8. 柯里化函数9. 可变长度参数10. 类11. 构造函数12. 继承13. 重载方法14. 抽象类15. 特质16. 集合0xFF

scala

大数据

标识符

java

原创 2022-01-30 09:32:01 340 阅读

VMware虚拟机打不开/dev/vmmon无此文件或目录

问题如图：解决方法：https://jingyan.baidu.com/article/48b558e3e815737f38c09a23.html

wmware

报错解决

vmware虚拟机

解决方法

html

原创 2022-01-30 09:31:39 10000+阅读

IDEA入门到精通系列（三）

教程目录0x00 教程内容0x01 复制粘贴的技巧1. 复制历史2. 快速删除、剪切和复制3. 不带格式复制4. 多行编辑0x02 代码选项设置1. 格式化代码2. 移动一行或多行3. 优化引入的包语句0xFF 总结0x00 教程内容如何查找并粘贴之前的复制历史？！如何快速删除、剪切和复制？！不带格式的技巧超实用技巧：多行编辑代码格式化、移动一行或多行、优化引入的包语句说明

开发工具

快捷键

ide

行编辑

原创 2022-01-30 09:31:26 352 阅读

IDEA入门到精通系列（四）

教程目录0x00 教程内容0x01 快速跳转1. 编辑区的光标跳转2. 光标跳转到特定行3. 切换IDEA的Tab0x02 快速查找1. 查找和替换文本内容2. 按文件名查找文件3. 查找操作和菜单4. 万能查找0x03 彩蛋0xFF 总结0x00 教程内容如何实现光标快速跳转，如按单词跳转？！如何跳转到特定行？！如何切换IDEA中的Tab？！实

intellij idea

开发工具

快捷键

查找文件

ide

原创 2022-01-30 09:31:03 107 阅读

【邵奈一】Python爬虫专栏（一）之Python爬虫热身

教程目录0x00 教程内容0x01 Python环境准备1. Windows环境2. MacOS环境0x02 Python语法熟悉1. Python模拟日志生成例子2. 语法示例URL IP信息 referer 状态码日志访问时间0xFF 总结0x00 教程内容为什么要学习Python学会安装好Python环境熟悉Python的语法Python

python

爬虫

html

数据类型

原创 2022-01-30 09:30:38 43 阅读

【邵奈一】Python爬虫专栏（二）之Selenium初体验

教程目录0x00 教程内容0x01 Selenium讲解1. 概念2. 优缺点0x02 安装Selenium1. Python安装Selenium2. 检验是否安装成功3. 安装浏览器驱动0x03 Selenium第一个例子1. 使用Selenium打开博客0xFF 总结0x00 教程内容教程背景：上个课程已经可以跑通了第一个爬虫项目，数据可以写成一个文件，

python

chrome

谷歌浏览器

环境变量

原创 2022-01-30 09:30:14 60 阅读

【邵奈一】Python爬虫专栏（三）之自动登录

0x00 教程内容0x01 基础储备1. 自动登录流程2. 获取元素信息3. 提交内容0x02 自动登录实现1. 流程2. 完整代码3. 执行结果0x03 彩蛋0xFF 总结

python

selenium

爬虫

自动登录

chrome

原创 2022-01-30 09:29:49 129 阅读

Spark RDD的实操教程（一）

教程目录0x00 教程内容0x01 RDD 概念1. RDD 简介2. RDD 特点0x02 RDD 的创建方式1. 环境准备2. 三种创建方式2.0xFF 总结0x00 教程内容实验知识点RDD 简介连接并初始化 SparkSpark RDD 数据源RDD 的转化操作RDD 的行动操作0x01 RDD 概念1. RDD 简介RDD

spark

rdd

大数据

数据

hdfs

原创 2022-01-30 09:29:27 100 阅读

Spark RDD的实操教程（二）

教程目录0x00 教程内容0x01 RDD 的算子操作1. 算子介绍a. 两种算子类型b. 举个例子c. 总结2. 转化算子（transformations算子）3. 行动算子（actions算子）0x021.2.0xFF 总结0x00 教程内容上一篇教程：Spark RDD的实操教程（一）我们已经对RDD有了基本的认识，接下来我们继续学习各种各样的算子。

spark

大数据

数据集

数据

原创 2022-01-30 09:28:43 144 阅读

Spark Shell入门教程

教程目录0x00 教程内容0x011.0x021.2.0xFF 总结0x00 教程内容学习前提：有一定的Scala基础、基本的 Linux 基础，对Spark有一定的概念，并且安装好了Spark环境。其他参考教程：1、分布式集群环境之Scala的安装与配置（Centos7）2、分布式集群环境之Spark的安装与配置（Centos7）0x011.Spark-

spark

入门

大数据

hadoop

词频统计

原创 2022-01-30 09:28:21 634 阅读

Spark RDD算子进阶（转换算子、行动算子、缓存、持久化）

0x00 教程内容0x01 进阶算子操作1. 创建RDD2. 转换算子3. 行动算子0x02 RDD的缓存与持久化1. 缓存与持久化的意义2. 缓存3. 持久化

spark

大数据

持久化

数据

序列化

原创 2022-01-30 09:27:46 558 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

邵奈一