邵奈一shaonaiyi888的博客_大数据

问题解决：MapReduce输出结果乱码（Eclipse）

所以，最简单的办法其实还是将需要统计文件的编码格式改成UTF-8，这样我们

eclipse

java

乱码

编码格式

MapReduce

原创 2022-07-31 01:22:08 249 阅读

基于Hadoop分布式存储的网盘系统实现（简易粗糙版）

基于Hadoop分布式存储网盘的实现

hadoop

分布式

java

hdfs

ide

原创 2022-05-24 02:41:23 988 阅读

使用Sqoop导出Mysql数据到Hive（实战案例）

教程目录0x00 教程内容0x01 SQL文件准备1. 准备sql脚本2. 执行sql脚本0x02 导出Mysql数据到Hive1. 导出数据到HDFS2. 构建Hive表关联HDFS（movie表）3. 构建Hive表关联HDFS（user_rating表）3.1 模拟增量添加数据操作4. 构建Hive表关联HDFS（u

sqoop

hive

hadoop

数据

原创 2022-03-11 17:50:47 467 阅读

IntelliJ IDEA开发Spark案例之WordCount

教程目录0x00 教程内容0x01 新建Maven项目1. 新建Maven项目2. 项目配置3. 引入项目的依赖0x02 编写WordCount代码1. 新建包2. 编写scala代码0x03 校验结果1. 统计文件准备2. 统计结果0xFF 总结0x00 教程内容新建Maven

spark

大数据

hadoop

scala

maven

原创 2022-02-23 18:31:31 778 阅读

Java API实现HDFS的相关操作

教程目录0x00 教程介绍0x01 新建maven工程1. 新建maven工程0x02 Hadoop的Java API实操1. 源码2. 简单解释0xFF 总结0x00 教程介绍环境介绍：a. Hadoop版本：2.7.5（hadoop-2.7.5.tar.gz

大数据

hadoop

hdfs

java

原创 2022-02-23 18:29:57 190 阅读

大数据日志分析系统背景及架构

hadoop

spark

大数据

数据

数据处理

原创 2022-02-23 18:10:24 603 阅读

大数据常用管理集群脚本集合

Shell使用说明：#!/bin/bashprame=$1 #接收文件名dirname=`dirname $1`basename=`basename $1` #得到文件的basenamecd $dirname #进入该文件路径下fullpath=`pwd -P .`

脚本

大数据

linux

hadoop

xml

原创 2022-02-23 18:10:05 149 阅读

数据迁移的工具Sqoop的安装与配置

教程目录0x00 教程内容0x01 Sqoop的获取与上传1. 官网下载2. 上传安装包到节点0x02 安装并校验Sqoop1. 解压Sqoop安装包2. 配置Sqoop3. 校验Sqoop是否安装成功0x03 导入Mysql的movie表到Hive1. 启动HDFS与YARN2

sqoop

bigdata

mysql

上传

原创 2022-02-16 17:40:24 69 阅读

人工智能、大数据、数据挖掘、机器学习-数据集来源

一、有很多小伙伴说学习大数据和人工智能，需要用到数据，但是又不知道数据去哪里拿，这里我分享一下之前收藏过的一些网站给大家。二、先来回答大家两个问题：问题1：博客里所所涉及到的数据在哪里拿？后台总是有很多小伙伴想问我拿我博客的数据，关于经常被问到的，我都放在公众号匹配词汇中了，只需要回复就可以拿到下载链接。问题2：想学习机器学习，不知道数据怎么来？要问数据可以从哪里来的话，公司里面的数据是肯定拿不到

数据挖掘

人工智能

big data

数据集

机器学习

原创 2022-02-16 17:07:24 847 阅读

Flume入门案例之NetCat-Souces

教程目录0x00 教程内容0x01 Flume的使用1. 编写配置文件2. 安装telnet3. 校验结果0x02 简单讲解1. 流程讲解2. 组件讲解0xFF 总结0x00 教程内容Flume的使用简单讲解安装Flume，请教程：D009 复制粘贴玩大数据之安装与配置Flume集群非常简单，一解压就行了！0x01 Flume的使用1. 编写配置文件a. 编写配置文件c...

flume

bigdata

大数据

配置文件

官网

原创 2022-02-11 09:52:15 62 阅读

Sqoop1的安装配置及入门案例

教程目录0x00 教程内容0x01 Sqoop的下载与解压1. 下载2. 解压0x02 Sqoop的配置及校验1. 配置Sqoop环境变量2. 校验Sqoop0x03 Sqoop的入门案例1. 准备MySQL数据2. 导入MySQL数据到HDFS3. 校验是否导入成功0xFF 总结0x00 教程内容Sqoop的下载与解压Sqoop的配置及校验Sqoop的入门案例说明：1、Sqoop...

sqoop

数据迁移

mysql

hdfs

原创 2022-02-11 09:45:25 136 阅读

Hadoop的序列化与反序列化实操

文章目录0x00 文章内容0x01 编写代码1. 编写对象类2. 编写调用测试代码0x02 测试结果1. 测试序列化2. 测试反序列化3. 测试修改对象代码0xFF 总结 0x00 文章内容编写代码测试结果 0x01 编写代码前提：因为需要用到Hadoop，所以需要先引入Hadoop相关的jar包<dependency> <groupId>org.apache.had

大数据

hadoop

序列化

反序列化

原创 2022-02-07 14:59:02 69 阅读

通过CombineTextInputFormat实现小文件优化(调优技能)

文章目录0x00 文章内容0x01 未修改前情况1. 当前文件情况2. 执行未修改前作业3. 查看结果0x02 CombineTextInputFormat实现小文件优化1. 修改代码2. 执行修uce编程例子之Combiner与Part...

hadoop

jar

ui界面

原创 2022-02-07 14:58:40 22 阅读

在HDFS的HA模式下配置HBase

0x00 文章内容0x01 修改并同步配置文件1. 修改HBase的配置文件2. 同步HDFS的配置文件到slave1、slave23. 复制一份配置文件给HBase0x02 校验结果1. 启动前

hbase

HA

hdfs

配置文件

xml

原创 2022-02-07 14:55:13 464 阅读

浅显易懂入门大数据系列：三、Zookeeper（超详细）

文章目录一、Zookeeper在Hadoop生态圈的位置分布式环境下常见的问题二、Zookeeper的概念及特点Zookeeper的概念Zookeeper的特点Zookeeper的相关名词解释三、Zookeeper的常用应用场景四、配套教程详解配套教程六之Zookeeper集群的安装与配置五、常见错误总结文章总览前面的过程已经学习完了Hadoop的三大组件了，那么就可以去学习新的东西了，原本是应

集群

zookeeper

服务器

配置文件

原创 2022-02-07 14:54:58 127 阅读

HDFS恢复非HA状态

文章目录0x00 文章内容0x01 恢复非HA状态1. 备份并恢复HA配置文件2. 恢复master的Edits Log0x02 校验结果0x03 删除HA状态时多余的文件1. 删除zookeeper

HA

hdfs

hadoop

xml

原创 2022-02-07 14:54:41 139 阅读

浅显易懂入门大数据系列：二、MapReduce、YARN（超详细）

文章目录MapReduce的定义MapReduce的特点MapReduce的架构产生YARN的背景YARN的架构MapReduce on YARN任务调度流程配套教程四之YARN与

MapReduce

YARN

浅显易懂

mapreduce

hadoop

原创 2022-02-07 14:54:19 151 阅读

网站用户行为分析项目之会话切割（一）

项目背景我们在浏览网站的时候，我们的很多信息都会被网站的后台采集到，采集的方式有很多种，至于怎么采集，以后有机会再写教程详细说，这篇教程主要是讲解采集到了数据后，对数据进行一个切割的过程。关于信息的收集，可参考文章，自行了解一下：网站分析数据（即用户行为数据）的三种收集方式详解如果有时间，再整理相应的实操教程出来。目前我们有三份数据数据一、网站用户点击日志（存储在HDFS），格式如下：...

用户行为分析

会话切割

数据

maven

spark

原创 2022-01-30 09:38:06 348 阅读

Java的序列化与反序列化实操

文章目录0x00 文章内容0x01 编写代码1. 编写对象类2. 编写调用测试代码0x02 测试结果1. 测试序列化2. 测试反序列化3. 查看生成的文件大小4. 测试修改对象代码0xFF 总结0x00 文章内容编写代码测试结果0x01 编写代码1. 编写对象类a. 编写Block类package com.shaonaiyi.hadoop.serialize;import j...

java

大数据

序列化

反序列化

原创 2022-01-30 09:37:18 112 阅读

Windows本地安装Hadoop

文章目录0x00 文章内容0x01 下载并解压1. 下载Hadoop安装包2. 解压Hadoop安装包0x02 配置执行环境1. 配置环境变量2. 拷贝相关文件到相应目录0xFF 总结0x00 文章内容下载并解压配置执行环境0x01 下载并解压1. 下载Hadoop安装包a. 此步骤略过2. 解压Hadoop安装包a. 如果你的Win系统当前用户不是管理员用户，为了保险起见，需...

hadoop

大数据

安装与配置

hadoop安装

执行环境

原创 2022-01-30 09:36:25 232 阅读

Hadoop压缩机制及实操

文章目录0x00 文章内容0x01 Hadoop压缩机制1. 压缩的关键2. Hadoop支持的压缩工具0x02 代码实操1. 原理2. 代码及校验0xFF 总结0x00 文章内容Hadoop压缩机制代码实操压缩是一种通过特定的算法来减小计算机文件大小的机制。这种机制是一种很方便的发明，尤其是对网络用户，因为它可以减小文件的字节总数，使文件能够通过较慢的互联网连接实现更快传输，此外还...

hadoop

压缩机制

apache

3g

原创 2022-01-30 09:35:36 63 阅读

Hadoop支持的文件格式之Avro

文章目录0x00 文章内容0x01 行存储与列存储1. 行存储2. 列存储2. Avro与Parquet0x02 编码实现Avro格式的读写1. 编码实现读写Avro文件2. 查看读写Avro文件结果3. 编码实现读写Avro文件到HDFS4. 查看读写Avro文件结果（HDFS）0xFF 总结0x00 文章内容行存储与列存储编码实现Avro格式的读写0x01 行存储与列存储比如现在...

文件格式

hadoop

apache

java

原创 2022-01-30 09:35:15 500 阅读

Hadoop支持的文件格式之Parquet

文章目录0x00 文章内容0x01 行存储与列存储1. Avro与Parquet0x02 编码实现Parquet格式的读写1. 编码实现读写Parquet文件2. 查看读写Parquet文件结果3. 编码实现读写Parquet文件（HDFS）4. 查看读写Parquet文件（HDFS）结果0x03 彩蛋0xFF 总结0x00 文章内容行存储与列存储编码实现Parquet格式的读写彩蛋...

文件格式

parquet

hadoop

apache

hdfs

原创 2022-01-30 09:34:38 1920 阅读

Hadoop支持的文件格式之SequenceFile

文章目录0x00 文章内容0x01 SequenceFile格式概念1. SequenceFile是啥0x02 编码实现1. 写文件完整代码2. 读文件完整代码3. 写文件完整代码（HDFS）4. 读文件完整代码（HDFS）0x03 校验结果1. 启动集群2. 执行写SequenceFile文件格式代码3. 执行读SequenceFile文件格式代码4

hadoop

文件格式

apache

hdfs

原创 2022-01-30 09:34:20 396 阅读

通过SequenceFile实现合并小文件(调优技能)

文章目录0x00 文章内容0x01 通过SequenceFile合并小文件1. 准备工作2. 完整代码0x02 检验结果1. 启动HDFS和YARN2. 执行作业3. 查看执行结果0xFF 总结0x00 文章内容通过SequenceFile合并小文件检验结果说明：Hadoop集群中，元数据是交由NameNode来管理的，每个小文件就是一个split，

合并小文件

sequencefile

大数据

调优

hadoop

原创 2022-01-30 09:33:20 320 阅读

Spark Shell入门教程

教程目录0x00 教程内容0x011.0x021.2.0xFF 总结0x00 教程内容学习前提：有一定的Scala基础、基本的 Linux 基础，对Spark有一定的概念，并且安装好了Spark环境。其他参考教程：1、分布式集群环境之Scala的安装与配置（Centos7）2、分布式集群环境之Spark的安装与配置（Centos7）0x011.Spark-

spark

入门

大数据

hadoop

词频统计

原创 2022-01-30 09:28:21 657 阅读

Spark SQL快速入门（进阶）

教程目录0x00 教程内容0x011.0xFF 总结缺图0xFF 总结0x00 教程内容0x011.a.b.c.0xFF 总结现在我们学完了 spark 利用 spark SQL 进行结构化和半结构化数据处理的方式。

spark

大数据

Spark SQL

SQL

数据分析

原创 2022-01-17 10:03:34 292 阅读 1收藏

报错：org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for mySecondTopic-2:

大家好，我是邵奈一，一个不务正业的程序猿、正儿八经的斜杠青年。1、世人称我为：被代码耽误的诗人、没天赋的书法家、五音不全的歌手、专业跑龙套演员、不合格的运动员…

报错

kafka

问题解决

大数据

bigdata

原创 2022-01-17 09:43:50 1665 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

邵奈一