slp51的博客_大数据系列原创博文

hadoop问题集

大数据

原创 2021-07-29 16:25:03 3379 阅读

【大数据系列】windows环境下搭建hadoop开发环境使用api进行基本操作

前言搭建完hadoop集群之后在windows环境下搭建java项目进行测试操作hdfs中的文件版本一以上运行测试的时候会报错，原因是URL无法识别hdfs协议。版本二、这个时候就可以正确的打印出hdfs文件copyFromLocal的文件内容。附：可以将hadoop解压文件下etc中

hadoop

大数据

原创 2021-07-29 16:25:02 350 阅读

【大数据系列】hadoop单节点安装官方文档翻译

Hadoop: Setting up a Single Node Cluster. HADOOP：建立单节点集群 Purpose Prerequisites Supported Platforms Required Software Installing Software Download Prep

hadoop 译文

大数据

原创 2021-07-29 16:24:55 287 阅读

【大数据系列】Hive安装及web模式管理

一、什么是Hive Hive是建立在Hadoop基础常的数据仓库基础架构，，它提供了一系列的工具，可以用了进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的按规模数据的机制。Hive定义了简单的类SQL查询语句，称为HQL。它允许熟悉SQL的用户查询数据、同时。这个语

hive

大数据

原创 2021-07-29 16:24:54 585 阅读

【大数据系列】hadoop2.0中的jobtracker和tasktracker哪里去了

低版本的hadoop下MapReduce处理流程 1、首先用户程序(JobClient)提交了一个job,job的信息会发送到Job Tracker,Job Tracker是Map-reduce框架的中心，他需要与集群中的机器定时通信heartbeat,需要管理哪些程序应该跑在哪些机器上，需要管理所

大数据

原创 2021-07-29 16:24:53 1376 阅读

【大数据系列】在windows下连接linux 下的hadoop环境进行开发

一、下载Eclipse并安装二、下载exlipse的hadoop plugin 三、打开Map Reduce视图 Window --> Perspective --> Open perspective 四、编辑Hadoop Location 五、查看是否连接成功六、上传文件或文件夹测试是否成功

大数据

原创 2021-07-29 16:24:52 264 阅读

【大数据系列】大数据初识

一、 Hadoop的来源 Hadoop是Google的集群系统的开源实现。 --Google集群系统：GFS(Google File System)、MapReduce、BigTable. --Hadoop主要由HDFS(Hadoop Distributed File System Hadoop分布

干货

原创 2021-07-29 16:23:31 10000+阅读

【大数据系列】HDFS初识

一、HDFS介绍 HDFS为了做到可靠性（reliability）创建了多分数据块（data blocks）的复制（replicas）,并将它们放置在服务集群的计算节点中（compute nodes）,MapReduce就可以在他么所在的节点上处理这些数据了。二、HDFS运行机制一个名字节点和多

干货

原创 2021-07-29 16:23:16 419 阅读

【大数据系列】win10上安装hadoop开发环境

为了方便采用了Cygwin模拟linux环境的方法一、安装JDK以及下载hadoop hadoop官网下载hadoop http://hadoop.apache.org/releases.html 。二、安装Cygwin 1、http://www.cygwin.com/ 根据操作系统的需要下载3

干货

原创 2021-07-29 16:23:15 200 阅读

【大数据系列】HDFS初识

一、HDFS介绍 HDFS为了做到可靠性（reliability）创建了多分数据块（data blocks）的复制（replicas）,并将它们放置在服务集群的计算节点中（compute nodes）,MapReduce就可以在他么所在的节点上处理这些数据了。二、HDFS运行机制一个名字节点和多

大数据

原创 2021-07-29 16:23:15 227 阅读

【大数据系列】win10不借助Cygwin安装hadoop2.8

一、下载安装包解压安装包并创建data,name,tmp文件夹二、修改配置文件 1、core-site.xml 2、mapred-site.xml (修改原来的mapred-site.xml.template) 3、hdfs-site.xml 4、yarn-site.xml 四、替换原下载安装包

干货

原创 2021-07-29 16:23:14 95 阅读

【大数据系列】windows搭建hadoop开发环境

一、安装JDK配置环境变量已经安装略过二、安装eclipse 已经安装略过三、安装Ant 1、下载http://ant.apache.org/bindownload.cgi 2、解压 3、配置ANT_HOME环境变量 4、测试ant是否安装成功四、安装hadoop插件 1、hadoop安装已

干货

原创 2021-07-29 16:23:10 729 阅读

【大数据系列】hadoop集群的配置

一、hadoop的配置文件分类 1、只读类型的默认文件 core-default.xml hdfs-default.xml mapred-default.xml mapred-queues.xml 2、定位设置 core-site.xml hdfs-site.xml mapred-site.xml

hadoop

干货

原创 2021-07-29 16:22:04 259 阅读

【大数据系列】hadoop单机模式安装

一、添加用户和用户组 adduser hadoop 将hadoop用户添加进sudo用户组 sudo usermod -G sudo hadoop 或者 visudo 二、安装jdk 具体操作参考：centos安装JDK 三、配置ssh免密登陆具体才做可见：【linux系列】配置免密登陆四、下载

hadoop

干货

原创 2021-07-29 16:22:03 201 阅读

【大数据系列】安装Ambari

一、Ambari简介 The Apache Ambari project is aimed at making Hadoop management simpler by developing software for provisioning, managing, and monitoring Ap

干货

原创 2021-07-29 16:22:02 408 阅读

【大数据系列】Hadoop DataNode读写流程

DataNode的写操作流程 DataNode的写操作流程可以分为两部分，第一部分是写操作之前的准备工作，包括与NameNode的通信等；第二部分是真正的写操作。一、准备工作 1、首先，HDFS client会去询问NameNoed,看哪些DataNode可以存储Block A，file.txt文

hadoop

干货

原创 2021-07-29 16:22:00 389 阅读

【大数据系列】hadoop核心组件-MapReduce

一、引入 hadoop的分布式计算框架（MapReduce是离线计算框架）二、MapReduce设计理念移动计算，而不是移动数据。 Input HDFS先进行处理切成数据块（split） map sort reduce 输出数据（output HDFS）三、示例 Mapping是根据我们书写的

干货

原创 2021-07-29 16:21:59 286 阅读

【大数据系列】HDFS文件权限和安全模式、安装

HDFS文件权限 1、与linux文件权限类型 r:read w:write x:execute权限x对于文件忽略，对于文件夹表示是否允许访问其内容 2、如果linux系统用户sanglp使用hadoop命令创建一个文件，那么这个文件在HDFS中owner就是sanglp 3、HDFS的权限目的：阻

干货

原创 2021-07-29 16:21:59 634 阅读

【大数据系列】MapReduce示例一年之内的最高气温

一、项目采用maven构建，如下为pom.xml中引入的jar包二、输入文件三、代码实现四、输出结果五、reduce输出内容

干货

原创 2021-07-29 16:21:58 252 阅读

【大数据系列】MapReduce示例好友推荐

文件内容例如：小明小李小花小白

干货

原创 2021-07-29 16:21:57 293 阅读

【大数据系列】在hadoop2.8.0下配置SecondaryNameNode

修改namenode上的hdfs-site.xml 启动之后各个节点上进程：

干货

原创 2021-07-29 16:21:56 183 阅读

【大数据系列】hadoop脚本分析

一、start-all.sh hadoop安装目录/home/hadoop/hadoop-2.8.0/ libexec/hadoop-config.sh 设置变量 sbin/start-dfs.sh 启动hdfs sbin/start-yarn.sh 启动yarn 二、sbin/start-dfs.

干货

原创 2021-07-29 16:20:05 202 阅读

【大数据系列】常用命令

1、格式化系统 hadoop namenode -format 2、put 上传（） hadoop fs -put //hdfs dfs -put完全一样 hdfs dfs(和hadoop fs等价) eg:hadoop fs -mkdir -p /user/hadoop/data hdfs df

干货

原创 2021-07-29 16:20:04 297 阅读

【大数据系列】windows下连接Linux环境开发

一、配置文件 1.core-site.xml 2、hdfs-site.xml 3、yarn-site.xml 4、slaves 二、建立本地连接三、创建MapReduceProject 1、File -- new - Other --MapReduceProject 2、建立测试文件 3、run

干货

原创 2021-07-29 16:20:03 114 阅读

【大数据系列】基于MapReduce的数据处理 SequenceFile序列化文件

为键值对提供持久的数据结构 1、txt纯文本格式，若干行记录 2、SequenceFile key-value格式，若干行记录，类似于map 3、编写写入和读取的文件测试方法的输出为： 1=tom12=tom23=tom34=tom4 4、查看文件

干货

原创 2021-07-29 16:20:02 231 阅读

【大数据系列】hive安装及启动

一、安装好jdk和hadoop 二、下载apache-hive https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.0/ 三、解压到安装目录并配置环境变量 tar -zxvf apache-hive-2.3.0 #解压 vi /etc/

hive

干货

原创 2021-07-29 16:20:02 217 阅读

【大数据系列】MapReduce详解

MapReduce是hadoop中的一个计算框架，用来处理大数据。所谓大数据处理，即以价值为导向，对大数据加工，挖掘和优化等各种处理。 MapReduce擅长处理大数据，这是由MapReduce的设计思想决定的“分而治之”。 1）Mapper负责“分”，即把复杂的任务分解为若干个“简单的任务”来处理

干货

原创 2021-07-29 16:20:01 650 阅读

【大数据系列】hive修改默认的derby数据库

javax.jdo.option.ConnectionURL jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.Conne...

hive

干货

原创 2021-07-29 16:19:59 318 阅读

【大数据系列】问题汇总

1、执行hive之后执行别的命令出现如下 java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 找了各种解决办法有人说是要重启me

大数据问题记录

干货

原创 2021-07-29 16:19:58 234 阅读

【大数据系列】apache hive 官方文档翻译

GettingStarted 开始 GettingStarted 开始 Created by Confluence Administrator, last modified by Lefty Leverenz on Jun 15, 2017 本文档由Confluence管理员创建，2017年6月15

hive

译文

干货

原创 2021-07-29 16:19:57 459 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

9945199

欢迎

【大数据系列】hadoop上传文件报错_COPYING_ could only be replicated to 0 nodes

【大数据系列】windows环境下搭建hadoop开发环境使用api进行基本操作

【大数据系列】hadoop单节点安装官方文档翻译

【大数据系列】Hive安装及web模式管理

【大数据系列】hadoop2.0中的jobtracker和tasktracker哪里去了

【大数据系列】在windows下连接linux 下的hadoop环境进行开发

【大数据系列】大数据初识

【大数据系列】HDFS初识

【大数据系列】win10上安装hadoop开发环境

【大数据系列】HDFS初识

【大数据系列】win10不借助Cygwin安装hadoop2.8

【大数据系列】windows搭建hadoop开发环境

【大数据系列】hadoop集群的配置

【大数据系列】hadoop单机模式安装

【大数据系列】安装Ambari

【大数据系列】Hadoop DataNode读写流程

【大数据系列】hadoop核心组件-MapReduce

【大数据系列】HDFS文件权限和安全模式、安装

【大数据系列】MapReduce示例一年之内的最高气温

【大数据系列】MapReduce示例好友推荐

【大数据系列】在hadoop2.8.0下配置SecondaryNameNode

【大数据系列】hadoop脚本分析

【大数据系列】常用命令

【大数据系列】windows下连接Linux环境开发

【大数据系列】基于MapReduce的数据处理 SequenceFile序列化文件

【大数据系列】hive安装及启动

【大数据系列】MapReduce详解

【大数据系列】hive修改默认的derby数据库

【大数据系列】问题汇总

【大数据系列】apache hive 官方文档翻译