Hadoop的MapReduce shuffle过程，非常重要。只有熟悉整个过程才能对业务了如指掌。MapReduce执行流程输入和拆分： 不属于map和reduce的主要过程，但属于整个计算框架消耗时间的一部分，该部分会为正式的map准备数据。 分片（split）操作： split只是将源文件的内容分片形成一系列的 I
转载
2024-08-02 10:06:31
13阅读
目录一、Kafka Streams概述1）Kafka Streams是什么2）流式计算与批量计算区别3）Kafka Streams特点二、Kafka Streams流处理拓扑1）相关概念2）Kafka Streams中两种定义流处理的方法3）流处理中的三种时间4）KTable和KSteam5）窗口三、Kafka Streams原理与架构1）流分区和任务2）线程模型3）本地状态存储4）容错四、简单应
转载
2023-12-04 04:32:24
107阅读
有关hdfs的链接http://hadoop.apache.org/docs/current/api/ (Apache Hadoop Main 2.7.1 API) http://slaytanic.blog.51cto.com/2057708/1101111/ (hdfs-site.xml 配置项说明) http://archive-primary.cloudera.com/cm5/instal
文章目录1.storm集群架构2.storm编程模型Topologies（拓扑）Streams（流）SpoutsBoltsStream groupingsTasksWorkers3.storm入门实例集群安装项目创建定义WordReaderSpout定义WordSplitBolt定义WordCountBolt定义main本地集群运行生产集群运行4.storm其他应用场景 1.storm集群架构A
转载
2024-02-29 12:33:57
28阅读
1 面试题1.1 简述Hadoop小文件弊端过多的小文件会加重 namenode 负担，增加寻址成本，降低处理效率，最终导致集群整体性能下降。1.2 HDFS中DataNode挂掉如何处理？HDFS namenode 与 HDFS datenode 具有周期性心跳通信机制，检查发现某个数据的副本数量小于冗余因子时，说明有 datanode 节点宕机，HDFS 就会启动数据冗余复制，为它生成新的副本
转载
2024-02-22 23:28:49
38阅读
最近某hadoop集群多次出现机器宕机，现象为瞬间机器的sys cpu增长至100%，机器无法登录。只能硬件重启，ganglia cpu信息如下：首先怀疑有用户启动了比较奇葩的job，导致不合理的系统调用出现的问题。随后加了ps及pidstat信息收集job信息（公共集群蛋疼的地方），然后出现问题的时候，各类脚本已经无法工作，一直没有抓到现场。终于在某一次看到一台机器sy
转载
2023-07-11 22:45:43
145阅读
前言本次作业是在《爬虫大作业》的基础上进行的，在《爬虫大作业》中，我主要对拉勾网python岗位的招聘信息进行的数据爬取，最终得到了2641条数据存在一个名为lagoupy.xls中。本次作业的任务主要有以下三点：1.对CSV文件进行预处理生成无标题文本文件，将爬虫大作业产生的csv文件上传到HDFS2.把hdfs中的文本文件最终导入到数据仓库Hive中，在Hive中查看并分析数据3.用Hive对
转载
2023-07-11 22:18:52
194阅读
大数据篇：MapReduceMapReduce是什么?MapReduce源自于Google发表于2004年12月的MapReduce论文，是面向大数据并行处理的计算模型、框架和平台，而Hadoop MapReduce是Google MapReduce克隆版。如果没有MapReduce!那么在分布式计算上面将很难办，不好编程。在早期无法处理大数据的离线计算。编程中不易扩展性分布式计算任务一旦挂了，没
转载
2023-11-24 21:10:51
143阅读
什么是MapReduce
MapReduce是一个分布式计算框架； 它将大型数据操作作业分解为可以跨服务器集群并行执行的单个任务；适用于大规模数据处理场景；每个节点处理存储在该节点的数据；每个 job 包含Map和Reduce两部分MapReduce的设计思想1、分而治之简化并行计算的编程模型2、构建抽象模型开发人员专注于实现 Mapper 和 Reduce 函数3、隐藏系统层细节开发人员专注于业
转载
2024-01-15 01:13:41
137阅读
1.定义是一个分布式运算程序的编程框架，能将用户编写的业务逻辑代码和自带默认组件整合成一个完成的分布式运算程序。2.优缺点2.1优点2.1.1易于编程只需要简单的实现一些接口，就可以完成一个分布式程序。2.1.2高容错性mr程序可以部署在多台机器上，其中一台挂了，可以把上面的计算任务转移到另外一个节点上运行，由hadoop内部自动完成。2.1.3良好的扩展性可以通过增加机器来有效扩展其计算能力。2
转载
2023-08-08 17:13:50
95阅读
一、前言1、从今天开始进行流式大数据计算的实践之路，需要完成一个车辆实时热力图2、技术选型：HBase作为数据仓库，Storm作为流式计算框架，ECharts作为热力图的展示3、计划使用两台虚拟机来打一个小型的分布式系统，使用Ubuntu系统二、HBase简介1、HBase是基于HDFS（Hadoop分布式文件系统）的NoSQL数据库，采用k-v的存储方式，所以查询速度相对比较快。2、下面画图比较
转载
2023-08-09 15:30:33
64阅读
一、Hadoop综合大作业 要求：1.将爬虫大作业产生的csv文件上传到HDFS爬取的数据总共有10个表格（分别是不同类别）2.对CSV文件进行预处理生成无标题文本文件对字段进行预处理：查看生成的table.txt：3.把hdfs中的文本文件最终导入到数据仓库Hive中启动hdfs：4.在Hive中查看并分析数据5.用Hive对爬虫大作业产生的进行数据分析，写一篇博客描述你的分析过程和
转载
2024-01-16 18:11:23
55阅读
大数据第二次作业操作大家好，我是【豆干花生】，这次我带来了大数据的第二次实践作业~ 主要内容为hadoop编程，使用GraphLite进行同步图计算 可以说十分具体了，包含了具体操作、代码指令、各个步骤截图。 文章目录大数据第二次作业操作一.作业内容二.第一个作业--hadoop编程1.具体代码如下：2.准备工作:3.具体操作三.第二个作业--同步图计算，SSSP1.具体代码2.准备工作3.具体操
转载
2024-03-14 05:44:43
92阅读
作业要求1.对CSV文件进行预处理生成无标题文本文件，将爬虫大作业产生的csv文件上传到HDFS2.把hdfs中的文本文件最终导入到数据仓库Hive中，在Hive中查看并分析数据3.用Hive对爬虫大作业产生的进行数据分析（10条以上的查询分析） 作业题目：爬取电影《何以为家》影评并进行综合分析大数据案列：1.准备本地数据文件对CSV文件进行预处理生成无标题文本文件，将爬虫大
转载
2023-12-13 12:02:55
244阅读
流计算概述一、 流计算应用需求静态数据（支持决策分析而构建的数据仓库系统）可以利用数据挖掘和OLAP.OLTP(transaction)数据存储和管理，除了用数据仓库做，还可以用hdfs，
hive就是基于hdfs的数据仓库挖掘引擎除了用数据仓库，还可以用hadoop,spark
计算开始之前，数据已经存在了流数据特征：大量、快速、时变的流形式
数据量大，但是不十分关注存储（是没
转载
2024-07-01 18:03:56
68阅读
大数据计算引擎分为离线计算和实时计算，离线计算就是我们通常说的批计算，代表是Hadoop MapReduce、Hive等大数据技术。实时计算也被称作流计算，代表是Storm、Spark Streaming、Flink等大数据技术。 计算引擎也在不
转载
2023-09-20 10:38:12
162阅读
Q1. Hadoop 有哪些组件？（1）HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。（2）YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager（3）MapReduce：它其实是一个应用程序开发包。Q2: 为什么spark要把操作分为transfo
转载
2023-07-25 21:07:59
56阅读
# Hadoop 作业提交
## 简介
Hadoop 是一个用于存储和处理大规模数据的开源框架。它支持将数据存储在多个计算机集群中，并通过MapReduce 等并行计算模型来处理这些数据。在使用 Hadoop 进行数据处理时，通常需要编写 Hadoop 作业，并将其提交到 Hadoop 集群中运行。
本文将介绍如何编写和提交 Hadoop 作业，并提供相应的代码示例。
## Hadoop
原创
2024-03-23 08:16:53
33阅读
1.将爬虫大作业产生的csv文件上传到HDFS爬取豆瓣网战狼2电影的影评数据把爬取到的csv文件存放到ubuntn系统中，并创建存放的文件夹bigdatacase、dataset：把下载好的影评test.csv文件文本拷贝到dataset目录下并查看文件查看文件的前五条数据删除表头2.对CSV文件进行预处理生成无标题文本文件每个字段用\t隔开，这里有7个字段。把处理后文件保存到txt文件中启动ha
转载
2023-07-24 13:31:51
149阅读
