Hadoop系列文章： Hadoop学习笔记之初始Hadoop Hadoop学习笔记之HDFS Hadoop学习笔记之MapReduce（一） Hadoop学习笔记之MapReduce（二） Hadoop学习笔记之Yarn 文章目录1 Hadoop概述1.1 Hadoop是什么？1.2 Hadoop的优势（4高）1.3 Hadoop的组成1.3.1 HDFS架构概述1.3.2
转载
2023-11-20 08:44:52
62阅读
文章目录1 Hadoop 介绍1.1 Hadoop 是什么1.2 Hadoop 的发展历史1.3 Hadoop 三大发行版本1.4 Hadoop 的优势1.5 Hadoop 的组成1.6 大数据技术生态体系2 Hadoop 环境搭建2.1 虚拟机环境准备2.2 安装 jdk2.3 安装 Hadoop3 Hadoop 的运行模式3.1 本地运行模式3.1.1 官方 Grep 案例3.1.2 官方
转载
2023-07-25 00:33:26
121阅读
课程介绍：这个大数据系列的课程，可以让大家从一完全零基础的朋友，从Java和Linux基础入门，一直到Hadoop核心课程，以及Hadoop生态圈的其他知识点都能够有一个完美认识，非常推荐！！Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoo
转载
2023-09-07 11:13:45
44阅读
Apache Hadoop YARN (Yet Another Resource Negotiator)是Hadoop的一个关键组件，用于资源管理和作业调度。它是Hadoop生态系统中的第二代资源管理器，通过为应用程序提供灵活的资源管理和作业调度，使得Hadoop能够更好地支持大规模数据处理和分布式计算。
YARN的设计理念是将资源管理和作业调度从Hadoop MapReduce中分离出来，使得
原创
2024-02-09 06:59:00
20阅读
目录03_尚硅谷大数据技术之Hadoop（HDFS）V3.3P039【039_尚硅谷_Hadoop_HDFS_课程介绍】04:23P040【040_尚硅谷_Hadoop_HDFS_产生背景和定义】04:11P041【041_尚硅谷_Hadoop_HDFS_优缺点】05:28P042【042_尚硅谷_Hadoop_HDFS_组成】09:09P043【043_尚硅谷_Hadoop_HDFS_文件块大小
转载
2024-03-14 23:07:14
134阅读
作者：超级大洋葱8061.PPT自动化能干什么？有什么优势？它可以代替你自动制作PPT它可以减少你调整用于调整PPT格式的时间它可以让数据报告风格一致总之就是：它能提高你的工作效率！让你有更多时间去做其他事情！2.使用win32com操作ppt官方文档：https://docs.microsoft.com/zh-cn/office/vba/api/powerpoint.shape.copy2.1
转载
2024-01-17 23:21:33
38阅读
python制作ppt,可以通过编程完成，实现自动办公，高效率完成工作，本讲座一共分为四讲。 1.第一讲——了解11种默认布局 2.第二讲——插入文字的两种方法和追加文字 3.第三讲——插入文本框 4.第四讲——插入图片 首先调用pptx库：from pptx import Presentation
from pptx.util import Inches在空白布局中，添加新文本框，并加入文字：p
转载
2023-07-02 22:50:46
68阅读
教师在我的心中是神圣而伟大的，曾几何时，我最初的愿望是想成为一名人民教师，可是后来阴差阳错，成为了一名工程师。先是做硬件工程师，后来准确的来说是系统硬件工程师，比如说是从事一些嵌入式硬件系统的移植、硬件驱动等的研发。虽然后来我非常热衷于我的开发的工作，但是老师的梦想始终没有在我的心中泯灭，后来有机会在网上结合自己的开发实践讲授一些课程。 如果您因为
原创
2017-04-09 15:12:41
822阅读
点赞
记录学习，有错欢迎指正目录前言1、hadoop简介2、hadoop的组成3、HDFS（Hadoop Distributed File System）4、Yarn5、MapReduce6、Common前言大数据(Big Data)是什么：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产
转载
2023-07-12 13:42:01
128阅读
点赞
第 1 章 MapReduce 概述 1.1 MapReduce 定义MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析 应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一个 Hadoop 集群上。1.2 MapReduce 优缺点1.2.1 优点1
Python读取PPT1.打开PPT文件from pptx import Presentation# 这里给出需要打开的文件路径file_path = r'...'pptx = Presentation(file_path)2. 获取幻灯片页用pptx.slides可以获得一个列表，包括所有的幻灯片页slide 对象。forslide inpptx.slides: print(slide)3. 获
转载
2023-11-15 18:44:57
89阅读
在工作的过程中，我们会发现那些能够把知识、成果讲透的人很多都会做动态图表。这篇文章就介绍了 Python 中一种简单的动态图表制作方法，这样生成的动图就可以丰富我们的PPT啦~数据暴增的年代，数据科学家、分析师在被要求对数据有更深的理解与分析的同时，还需要将结果有效地传递给他人。如何让目标听众更直观地理解？当然是将数据可视化啊，而且最好是动态可视化。本文将以线型图、条形图和饼图为例，系统地讲解如何
转载
2024-06-07 19:40:32
12阅读
Spark+Hadoop集群搭建：（三）在Hadoop集群上安装Spark1 Scala安装1.1 下载安装包1.2 解压1.3 迁移目录1.4 配置环境变量1.5 启动scala2 安装Spark2.1 下载安装包2.2 解压2.3 迁移目录2.4 配置环境变量3 PySpark3.1 安装Python3.2 启动PySpark4 构建Spark Standalone Cluster运行环境4
转载
2023-10-16 12:43:50
86阅读
一、【Spark和MapReduce对比】【总结】 尽管Spark相对于Hadoop而言具有较大优势，但Spark并不能完全替代Hadoop 1、在计算层面，Spark相比较MR（MapReduce）有巨大的性能优势，但至今仍有许多计算工具基于MR构架，比如非常成熟的Hive，hive的底层默认是MapReduce，但是可以经过与spark重新编译后，底层计算框架换成spark。 2、Spark仅
转载
2023-09-21 00:31:31
71阅读
交互式课件可以让学生在课后对课堂的内容做充分的复习和训练，我想大多数老师都常用Powerpoint或Authorware制作交互式课件，今天向大家介绍一款制作交互式Web课件的新工具——HotPotatoes。软件介绍Hot Potatoes是专门用来制作交互式练习的软件，无需编程，只要会输入文本便可以制作出Web页面的交互式课件。HotPotatoes有六个子模块，分别用于制作选择题(JBC)、
转载
2024-01-12 09:58:34
110阅读
# 快速掌握Hadoop集成Kerberos安全技术
Hadoop是一个广泛应用于大数据处理的框架，但在处理敏感数据时，安全性成为一个重要的考虑因素。Kerberos是一种网络认证协议，被许多系统用来提高安全性。本文将介绍如何将Kerberos与Hadoop集成，确保Hadoop集群的安全性，并通过代码示例加深理解。
## 什么是Kerberos？
Kerberos是一种基于票据（Ticke
图解Hadoop文件的上传如图所示最开始所有的datanode节点会想namenode进行注册汇报告诉namenode自己还活着可以分配任务给自己之后客户端会向namenode发送自己要上传a.txt的请求,这时客户端已经根据文件的大小进行了切块,发送请求时也包括了自己切割的块数信息namenode检查权限是否通过检查通过会将ok的信息返回给客户端客户端收到ok的信息后向namenode发送上传第
转载
2023-09-20 07:24:43
50阅读
引言安装Java环境SSH 免密码登录安装配置Hadoop261 伪分布1 将Hadoop安装包解压2 修改Hadoop配置文件21 修改etchadoophadoop-envsh配置文件22 修改配置文件 etchadoopyarn-envsh配置文件23 修改etchadoopmapred-envsh配置文件24 修改文件etchadoopcore-sitexml25 修改文件etchado
转载
2024-06-28 13:51:56
61阅读
Hadoop 简介 云计算 Hadoop, LAMP, cloud computing, 未分类 on Sep 6th, 2008 No Comments Google和Amazon已经走在了云计算商业化的前面,在他们后面则是一群开源的云计算项目。这让我们多了一些选择,可以考虑...
Hadoop 简介
Hadoop 是一个开源的可运行于大规模集群上的分布式并行编程框架，由于分布
转载
2023-07-24 13:40:44
44阅读
1.hadoop用户代理简介2.配置3.实验1.hadoop用户代理简介hadoop用户代理功能的作用是让超级用户superuser模拟一个普通用户来执行任务。比如用户joe通过oozie提交一个任务到集群上，如果不设置用户代理，那么就会以启动oozie(oozie)进程的用户来提交任务,这样任务就显示为oozie，无法判断是哪个用户提交了任务。当开始proxy功能后，会以superuser模拟
转载
2023-07-13 14:22:17
57阅读
点赞
