课程目标1、安装hadoop 2、尝试单机模式，伪分布模式，分布模式课前环境master、slave1、slave2三台虚拟机，可以相互ping通，可以免密登录，安装了jdk1.8.0，zookeeper，同步时钟。安装hadoop这里使用的hadoop-3.3.0.tar.gz 是二进制包，不需要编译，解压即可。解压hadooptar -zxvf hadoop-3.3.0.tar.gz -C /
转载
2023-12-25 11:11:55
39阅读
K8S关键词的实现流程如下：
步骤 | 操作
--------|----------------------------------------
1 | 安装Kubernetes集群
2 | 配置Kubernetes对象
3 | 部署应用程序
4 | 暴露服务
5 | 验证关键词功能
1. 安装Kubernetes集群
首先
原创
2024-01-19 11:26:20
235阅读
1.linuxshell指令学习我是从私房菜开始看的，而且只看了shell指令相关的linux dos (dos命令百度百科 内容很全)ls显示目录列表，较常用的是ls -l,用别名ll表示 使用dircd directory 进入directory表示的目录，又分为相对路径和绝对路径，相对路径前面是不用/
转载
2023-09-20 11:51:36
40阅读
华为作为全球领先的信息通信技术（ICT）解决方案供应商，提供电信运营商、企业和消费者等各类客户行业的 ICT 解决方案和服务。作为行业巨头，华为在全球范围内均有着广泛的影响力和市场份额。
在华为的产品和解决方案中，华为认证培训培训占据着重要的地位。这些培训涵盖了华为产品的使用、配置和维护等方面的知识，帮助客户更好地理解和应用华为的技术和产品。华为认证培训培训致力于提高客户的技术能力和解决问题的能
原创
2024-03-11 10:21:49
170阅读
【培训PMP认证培训】——掌握项目管理的专业之道
在当今快速变化的工作环境中，项目管理已经成为了一项至关重要的技能。为了在这个领域获得认可，并展示自己在项目管理方面的专业知识，越来越多的人选择参加PMP（项目管理专业人士）认证考试。PMP认证不仅是一个国际公认的项目管理资格证书，更是职业发展道路上的一个重要里程碑。
PMP认证考试由项目管理协会（PMI）主办，该机构是全球领先的项目管理行业标准
原创
2024-02-05 10:03:14
116阅读
摘要：2021年顺德PMP®认证考试因疫情关系，原定于4月11日的考试延迟至6月20日，原定于9月11日的考试与12月合并举行，具体日期待定。为了方便考生在报名时间内尽快报好名，此次小编为大家整理了2021年顺德PMP®认证培训考试费用相关信息。
转载
2023-11-08 22:12:20
61阅读
华为认证培训认证是指通过华为公司举办的一系列专业培训课程并通过相应的考试取得华为认证的资格。作为全球领先的通信技术解决方案提供商，华为为了确保其合作伙伴和员工具备足够的技术能力和知识水平，推出了一系列涵盖网络、IT、云计算、大数据等领域的认证培训课程，以确保其产品和解决方案得到正确、高效地实施和支持。
华为认证培训认证的课程包括多个级别，从初级到专家级别，涵盖了不同领域和技术方向，如网络技术、安
原创
2024-03-11 12:44:37
70阅读
PMP认证：提升项目管理能力的专业培训
PMP（Project Management Professional）认证是全球公认的项目管理专业人士资格认证，它是由美国项目管理协会（PMI）发起的，严格评估项目管理人员知识技能是否具有高品质的资格认证考试。获得PMP认证可以证明您在项目管理领域的知识和技能已经达到了一定的水平，能够更好地应对各种复杂的项目管理挑战。然而，要保持PMP认证的有效性，每三
原创
2023-11-07 14:24:25
129阅读
MySQL学习MySQL学习规划MySQL基础学习MySQL概述MySQL概述数据库：数据存储的仓库，主要用于存储数据。数据库管理系统：操纵和管理数据库的大型软件，是一个可以操纵数据和管理数据的软件。SQL：操纵关系型数据库的编程语言，是一套标准。MySQL安装和启动安装a) 方法一：利用执行文件.exe进行安装下载地址：https://dev.mysql.com/downloads/instal
转载
2024-01-15 21:50:10
74阅读
几乎每个专业人士都可以从使用大数据和Hadoop等有针对性的分析技术中受益。使用培训计划帮助企业的团队理解并实施这些创新。 大数据通常被描述为大量的数据。然而，数据量实际上并不重要，而是可以在数据上执行的分析，以便做出更好的决定和其他商业活动。Hadoop是另一种为大数据更好地处理而开发的技术。由于Hadoop开发人员能够以更好的方式执行分析，因此企业对Hadoop开发人员的需求也正在增长。
转载
2023-07-24 10:24:15
51阅读
目录HadoopHDFS（Hadoop Distribute File System）MapReduceYarnSpark该系列文档是由学习 尚硅谷大数据课程之Hive 整理而来。若有不足之处，烦请批评指正！HadoopApache基金会所开发的分布式系统基础框架用于解决 海量数据的存储和分析 问题Hadoop生态圈：Hive、HBase、HDFS、Zookeeper...优势：高可靠性：底层维护
转载
2023-09-26 11:11:14
56阅读
大数据学习-Hadoop1.大数据概念现状分析：实时计算原因分析：离线计算预测分析：机器学习（对未来趋势进行预测）2.分布式与集群分布式：多台机器，不同组件分布式存储，分布式集群，多台机器集群：多台机器，相同组件3.Hadoop(卡大爷创建)hadoop简介4.docker搭建hadoop集群1.Docker安装2.拉取hadoop集群镜像3.克隆仓库并修改start.sh中的开放端口文件4.桥接
转载
2023-08-18 20:31:22
51阅读
整点闲话小二在工作之余突发奇想，整篇关于Hadoop的基础原理的知识，希望能帮助大家更容易去学习更多技术知识。我了解到大学现在很多大数据和数据分析的专业，涉及到大数据必须得把这个Hadoop搞定啊，Hadoop在数据提取，变形和加载的自身优势使其在超大数据集的应用程序上不仅提供海量数据的存储，同时也提供了高速计算的手段。Hadoop介绍针对分布式系统架构，Apache开发出Hadoop，让我们可以
转载
2023-07-24 13:49:37
48阅读
本文是尚硅谷Hadoop教程的学习笔记，由于个人的需要，只致力于搞清楚Hadoop是什么，它可以解决什么问题，以及它的原理是什么。至于具体怎么安装、使用和编写代码不在我考虑的范围内。一、Hadoop入门大数据的特点：Volume（大量）Velocity（高速）Variety（多样）Value（低价值密度）1. Hadoop概念是一个分布式系统基础架构2. Hadoop优势高可靠高扩展性高效性高容错
转载
2023-08-18 20:29:46
55阅读
Hadoop Kerberos一、背景在Hadoop1.0.0或者CDH3 版本之前， hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的，值得信赖的。 导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上，恶意的提交作业，修改JobTracker状态，篡改HDFS上的数据，伪装成NameNode 或者TaskTracker接受任务等。二、安全问题2.1 用户到服务器的
转载
2024-01-23 23:02:25
38阅读
由于之前一段时间被安排去写一个spark项目(未来一段时间也会开始开spark的坑)，因此暂时停止了读书笔记的更新，最近开始恢复读书。今天先介绍一下原书的第五章，即hadoop 的I/O知识。数据一致性一般来说，hadoop的用户希望数据能够保持一致性(Integrity)，但是由于hadoop的高并发性，数据被破坏的风险很高。一个用来检验数据是否被破坏的经典方法是计算校验和(checksum)，
转载
2023-07-13 17:10:57
101阅读
凭证过期处理策略 在最早的 Security features for Hadoop 设计中提出这样的假设: A Hadoop job will run no longer than 7 days (configurable) on a MapReduce cluster or accessing HDFS from the job will fail. 对于一般的任务
转载
2023-07-21 20:05:22
89阅读
构建 Hadoop 集群 安装选项： 1. Apache tarballs ：The Apache Hadoop project and related projects provide binary (and source) tarballs for each release.
2. Packages ：RPM and Debian p
转载
2023-12-25 13:16:45
65阅读
一、掌握Hadoop原生授权机制1.1 背景 在Hadoop1.0.0或者CDH3 版本之前， hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的，值得信赖的。 导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上，恶意的提交作业，修改JobTracker状态，篡改HDFS上的数据，伪装成NameNode 或者TaskTracker接受任务等。1.2安全问题
1.2.
转载
2023-08-02 20:44:00
260阅读
1.为了 能够方便记忆， 总结一下。2. 并行软件平台，不是 一个。 （1）这个特别熟悉的 以 hadoop 为平台的 生态系统 （2）还有以 微软的 并行软件平台 生态系统 (3) 还有LexisNexis公司的 基于 C++ 开发的 HPCC下面补充（1） 有介
转载
2023-10-14 12:38:16
89阅读
