一、JAVA环境的安装
hadoop环境是一定需要有JAVA环境的，所以有一个关键的前提是安装JAVA环境并且对环境变量进行配置
安装JAVA
安装命令：
rpm -ivh jdk-7u80-linux-x64.rpm
对环境变量进行配置
home目录下有一
转载
2023-12-29 18:44:26
38阅读
Node 是一个让 JavaScript 运行在服务端的开发平台，它让 JavaScript 成为与php、Python、Perl、Ruby 等服务端语言平起平坐的脚本语言。 前端是需要学习node的，下面我们来看一下前端一定要学习node的一些原因： 对于现在的前端来说，尤其是多以 JavaScr
转载
2020-09-29 17:49:00
342阅读
2评论
现在是21世...
原创
2021-07-29 16:20:57
184阅读
无所不能的Linux
原创
2021-07-27 18:17:43
370阅读
# Atlas一定要有Hadoop吗？
## 引言
Apache Atlas 是一个用于数据治理和元数据管理的开源项目。它主要用于帮助组织管理其数据的元数据资产，以便于数据发现、合规性和数据治理。不过，当我们提到 Atlas 时，很多人自然会想到 Hadoop，因为 Atlas 通常与 Hadoop 生态圈中的其他组件（如 Hive、HBase、Spark 等）进行协作。然而，Atlas 是否
今天给大家带来的分享是基于 Apache DolphinScheduler 的持续集成方向实践，分享的内容主要为以下六点：“研发效能DolphinScheduler CI/CD 应用案例DolphinScheduler 平台下的Serverless 理念基于DolphinScheduler DAG 搭建 CI/CD 流水线的解决方案模块化组装方案的实践案例为什么选择 DolphinSchedule
Hadoop说起。 经常看到有大咖在语录中提及：有了Spark，就永远不要Hadoop了，真有大咖这么说的，不信百度能看见。 仔细想下，有点道理：如果只是作为业务层面的开发者，对于大数据技术而言，确实只学Spark就可以了，但是如果是系统架构师的话，hadoop还是要学的，因为作为大数据的系统架构师，没办法回避hadoop。Hadoop的三个概念组件，spark在这里主要替
1.什么是Spring Boot来源官方文档：Spring Boot makes it easy to create stand-alone, production-grade Spring based Applications that you can "just run".We take an opinionated view of the Spring platform and third-
转载
2024-09-11 11:37:11
48阅读
介绍Flink提供了多种部署方式，本文只介绍三种常用方式，local、standalone、yarn。安装前准备Java8以上（必备基础环境） Zookeeper（HA高可用需要环境） Hadoop（YARN模式需要环境） 三台Linux机器 Flink安装包flink-1.10.0-bin-scala_2.11.tgz 官方下载地址 Flink Hadoop依赖包flink-shaded（yar
转载
2023-07-26 11:11:48
317阅读
关于“yarn模式一定要有hadoop吗”的问题，YARN（Yet Another Resource Negotiator）是Hadoop生态系统中的资源管理器，主要用于管理集群资源和任务调度。但实际上，YARN并不一定需要Hadoop，即使不使用Hadoop，也可以利用YARN来构建和管理不同的计算框架。本文将详细阐述如何解决这一问题，包括环境准备、集成步骤、配置详解、实战应用、性能优化和生态扩
# 在Ubuntu上创建名为"Hadoop"的用户账户
在Ubuntu系统中，用户账户是管理系统用户的一种基本方式。有时候，例如在使用Hadoop进行数据处理时，可能需要创建一个特定名称（如"hadoop"）的用户账户。本文将引导你完成创建名为"hadoop"的用户账户的整个过程。
## 步骤概览
我们将按以下步骤进行：
| 步骤 | 描述 |
|------|------|
| 1
HBASE搭建一定要用hadoop吗
HBase 是一个分布式的、可扩展的 NoSQL 数据库，通常与 Hadoop 生态系统结合使用。不过，有时候大家会问：HBase的搭建是否一定需要Hadoop的支持？为了回答这个问题，我们将深入探讨HBase的搭建过程，并强调HBase独立运行的可能性。
### 环境准备
在开始搭建过程之前，首先需要确保环境的硬件和软件符合要求。以下是大致的软硬件要求
最近打算研究研究 Flink，根据官方文档写个 Hello,World。入门还是比较容易的，不需要复杂的安装环境、配置。这篇文章简单介绍 Flink 的使用感受以及入门。感受搭建环境方便：Flink 可以在 Windows 下运行与开发。对于喜欢 Windows 下开发的人，可以免去搭建虚拟机的成本。并且不依赖其他框架，本地环境搭建简单。这点很关键，许多人学习框架都放弃在了环境搭建上。减少搭建环境
转载
2024-05-16 03:57:33
25阅读
Java是目前使用广泛的编程语言之一，具有的众多特性，特别适合作为大数据应用的开发语言。Java语言功能强大和简单易用，不仅吸收了C++语言的各种优点还摒弃了C++里难以理解的多继承、指针等概念。
Java跨平台应用能力，比C、C++更易用更容易上手。同时还具有简单性、面向对象、分布式、健壮性、安全性、平台独立与可移植性、多线程、动态性等特点。但Java语言也仅是大数据技术体系下的一个技术选型，P
原创
2021-09-15 15:24:46
93阅读
在贴吧论坛看到很多人都有这种想法，没有美术基础就不要学习原画了，如果要学原画、漫画、插画之类还是先报个美术班把基础打捞学习手绘素描，再报个大佬班吧，这种观念是不是对的呢？第一有美术基础就一定可以学好原画吗?答案肯定是否定的，因为他们直接很多是不相通的，美术基础大多数是来源生活，把看到的东西通过绘画表达出来，cg绘画主要是把想象到的东西，通过软件绘画表达出来，他不是真实存在的，相同点就是，部分基本知
转载
2019-03-31 15:38:16
747阅读
# Java一定要封装吗？
在学习Java的过程中，封装（Encapsulation）是一个不可忽视的概念。许多初学者可能会问：“Java一定要封装吗？”在本文中，我们将深入探讨封装的重要性以及它在Java编程中的作用，并通过代码示例进行阐述。
## 什么是封装？
封装是一种将数据（属性）和操作这些数据的方法（行为）结合的编程技术。这种结合有助于隐藏对象的内部状态，从而保护数据不被外部干扰。
## 启动Hadoop集群一定要启动zk吗？
作为一名经验丰富的开发者，我很乐意教会你如何实现“启动Hadoop集群一定要启动zk”。下面我将逐步介绍整个流程，并提供相应的代码示例。
### 流程概述
启动Hadoop集群需要经过一系列步骤。下面是整个流程的概述：
| 步骤 | 描述 |
| ---- | ---- |
| 1. 准备环境 | 安装并配置Java、Hadoop和Zookee
原创
2023-10-28 13:57:20
264阅读
## Hadoop一定要多个虚拟机吗？
在Hadoop中，虚拟机被广泛应用于构建分布式系统。虚拟机可以帮助我们更好地管理资源，提高系统的可扩展性和可靠性。但是，对于小规模的数据处理任务，是否一定要使用多个虚拟机呢？这个问题一直备受争议。
### 单节点Hadoop
在Hadoop中，我们可以通过搭建单节点集群来模拟分布式系统。单节点Hadoop适用于小规模的数据处理任务，可以在一台机器上运行
原创
2024-06-08 05:23:26
62阅读
HDFS 完全分布式搭建分布式规划：node1node2node3node4NameNodeSecondaryNameNodeDataNode-1DataNode-2DataNode-3搭建步骤1、免秘钥设置0、免密钥设置
a、首先在四台服务器上都要执行：ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
b、在node1上将node1 的公钥拷贝到aut
转载
2024-10-12 11:27:38
98阅读
1. SparkSession和sqlContext 的关系？在Spark的早期版本，sparkContext是进入Spark的切入点。我们都知道RDD是Spark中重要的API，然而它的创建和操作得使用sparkContext提供的API；对于RDD之外的其他东西，我们需要使用其他的Context。比如对于流处理来说，我们得使用StreamingContext；对于SQL得使用sqlContex
转载
2024-09-25 14:33:54
20阅读
