文章目录一、hdfs 命令二、yarn 相关命令三、yarn 相关参数调整 一、hdfs 命令查看文件内容，配合more：hadoop fs -cat /in/hadoop-hadoop-namenode-h71.log | more
统计hdfs中文件的行数：hadoop fs -cat /in/hadoop-hadoop-namenode-h71.log | wc -l 输出：16509查看
转载
2023-05-29 16:47:37
288阅读
HDFS是一种高度分布的多层次结构布局。典型的HDFS集群是由数百个服务器被同时部署在同一个集群之中，并且可以同时被来自同一或者不同地点的多个客户机进行访问。HDFS的数据存储的目标有两个，最大化数据可靠性与可用性，最大化利用网络带宽资源。为了实现这两个目的，仅仅在多台机器上进行单一存储是不够的，并不能预防硬件设备失误带来的损失。因此而采用的
转载
2023-07-14 10:53:58
27阅读
# 不使用HDFS查看HBase表占用量的指南
在HBase中，管理和监控存储资源是非常重要的。尽管通常我们会直接使用HDFS（Hadoop Distributed File System）来查看存储情况，但实际上，我们可以使用HBase提供的工具来查看表的占用量。本文将逐步指导你完成这一过程，以便你在今后的工作中能够更加高效地管理HBase表。
## 流程概览
我们将通过以下步骤实现目标：
原创
2024-08-06 10:08:46
34阅读
HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是依据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文。英文）。HDFS有非常多特点：①保存多个副本，且提供容错机制，副本丢失或宕机自己...
转载
2016-01-16 18:59:00
119阅读
2评论
# hivesql 导入到 hdfs 分隔符的完整指南
在数据工程的工作中，使用 Hive SQL 进行数据处理并将结果导出到 HDFS（Hadoop Distributed File System）是一个常见的任务。特别是在需要处理大量结构化或半结构化数据时，掌握数据的导入导出尤为重要。
本文将指导你如何将 Hive SQL 数据导入到 HDFS，并使用特定的分隔符。整个过程将分为多个步骤，
原创
2024-08-11 06:37:43
96阅读
Flume简介 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event
转载
2023-12-01 12:42:46
49阅读
UDF函数，是hadoop在强大的大数据批量导入导出操作之余，为了满足复杂的数据逻辑操作留下的接口 核心思想：不管是UDF函数还是自定义处理jar包，都是要放置在hadoop服务器上的，相当于hadoop多出了一个自定义的处理数据的方法1）其中调用的不管是参数还是数据库都是以hadoop本身的服务器环境路径为本地路径，而不是自己操作的java环境2） 现在记录下2种近期使用过的
转载
2024-04-19 10:52:33
64阅读
Java基础之访问控制权限protected和default包和类、接口的访问权限控制比较简单，在此不讨论。仅记录一下protected和default修饰的成员变量和成员方法的访问权限控制问题。假设定义了一个顶层类：package com.zjc;
public class FatherClass{
//保护类变量
protected int protected_int;
转载
2023-10-19 09:29:14
159阅读
default 的中文意思是"默认"，在java中能用到default 的只有两个地方switch语句中使用default 使用方法：（当case里的值与switch里的key没有匹配的时候，执行default里的方法）在定义接口的时候使用default来修饰具体的方法 使用方法：（default修饰的目的是让接口可以拥有具体的方法，让接口内部包
转载
2023-06-06 22:28:49
382阅读
Java访问ActiveMQ1.创建gradle项目2.增加依赖3.创建类4.启动服务器5.生产6.消费7.git仓库地址Ac
原创
2022-07-21 15:00:03
122阅读
常见的访问控制符 注意事项 • public修饰的成员可以在任意位置使用。 • private修饰的成员只能在本类内部使用。 • 通常情况下，成员方法都使用public关键字修饰，成员变量都使用private 关键字修饰。 包的定义 • 在定义一个类时，除了定义类的名称一般还要指定一个包名，格式如下 ...
转载
2021-07-28 18:17:00
311阅读
2评论
读数据使用hadoop url读取比较简单的读取hdfs数据的方法就是通过java.net.URL打开一个流，不过在这之前先要预先调用它
转载
2022-10-10 14:26:06
68阅读
Java访问权限 一．Java访问权限饰词（access specifiers）Java有public、protect、friendly、private四种访问权限，并且这四访问权限的访问范围越来越小。1． friendly 1）如果一个class内的数据成员或方法没有任何权限饰词，那么它的缺省访问权限就是friendly。同一个package内的其它所有classes都可以访问friend
转载
2023-06-27 20:21:16
51阅读
1、private修饰词，表示成员是私有的，只，访问权限是包级
转载
2023-06-16 11:11:48
67阅读
我们知道，封装将数据和处理数据的代码连接起来。同时，封装也提供另一个重要属性：访问控制（Access control ）。通过封装你可以控制程序的哪一部分可以访问类的成员。通过控制访问，可以阻止对象的滥用。例如，通过只允许适当定义的一套方法来访问数据，你能阻止该数据的误用。因此，如果使用得当，可以把类创建一个“黑盒子”，虽然可以使用该类，但是它的内部机制是不公开的，不能修改。但是，本书前面创建的类
转载
2024-07-29 17:28:33
34阅读
Java 类的访问机制: private 类内访问 protected 包内访问(不同包的子类)
原创
2016-01-04 17:33:00
798阅读
点赞
1评论
public同一个包当中，或者不同包当中的类都可以自由访问private只能在本类中使用default（不写权限修饰符，就是default权限）在同一个包当中可以自由访问包导入import使用其他包中的类的时候，不用再使用全名导入单个类import top.zxc.Test导入整个包中所有类import top.zxc.*
转载
2020-09-02 14:21:00
258阅读
2评论
访问权限四大类：权限从大->小1、public： 公共权限2、protected：
转载
2014-05-12 17:36:00
139阅读
2评论
java访问权限有四种private:私有的，只有本类访问default（通常忽略不写）：同一个包内访问protected:同
原创
2022-08-03 17:05:01
100阅读
标题：使用Java访问Kubernetes - 构建与部署Kubernetes应用
摘要：本文将向读者介绍如何使用Java程序访问Kubernetes并构建与部署Kubernetes应用。我们将通过一个简单的示例来展示整个过程，并提供相应的代码和注释。
1. 流程概述：
在访问Kubernetes之前，我们需要先构建Kubernetes应用并将其部署到Kubernetes集群中。整个流程如下：
原创
2024-01-19 09:43:03
70阅读
