有山先生的博客_Yarn,网络通信,linux操作系统

hadoop加载fs.hdfs.impl

背景目前coredefault.xml文件中，HDFS客户端的类名配置项为：<property<namefs.AbstractFileSystem.hdfs.impl</name<valueorg.apache.hadoop.fs.Hdfs</value<descriptionTheFileSystemforhdfs:uris.</description</property实际上，生效的确是如下配

hdfs

原创 2021-10-26 21:00:45 4913 阅读 20点赞 3评论

编程技巧一：可手动关闭的定时任务

目的使用wait方式实现单线程的定时任务，且该定时任务可被手动停止。模版如下：publicvoidrun(){//检查当前线程的中断标志为是否为falsewhile(!Thread.currentThread().isInterrupted()){//dootherthings...synchronized(this){try{//释放CPU和锁，阻塞waitTimeMs时间wait(waitTi

中断

多线程

原创 2021-10-17 18:28:09 847 阅读 16点赞 2收藏

生产环境MAT内存分析流程

背景内存分析指MAT，即memoryanalysistool，通常使用eclipse提供的MemoryAnalyzer的工具包解析dump文件。本文档适用于没有安装eclipse软件的服务器，直接在命令行中生成解析结果，将解析结果下载到本地，通过html查看其内容，比较方便。dump文件dump一般译作转储,有动词和名词两种场景。动词场景：因为程序在计算机中运行时，在内存、CPU、I/O等设备上的

mat

原创 2021-10-09 22:08:23 4674 阅读 18点赞 2收藏 4评论

mapreduce作业提交分析

!hadoopmapreduceclientJobClient模块依赖关系.png(https://s2.51cto.com/images/20211008/1633699755208319.png?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_2

mapreduce

原创 2021-10-08 21:30:18 850 阅读

hadoop集群搭建

ssh免密登陆参考之前的文章：ssh免密登陆部署(https://blog.51cto.com/u_15327484/4113215)修改主机名分别在三台机器中，以root用户修改主机名为hadoopmaster、hadoopslave1、hadoopslave2:hostnamectlsethostnamehadoopmasterhostnamectlsethostnamehadoopslave

kerberos

hadoop

原创 2021-10-07 17:16:36 985 阅读

部署并理解ssh免密登陆

Server端在authorized_keys中匹配到Client的公钥后，会生成随机数R，并用Client的公钥对该随机数进行加密，然后将加密后信息发送给Client，Client端通过私钥进行解密得到随机数R，然后对随机数R和本次会话的SessionKey利用MD5生成摘要Digest1，发送给Server端。Server端会也会对R和SessionKey利用同样摘要算法生成Digest2，最

ssh

原创 2021-10-07 15:05:34 1070 阅读 18点赞 1收藏 1评论

idea iml文件功能验证

前言最近在看ideamodule的时候，发现了.iml文件。看起来这个文件是idea项目配置相关文件，好像挺重要，因此实验一下。本文内容a).研究了idea创建项目时生成的.iml文件作用。b).对比了.iml和pom.xml文件。神奇现象刚刚创建了基于maven框架的module后，会有一个.iml文件:!image20210817203211731.png(https://s2.51cto

java

原创 2021-08-17 23:14:28 5500 阅读 6点赞 1收藏 1评论

maven plugin原理与实战

前言maven一直没有系统学习过，导致吃了很多亏。因为经常使用最简单的compile和package功能，因此之前复制网络上的POMplugin配置就行得通。然而近几个月使用的场景更加复杂，导致项目开发延期得厉害，大大打击了自己的自信心，然后甩锅给IDEA，认为IDEA没有兼容好maven。经过多次折磨，最近静下心来看看maven官网文档，终于对maven核心技术点plugin有所了解。简介mav

java

原创 2021-08-10 15:30:29 666 阅读

log4j原理与实战

前言从我刚开始学习Java语言时，就知道java日志框架log4j很实用，但是这个框架一直都不是面试考点，并且System.out.println()能解决的事，为什么要这么麻烦地引用第三方jar包来做呢？随着我对Java使用的场景越来越多，越来越发现System.out.println()功能太弱了。本文档就我自己的感悟，记录我觉得曾经难以理解，对log4j望而却步的技术点。备注我知道java自

java

原创 2021-08-10 15:27:52 1645 阅读

Java多进程通信

背景之前写脚本都是用linuxshell或者python，非常方便。但是服务器上生产环境中的python依赖较少，无法开发功能强大的应用，因此转战java开发。在java中执行shell脚本，其实就是在jvm进程中创建子进程运行shell脚本，为了读取shell脚本输出，或者向shell脚本发送信息，这必须包含进程间的通信。原理1.父进程退出时，子进程还没结束，子进程成为孤儿进程，被托管到系统父进

java

原创 2021-08-10 15:24:53 1184 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

有水先生的博客

hadoop加载fs.hdfs.impl

编程技巧一：可手动关闭的定时任务

生产环境MAT内存分析流程

mapreduce作业提交分析

hadoop集群搭建

部署并理解ssh免密登陆

idea iml文件功能验证

maven plugin原理与实战

log4j原理与实战

Java多进程通信