之前提交运行spark程序，都是通过spark-submit提交运行的。 但是能不能再IDEA中就执行submit运行程序呢， 以前用过一种方式，就是通过远程ssh访问(远程ssh可以通过JSch实现)，通过liunx命令去执行，但是这个显然不是我期望的。我的spark程序都是提交给yarn运行的，如果程序直接与yarn通信，按spark-submit源码中的提交方式去做，是不是也能实现呢。修改写
转载
2023-07-12 23:46:46
131阅读
目录一、idea远程debug原理二、创建一个springboot工程三、IDEA远程调试配置 四、服务端开始debug模式 五、idea启动远程调用六、启动远程调试参数解释 一、idea远程debug原理远程调试，需要调试服务器上的程序时，远程调试就显得非常有用。JAVA 支持调试功能，本身提供了一个简单的调试工具JDB，支持设置断点及线程级的调试同时，不同的JVM
转载
2023-09-01 16:01:09
105阅读
说明实际开发过程中，由于数据库以及上下游的依赖，可能直接启动本地项目进行debug并不现实。这时候就需要本地IDEA连接到远程启动的项目（如预发环境）做debug。这里简单记录一下IDEA连接到远程项目，然后在本地进行debug的过程IDEA配置第一步：点击【Edit Configurations】-【Add New Configuration】-【Remote】 第二步：编辑Remote配置，【
转载
2023-08-06 17:58:34
439阅读
Java与hadoop交互1、Configuration cfg=new Configuration(); 2、cfg.set(“fs.defaultFS”,“hdfs://ip地址:9000”); 3、获取文件系统：FileSystem fs=FileSystem.get(cfg); 1~3合起来的写法，与HDFS文件系统建立连接： FileSystem fs=FileSystem(new UR
转载
2024-04-22 10:22:02
81阅读
hdfs：分布式文件系统有目录结构，顶层目录是： /,存的是文件，把文件存入hdfs后，会把这个文件进行切块并且进行备份，切块大小和备份的数量有客户决定。存文件的叫datanode，记录文件的切块信息的叫namenodeHdfs的安装准备四台linux服务器先在hdp-01上进行下面操作配置域名映射vim /etc/hosts主机名：hdp-01 对应的ip地址：192.1
转载
2024-06-20 19:39:08
447阅读
问题 在Windows 2019上使用远程桌面远程到 Windows 2008 服务器时遇到“发生身份验证错误。（代码：0x80004005）”。在Windows 2008上使用远程桌面远程到 Windows 2019 服务器时也是一样。环境 服务器 Windows 2019 目标服务器 Windows 2008 r2原因 2019和2008服务器不支持相同级别的加密。 在2019 加固过程中，会
文章目录1. 检查Linux SSH服务2. 本地连接测试3. Linux 安装Cpolar4. 创建远程连接公网地址5. 公网远程连接测试6. 固定连接公网地址7. 固定地址连接测试 本文主要介绍如何在IDEA中设置远程连接服务器开发环境，并结合Cpolar内网穿透工具实现无公网远程连接，然后实现远程Linux环境进行开发。IDEA的远程开发功能，可以将本地的编译、构建、调试、运行等工作都放在
一、前提1.需安装好Git且配置好环境，并将Git实现免密码登录，免密钥链接对应远程仓库2.本教程主要教学在idea中使用Git推送远程服务器，不对指令操作进行具体讲解二、详细步骤1.首先在对应远程仓库（常用Gitee，Github）先新建对应仓库2.进入idea，在VCS下拉菜单中找到创建Git仓库选项，点击（此步对应，git init）2.选中你当前项目的文件夹，确定 3.此时，你项
转载
2023-11-11 17:00:22
137阅读
持续学习，持续更新中。 kafka是使用gradle管理代码。编译kafka源码安装scala插件，要与idea版本一致。 使用idea远程连接下载速度较慢，这边可以在scala插件网站下载插件，要注意scala版本要与idea对应，在idea-settings-plugins里搜索scala查看版本 。然后将下载的zip（不用解压）放到idea的plugins文件夹内，重启idea在plugin
转载
2024-02-04 21:45:20
82阅读
前言在日常开发中，我们经常遇到在本地重现不了，但是换个环境就必现的问题，而这个环境可能是测试环境，抑或是准生产环境。显然服务器上调试是很不方便的。这时候，我们可以利用本地代码来进行远程调试。当然实际的使用场景还是很多的，就不一一列举了，这里来和大家一起看下IDEA如何配置远程Debug调试。IDEA本地配置首先在IDEA中打开Run/Debug Configrations界面，然后点击+号，新增配
转载
2023-08-08 02:31:32
252阅读
配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:
1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.
转载
2024-09-29 10:51:37
75阅读
一. 背景 大数据相关的所有建设 依托于 大数据的基础设施. 基础设施一定包含了集群平台的搭建 . 目前市场上常用的有三种方式做集群平台的搭建; 第一种为使用原生的apache (hadoop,hive,spark)等相关大数据软件构建集群平台 . 这种方式相对比较灵活, 好控制,但是在选择各个大
其实，这是一个懒人去研究的东西，因为如果冬天喜欢去实验室或者机房，不呆在宿舍或者家里，就没有远程的问题了，但是，总有不巧的时候，这个时候你就只有在远程命令行里去看一切和操作一切了。远程操作的第一步从配置ssh远程访问集群开始：通过ssh远程访问集群 有2个前提：集群中需要有机器在公网路由配置了DHCP转发配置了DHCP转发的机器需要开启了SSH服务，SSH的服务端口是22 例如，我一般是将
转载
2024-10-13 18:46:27
142阅读
在window上配置好Hadoop1.下载hadoop-2.7.7.tar.gz文件到window。各版本Hadoop，我选择的是2.7.7Hadoop是跨平台的，不用担心Linux与windows不兼容，但是需要注意的是在hadoop-2.7.7/etc/hadoop/hadoop-env.sh中JAVA_HOME需要修改为window下jdk的路径。2. 选择一个空目录将hadoop-2.7.
转载
2024-09-13 13:23:39
206阅读
创建客户端java项目，实现以下功能： ① 通过api 连接 hdfs; 熟悉不同的连接方式以及优先级 ② 实现文件上传； ③ 实现文件下载； ④ 了解其他文件管理的方法。 ⑤ 在编程的过程中，简单了解客户端项目的创建：maven 项目；本地jar包项目a. 创建maven项目， File —> Project ----> maven (2020 版本默认已安装maven组件)b. 修
转载
2023-10-10 07:00:37
702阅读
之前做项目，一直都是把本地的源码上传到svn，服务器是通过ant或者maven脚本来编译的生成项目的。每次都要单独登录接服务器进行项目的部署和发布，感觉特别繁琐。（特别是在有几套服务器的情况下，简直就是要抓狂……）启动其实以前在使用eclipse的时候就想在maven下使用插件进行远程部署，无耐，多次试验，都没有成功，IDE换到了idea自己也尝试了下，感觉配置要容易了许多，经过简单的也成功了，现
转载
2023-08-24 19:28:16
240阅读
最近在学习数据分析，用到了hadoop和spark。之前在虚拟机配置好了hadoop集群，今天想尝试一下在win10环境下，利用 IDEA 远程向虚拟机上的hadoop集群提交作业（以WordCount为例）一： 环境以及准备工作：win10 + IntelliJ IDEA 2017.1.6 + hadoop 2.8.0 注意：hadoop在虚拟机和本地都要安装，安装步骤二者几乎一样，就不写了，不
转载
2024-04-02 09:43:51
160阅读
InterDatanodeProtocolInterDatanodeProtocol是Datanode与Datanode之间的接口，主要用于租约恢复操作，具有的方法如下图所示
4. InterDatanodeProtocol方法.png
只有initReplicaRecovery()和updateReplicaUnderRecovery()两个方法。客户端打开一个文
环境：jdk1.8及以上。Maven 3.2+ideadockerdocker开启远程连接访问首先我们要开启docker的远程连接访问。保证不是docker所在的服务器，也能够远程访问docker。Linux版的docker：1.修改docker.service文件，添加监听端口 -H tcp://0.0.0.0:2375vi /usr/lib/systemd/system/docker.serv
转载
2024-04-17 14:05:43
544阅读
如题，本来以为在Linux上debug不是多难的一个事儿，结果生生卡了好多天才解决，赶紧记录一波。 先附上在此过程中查找的相关资料： 1、maven工程、打jar包debugIdea如何远程连接linux服务器进行debug操作 2、非maven工程、不打jar包debugIntelliJ IDEA如何远程连接Debug Linux上的Java程序不打jar包debug第一步： 写一个Java工程
转载
2023-12-28 21:02:20
67阅读
