使用idea可以方便的编译scala程序，只是在windows环境下，安装hadoop不太方便。本文搜集了网上给的教程，整理出一些能解决问题的方法。实验环境windows10；idea2019.1.3scala-sdk-2.11.0jdk1.8.0_201hadoop-2.7.1spark2.4.3下载安装包由于hadoop依赖于jdk，所以需要先安装配置jdk，具体下载地址如下：jdk1.8.0
一，只做一次的事情hadoop，spark，scala，maven，scala插件，1，下载hadoop，scala，spark，jdk。版本要适配，下面为一组搭配。下载后解压，然后配置环境变量hadoop-2.7.0scala-2.11.12spark-2.4.0JDK 1.8.0配置scala 环境变量 和 配置JDK环境变量 一样 系统变量新增 ： &n
转载
2023-10-11 23:48:57
79阅读
**Spark Idea配置**
Spark Idea是一款功能强大的开发工具，为Spark应用程序的开发提供了丰富的功能和便捷的操作。本文将介绍如何在IDEA中配置Spark Idea，并使用代码示例展示其使用方法。
## 1. 下载安装Spark Idea插件
首先，我们需要下载和安装Spark Idea插件。打开IDEA，在插件市场中搜索"Spark Idea"，然后点击安装按钮进行安装
原创
2023-12-09 06:12:57
49阅读
1、安装scala的idea插件：file —— settings —— plugins ，输入scala，搜索插件下载安装，注意版本：2、配置scala的SDK：先下载解压scala，直接从linux服务器端解压一个就行file —— project structure —— library，配置之后，new就可以看到scala class了：配置spark和scala的环境变量：分别下载had
转载
2023-09-01 16:03:15
457阅读
IDEA连接spark集群写在前面一、安装Scala插件二、新建一个Maven项目三、编写pom.xml文件四、导入Scala环境五、导入spark的jar包六、编写Scala程序并提交给集群 写在前面我所使用的spark集群是基于docker搭建的，一共三个节点，一个master和两个slave，安装过程参考我之前的博客 宿主机使用的是windows10专业版一、安装Scala插件 搜索Sc
转载
2023-07-13 13:33:27
149阅读
目录方法一：更改pom.xml，添加Maven依赖（强烈建议使用这种方法）方法二：导入Spark的jars包 IDEA是一个非常完美的编译器，在IDEA搭建本地Spark环境需要提前配置好Scala和Java环境（看我之前的文章，有详细介绍）下面我将介绍两种方法搭建Spark环境。方法一：更改pom.xml，添加Maven依赖（强烈建议使用这种方法）（1）首先，需要创建一个maven项目
转载
2023-07-25 13:39:25
254阅读
1.配置JDK 省略2.配置scala 省略3.配置hadoop 1.下载所需要的hadoop版本，并解压 https://archive.apache.org/dist/hadoop/common/ 下载之后解压到一个目录下，例如： F:\bigdata\software\hadoop-2.8.5 2.配置环境变量
转载
2023-06-14 18:44:31
281阅读
本文共计 1.5 W 字，80 张图介绍 IDEA 中令人相见恨晚的技巧，本文中从入门、简单项目创建开始，介绍 IDEA 中多光标操作、常用配置、插件、版本控制等等。一定包含你在别的文章没有看到的内容，对了，我把全网 IDEA 相关的优质内容聚合了起来，放在了 GitHub 上，仓库名为：awesome-IntelliJ-IDEA，欢迎给个 Star！地址：github.com/xiao
转载
2024-07-04 20:16:32
349阅读
1.1 为什么要取消工作空间？答： 简单来说，IDEA不需要设置工作空间，因为每一个Project都具备一个工作空间！！对于每一个IDEA的项目工程（Project）而言，它的每一个子模块（Module）都可以使用独立的JDK和MAVEN配置。这对于传统项目迈向新项目的重构添加了极大的便利性，这种多元化的灵活性正是Eclipse所缺失的，因为开始Eclipse在初次使用时已经绑死了工作空间。1.2
转载
2024-06-04 23:57:54
294阅读
1、导入java源代码：src/main2、确定idea中已经添加了cucmber的插件：cucumber for java、cucumber for Groovy3、修改pom，增加cucumber的依赖：cucumber-junit、cucumber-java、junit（其中cucumber-junit是可以实现feature的语言；cucumber-java是写实例的时候，可以使用lamb
转载
2023-07-18 10:49:13
357阅读
本文如题，介绍IDEA基础配置及常用插件。IDEA为2020.1.1版本。一.基础配置安装完idea，进入启动页面，选择setting进行默认配置，这样子不用每个项目都配置一遍。1.字体设置进入Editor菜单下选中 Font菜单，设置Size属性，调节字体大小。2.文件编码进入Editor菜单下选中 File Encodings菜单，设置Encoding属性，统一使用UTF-8，保证不乱码。3.
转载
2023-11-20 01:08:10
96阅读
按说明修改hosts文件，复制注册码到IDEA即可使用。功能1 方法抽取：当一个方法代码很长影响可读性，或其中一部分需要复用时，可以选中其中一段代码，将其抽取成一个独立方法。选中代码段，右键->Refactor->Extract->Methon。IDEA会非常智能检测上下文并配置抽取方法的参数和返回值。开发人员也可以自定义。闪退1 内存不够：在idea的安装bin目录下修改&nb
转载
2023-11-23 18:06:15
155阅读
目录 1 docker开启远程和访问 2 连接docker 3 镜像的拉取 &nbs
转载
2023-11-21 16:27:00
93阅读
前言： 都知道，小编前面已经简单介绍过在windows下hadoop和hive环境搭建和基本使用。这次的Spark有点突兀，但是也可以先忽略，重要的是先在IDEA中安装bigData插件连接hadoop已经HDFS，而后再简单介绍使用Spark操作Hive。Big Data Tools安装：1. 点击File, 选择Settings
转载
2023-08-27 15:31:13
216阅读
1、进入目录 D:\apache-tomcat-7.0.73\conf\Catalina\localhost 添加hello.xml ，内容为：<Context path="/hello" docBase="C:\Users\wanhua.lu\IdeaProjects\HelloWorld\out\artifacts\HelloWorld_war_exploded" reload
转载
2023-05-25 10:37:51
266阅读
最近在做将spark的代码提交到远程当中遇到很多坑，各种各样的错误：我是在window当中使用idea开发将本地的代码提交到远程的spark集群上，没有用到local的模式去做（在实际的生产当中不会用到local的方式去做，所以没考虑）我是直接run的方式在idea当中提交代码的，这里采用的standlone的模式和 on yarn（yarn-client） 的模式,先说一下原理：我们在本地运行实
转载
2023-07-28 16:08:57
164阅读
本文主要完成两方面的内容，一是 安装Redis服务端及验证；二是在Idea中链接Redis，并且编写程序初步使用Redis1：安装Redis服务端及验证(win10-64位)Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。
转载
2023-10-18 11:46:05
193阅读
1 命令行不知道大家在日常操作redis时用什么可视化工具呢？以前总觉得没有什么太好的可视化工具，于是问了一个业内朋友。对方回：你还用可视化工具？直接命令行呀，redis提供了这么多命令，操作起来行云流水。用可视化工具觉得很low。命令行的鄙视用工具的，用高端工具的鄙视低端工具的，鄙视链一直存在。虽然用命令行自己也可以，但是总感觉效率上不如用工具，在视觉上不那么直观。尤其是看json的时候，在命令
转载
2024-06-20 08:13:27
37阅读
在使用GitHub 或者 GitLab 等分布式代码管理平台时，我们在进行代码提交的时候，往往不需要把所有的东西，比如一些无用的文件或者隐私的文件不需要进行上传，那个Git 提供 .gitignore 文件用来忽略不想要上传的问题。IDEA 安装 git文件忽略插件 .gitignore
idea 在使用git进行提交的时候只需要提交源码之类的，并不需要把.idea/以及target等目录下的文件
转载
2024-06-04 06:13:42
676阅读
1. 命令行不知道大家在日常操作redis时用什么可视化工具呢？以前总觉得没有什么太好的可视化工具，于是问了一个业内朋友。对方回：你还用可视化工具？直接命令行呀，redis提供了这么多命令，操作起来行云流水。用可视化工具觉得很low。命令行的鄙视用工具的，用高端工具的鄙视低端工具的，鄙视链一直存在。虽然用命令行自己也可以，但是总感觉效率上不如用工具，在视觉上不那么直观。尤其是看json的时候，在命
转载
2024-06-26 10:25:44
86阅读
