# Java MapReduce with HiveContext
## Introduction
In the world of big data processing, Apache Hadoop is a widely used framework for storing and processing large datasets. One of the key components o
1.SqlContext SQLContext依赖SparkContext 功能：支持SparkSQL操作(不依赖Hive) SQLContext在一个JVM中默认允许存在多个 只有SQLContext支持序列化与反序列化。 2.HiveContext 继承了SQLContext HiveConte
转载
2017-04-25 15:43:00
75阅读
2评论
折腾了一天，终于解决了上节中result3的错误。至于为什么会产生这个错误，这里，先卖个关子，先看看这个问题是如何发现的：首先，找到了这篇文章：http://apache-spark-user-list.1001560.n3.nabble.com/SparkSQL-select-syntax-td16299.html 里面有这么一段：The issue is that you're u
原创
精选
2015-04-17 20:14:48
5716阅读
点赞
本文简单介绍两种往SQLContext、HiveContext中注册自定义函数方法。 下边以sqlContext为例，在spark-shell下操作示例：
转载
2017-12-25 18:38:00
77阅读
2评论
如图 这两文件夹是 IDEA 自动生成的，在开发过程中用不到它。可以把它隐藏
原创
2022-12-23 01:09:21
282阅读
阅读背景：已知您有 Eclipse基础，是从 Eclipse 向 Intellij Idea 转变的。 文章目录1. Idea须知2. 更改设置3. 快捷键 （实际可以设置成 eclipse的）4. 设置5. Maven5.1 创建 Maven5.11 创建 Java Mavan5.12 创建 Maven Web5.2 打包 Maven5.21 打包 Java Maven5.22 打包 Maven
一、 以编程方式执行Spark SQL查询1． 编写Spark SQL程序实现RDD转换成DataFrame前面我们学习了如何在Spark Shell中使用SQL完成查询，现在我们通过IDEA编写Spark SQL查询程序。Spark官网提供了两种方法来实现从RDD转换得到DataFrame，第一种方法是利用反射机制，推导包含某种类型的RDD，通过反射将其转换为指定类型的DataFrame，适用于
原创
2021-06-02 18:12:14
1652阅读
码分析、 创新的 GUI设计等方面的功能可以说...
原创
2021-07-15 11:57:59
4494阅读
1评论
注意：安装插件后要重新启动IDEA才会生效 1、Free Mybatis plugin 功能：平时dao层找对应的xml时候需要很麻烦地去找（从xml找dao层对应方法也很麻烦），有了这个插件就不用了。 使用步骤： 2、GsonFormat 功能：可以将json格式的字符串自动转换成java类 使用 ...
转载
2021-08-17 18:01:00
10000+阅读
2评论
字体建议Fira Code Consolas
原创
2022-12-13 10:23:47
178阅读
1、安装SVN 2、配置IDEA IDEA 设置提交SVN需要忽略的文件后缀
原创
2022-12-13 10:26:58
1905阅读
自己对于IDEA一些个性化设置，这里简单记录一下，省的之后四处百度常用插件安装CodeGlance：代码编写区域右侧小地图GenerateAllSetter：针对new出来的实体类对象快速调用Get或Set方法Jrebel：IDEA热部署插件访问GUID生成网站复制生成出来的GUID在激活Jrebel插件的时候邮箱随便填，注侧地址填http://jrebel.cicoding.cn/{GUID}然
转载
2023-09-09 20:46:20
134阅读
最近项目组需要开发一个swing小工具，以下是开发过程。一、创建工程：输入工程名称，选择java module，点击next接下来什么都不选点击finish，项目创建成功。二、配置项目：创建的工程目录结构如下：在src同级目录下增加以下文件夹：classes、config、db、lib、plugin、test；添加以下文件：start.bat、build.xml。如图所示：选择swingdemo按
转载
2023-06-26 17:11:43
109阅读
1.使用spring容器管理对象 先创建一个空的java项目，javaweb也可以。 在项目目录下创建lib文件夹用于存放spring相关的依赖，然后要导入项目基础依赖的jar包，我这里直接使用的是已经下载好的jar文件，以下几个是必须的，其中logging是Apache官网的，其余的在 https://spring.io 可以找到，不过想找特定版本的有点麻烦（官网想让你用最新的，我这里还是从本地
Structure介绍及示例在IDEA中有很多可以提升开发效率的模块和功能，下面就来介绍一下IDEA中的Structure部分的使用和各个图标的作用说明。 为 为了方便说明和理解，将Structure模块划分为三个模块进行解释：1、Structure侧边栏一般位于IDEA工具左下角折叠框，点击后便可显示和收缩。2、类方法的展示从左往右介绍： 1、最开头的 m 标识是表示为方法，如出现 f 标识则表
IntelliJIDEA
2018.1：Kubernetes支持拉塔·卡卢日纳亚2018年3月2日即将到来的IntelliJIDEA
2018.1终极版通过一个全新的版本引入了对Kubernetes的初始支持Kubernetes插件。新插件支持库伯奈特斯从v1.5到最近发布的v1.9的资源文件。IntelliJ的IDEA增强库伯奈特斯包括：代码完成、检查、快速修复库伯奈特资源文件，图标，更容易
转载
2023-05-25 19:01:31
269阅读
工欲善其事必先利其器，分享一些官网的说明文档上没提及的但开发中比较实用的IDEA技巧，如果你有好的知识分享，欢迎加入我们。IDEA官网：https://www.jetbrains.com/idea/文档：http://wiki.jikexueyuan.com/project/intellij-idea-tutorial/keymap-introduce.html本次分享使用的IDEA版本：一、可以
idea，使用Remote 连接tomcat，远程DEBUG模式调试前言：为什么要使用远程DEBUG模式调试？解决 在我本地是好的啊 这个世界性难题～测试环境碰到问题，直接连上Debug，不用再测试本地，再查看测试环境日志遇到一些诡异的问题，日志是看不出端倪的调试一些只能在测试环境执行的流程，如：调用微信 / 支付宝付款一些客户的环境是有非常严格的安全限制，如外网访问 ，端口防火墙限制，这使得我们
1.JDK的安装1.下载官网下载：Java Downloads | Oracle2.安装双击下载的exe，自定义目录。3.配置环境变量单击"计算机-属性-高级系统设置"，单击"环境变量"。 新建->变量名"JAVA_HOME"，变量值"D:\"（即JDK的安装路径,因为我安装在D盘了编辑->变量名"Path"，点击"新建"，然后输入上"%JAVA_HOME%\bin"，点击"
最近研究openfire即时通讯服务器，但是过程相当不顺利，将源码部署到idea上，在网上海量搜索，加群等弄了近3天的时间才弄好，也以此记录一下过程，和常见的问题，希望这篇文章能让研究openfire的筒子们少走一些弯路，毕竟idea有一点点不是很喜欢openfire。 环境说明：windows7+IntelliJ IDEA 2016+openfire 4.0.2+JDK1.8 一、解压open
