介绍SparkHint是在使用SparkSQL开发过程中，针对SQL进行优化的一点小技巧，我们可以通过Hint的方式实现BraodcastJoin优化、Reparttion分区等操作，提供了传统SQL中无法实现的一些功能。语法介绍SparkSQL的语法定义是通Antlr4实现的，Antlr4是一个提供语法定义、语法解析等第三方库，Antlr4语法的定义基本复合正则表达式，因此会正则表达式的同学可以
转载
2024-09-16 12:30:06
96阅读
问题导读 1.Spark可以在哪三个地方配置系统？2.如何实现动态加载Spark属性？
Spark可以在三个地方配置系统:
Spark属性控制大部分的应用参数。 这些属性可以通过SparkConf对象, 或者Java系统属性. 环境变量可以为每台机器配置，比如IP地址， 通过每个节点上的conf/spark-env.sh脚本. 可同通过log4j.properties配置日志.Spar
转载
2023-06-19 09:58:56
118阅读
安装IDEA及打包-常见问题 https://yq.aliyun.com/articles/60346?spm=5176.8251999.569296.68 版本问题很重要,修改版本后注意新建项目的时候版本也得匹配 参考https://www.zhihu.com/question/34099679 1. 安装scala插件 2. 新建项目选择scala-jdk-scala 3. 项目结构
转载
2023-06-19 09:57:47
82阅读
1.spark集群的开启1）在hadoop的sbin目录下使用start-dfs.sh和start-yarn.sh命令开启dfs集群；2）在spark的sbin目录下使用start-master.sh和start-slaves.sh命令开启Master和Worker；3）在hadoop的sbin目录下使用mr-jobhistory-daemon.sh start historyserver开启ya
转载
2023-06-20 09:38:06
97阅读
一、spark三种运行方式
1、local单机模式： ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[1] ./lib/spark-examples-1.3.1-hadoop2.4.0.jar 100运行结果可以在xshell看见：如图所示
2、standalone集群
转载
2023-08-08 15:03:09
73阅读
hue安装一、编译安装hue编译相关依赖环境rpm包安装sudo yum install apache-maven ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel pytho
转载
2023-10-02 09:33:38
77阅读
Tungten 和 Hydrogen：Spark 性能提升与优化计划在前面的课时中，我们学习了 Spark 的用法和原理，今天这个课时主要介绍 Spark 两个比较重要的优化提升项目，从这两个项目中可以看出 Spark 的优化思路。这节课与前面的课时有所不同，主要介绍一些比较细的优化思路，其中很多也与开发数据库的思路不谋而合，你可以换换脑筋，无法完全理解也没关系，可以作为阅读一些论文、参与开源社区
转载
2023-09-07 13:33:49
41阅读
# 使用 Spark 命令实现 Hue 的步骤指南
在大数据的处理和分析中，Spark 是一个被广泛应用的工具，而 Hue 是一个开源的 Web 界面，可以方便地管理和使用 Hadoop 生态系统中的各种工具。本文将会逐步教会你如何通过 Spark 命令使用 Hue。
## 流程概述
下面是实现使用 Spark 命令在 Hue 中进行操作的主要步骤：
| 步骤 | 描述
1. SparkRDD的操作 Spark RDD的操作，便是对RDD的转换执行操作。从上图我们可以总结出，sparkRDD的操作，从宏观上分为：Transformation和Action，但是具体的还以分为输入算子、变换算子、缓存算子，以及行动算子。1.2. Transformation1.2.1. flatMap 是Spark RDD中的转换算子，对RDD中的每一个元素都执行，前后元素的对应关系
转载
2024-01-25 17:01:34
43阅读
vmtop 是运行在宿主机host上的用户态工具。使用vmtop可以实时动态地查看虚拟机资源的使用情况，例如CPU占用率、内存占用率、vCPU陷入陷出次数等。因此，可以使用vmtop作为虚拟化问题定位和性能调优的工具。
原创
2023-06-21 18:54:23
2567阅读
SSH的英文全称是Secure SHell。通过使用SSH，你可以把所有传输的数据进行加密，这样"中间人"这种攻击方式就不可能实现了，而且也能够防止DNS和IP欺骗。还有一个额外的好处就是传输的数据是经过压缩的，所以可以加快传输的速度。SSH有很多功能，它既可以代替telnet，又可以为ftp、pop、甚至ppp提供一个安全的"通道"。
统的网络服务程序，如：ftp、pop和telnet在本质上
转载
2007-06-25 19:52:35
1474阅读
1、简介
并行版本系统)自己辛辛苦苦修改的程序被别人彻底删除了.而这时候用户需要你修改第二个版本的东西，也许你会因为只保留了最新版本而痛哭流涕。还有就是你对程序做了一些修改，但是修改很少，你只想给远方的同事发一个两个版本之间的差别文件，这样可以免于邮箱不够大，网速太慢之类的问题.在原先 Unix 的基础上，开发了 CVS，RCS CVS 避免了冲突.仓库管理员统一 由于 CVS 软件都把它们合
转载
2009-04-13 14:47:33
1158阅读
总结了一下，文章的正文太多，就写了一个附件。
原创
2009-06-18 17:18:15
1028阅读
点赞
Simware 使用指南
原创
2010-03-10 11:05:39
1275阅读
1、安装：
直接用虚拟光驱打开，硬盘安装在X盘，不占用整个盘，只占用空间。
2、软件安装：
（1）应用程序-ubuntu软件中心
（2）系统-系统管理-新立得软件包管理器
3、网上看youku：
firefox要安装插件
4、更新管理器、终端、系统监视器：
（1）系统-系统管理-更新管理器
（2）应用程序-附件-终端
（3）系统-系统管理-系统监视器
5、软件：
原创
2011-02-08 11:30:43
1425阅读
介绍SSH
什么是SSH？
传统的网络服务程序，如：ftp、pop和telnet在本质上都是不安全的，因为它们在网络上用明文传送 口令和数据，别有用心的人非常容易就可以截获这些口令和数据。而且，这些服务程序的安全验证方式也是有其弱点的，就是很容易受到“中间人”（man- in-the-middle）这种方式的攻击。所谓“中间人”的攻击方式，就
转载
精选
2011-03-04 16:17:06
1157阅读
虽然安装好了mysql但却不知如何使用它。在这篇文章中我们就从连接MYSQL、修改密码、增加用户等方面来学习一些MYSQL的常用命令。
一、连接MYSQL。
格式： mysql -h主机地址 -u用户名 －p用户密码
1、例1：连接到本机上的MYSQL。
首先在打开DOS窗口，然后进入目录 mysqlbin，再键入命令mysql -uroot
原创
2011-11-17 00:11:50
336阅读
一，写一个简单的构建文件
Apache Ant的构建文件被写成xml文件。每一个构建文件包含一个project（工程），和至少一个（默认的）target。Targets
包含task（任务）节点。每一个task（任务）节点可以有一个id属性。下面介绍一下构建文件中的一些节点。
project：跟节点
每个project可以有三个属性
&n
翻译
精选
2013-04-02 11:05:35
909阅读
OSCache是当前运用最广的缓存方案，JBoss,Hibernate,Spring等都对其有支持，下面简单介绍一下OSCache的配置和使用过程。1.安装过程下载OSCache2.4.1.jar:解压缩下载的文件到指定目录 从解压缩目录取得oscache.jar 文件放到 /WEB-INF/lib 或相应类库目录 目录中， jar文件名可能含有版本号和该版本的发布日期信息
原创
2013-05-13 10:09:00
452阅读
cppcheck使用指南Table of Contents1 cppcheck简介2 cppcheck使用3 cppcheck与其他软件的整合3.1 与VisualStudio的配合3.2 与TortoiseSVN配合1 cppcheck简介cppcheck是一个静态代码检查工具,支持c/ c++代码;作为编译器的一种补充检查,cppcheck对产品的源代码执行严格的逻辑检查。执行的检查包括：自动
原创
2014-05-28 14:14:41
10000+阅读
