一、第一部分1、spark2.1与hadoop2.7.3集成,spark on yarn模式下,需要对hadoop配置文件yarn-site.xml增加内容,如下: <property> <name>yarn.log-aggregation-enable</name> <value>true</valu
转载 2023-08-22 22:12:21
67阅读
DeltaFeatures如下: 事务日志(Transaction log)是理解 Delta Lake 一个关键点,很多 Delta Lake 重要特性都是基于事务日志实现,包括 ACID 事务性、可扩展元数据处理、时间回溯等等。什么是事务日志?Delta Lake 事务日志(简称 DeltaLog)是一种有序记录集,按序记录了 Delta Lake 表从生成伊始所有事务
1 环境<properties> <scala.version>2.11.8</scala.version> <spark.version>2.2.0</spark.version> <hadoop.version>2.6.0-cdh5.7.0</hadoop.version> <
转载 10月前
128阅读
Spark配置Spark有以下三种方式修改配置Spark properties (Spark属性)可以控制绝大多数应用程序参数,而且既可以通过 SparkConf 对象来设置,也可以通过Java系统属性来设置。 Environment variables (环境变量)可以指定一些各个机器相关设置,如IP地址,其设置方法是写在每台机器上conf/spa
转载 2023-08-10 23:36:10
124阅读
1.上传spark-2.4.0-bin-hadoop2.6.tgz到/opt目录,并解压到/usr/localtar -zxf /opt/spark-2.4.0-bin-hadoop2.6.tgz -C /usr/local/ 进入/usr/local/spark-2.4.0-bin-hadoop2 ...
转载 2021-10-22 09:18:00
129阅读
2评论
一、使用SparkConf配置SparkSpark 进行性能调优,通常就是修改 Spark 应用运行时配置选项。Spark 中最主要配置机制是通过 SparkConf 类对 Spark 进行配置。当创建出一个 SparkContext 时,就需要创建出一个 SparkConf 实例。 import org.apache.spark.SparkContext import org.apa
1.下载下载地址:https://archive.apache.org/dist/spark/2.解压将安装包放入linux中,然后解压tar -zxvf spark-1.6.0-bin-hadoop2.6.tgz修改文件夹名称mv spark-1.6.0-bin-hadoop2.6 spark-1.6.03.环境配置1)进入编辑sudo vi /etc/profile2)配置如下环境变量expo
spark配置文件
转载 2023-07-04 15:06:45
194阅读
nginx配置文件编写及日志文件相关操作 nginx主配置文件扩展详解 http server location扩
转载 2021-08-07 20:26:00
534阅读
2评论
# 实现Spark配置文件步骤 作为一名经验丰富开发者,我将教你如何实现Spark配置文件。下面是整个流程步骤: | 步骤 | 说明 | | ---- | ---- | | 步骤一 | 创建一个配置对象 | | 步骤二 | 设置Spark配置属性 | | 步骤三 | 加载配置文件 | | 步骤四 | 获取配置属性值 | 现在,让我们一步步来实现这些步骤。 ## 步骤一:创建一个配置
原创 8月前
44阅读
一、第一部分1、spark2.1与hadoop2.7.3集成,spark on yarn模式下,需要对hadoop配置文件yarn-site.xml增加内容,如下:<property> <name>yarn.log-aggregation-enable</name> <value>true</value>
转载 2023-06-13 22:45:16
128阅读
和网络相关配置文件1. /etc/sysconfig/network/etc/sysconfig/network:该文件定义了是否启用网络功能以及系统主机名。 [root@Server3 network-scripts]#  cat /etc/sysconfig/network NETWORKING=yes HOSTNAME=Server3 [root@
原创 2014-07-20 13:51:48
855阅读
自动配置:     Spring Boot 提供了默认配置,如默认 Bean ,去运行 Spring 应用。它是非侵入式,只提供一个默认实现。  大多数情况下,自动配置 Bean 满足了现有的业务场景,但如果自动配置不够好,还需要覆盖配置。 Spring Boot 提供了对应用进行自动化配置。 &nb
转载 4天前
11阅读
        不少大数据开发小伙伴们,在刚开始学习过程中一定会被大数据环境搭建干扰到,各种集群环境。笔者也是深有体会,尤其是电脑配置低,甚至安装虚拟机都吃力,对于屌丝们,使用大部分是windows系统。因此,本期主要介绍windows下,spark环境搭建和展示idea下toy project——WordCount。   
  nagios主配置文件 vi /usr/local/nagios/etc/nagios.cfg 从里面可以看到相关cfg文件相关路径。   检测tomcat8080端口是否存活,主要是通过访问/tomcat/webapps/test文件实现   define command {           &nbs
原创 2013-07-02 10:56:11
322阅读
ejb-jar.xml  weblogic-ejb-jar.xmlhttp://docs.oracle.com/cd/E13222_01/wls/docs92/ejb/DDreference-ejb-jar.html weblogic-cmp-jar.xmlhttp://docs.oracle.com/cd/E13222_01/wls/docs92/ejb/DDref
转载 2023-07-03 11:35:01
17阅读
1. 默认情况下,redis不是在后台运行,如果需要在后台运行,把该项值更改为yes daemonize no 2. 当Redis在后台运行时,Redis默认会把pid写入/var/run/redis.pid文件,可以通过pidfile指定 pidfile /var/run/redis.pid
原创 2022-04-02 13:59:14
120阅读
1. hosts文件目录c:\windows\system32\drivers\etc2. 默认maven依赖包目录C:\Users\${user}\.m23. svn账号目录C:\Users\${account}\AppData\Roaming\Subversion\auth\svn.simple...
原创 2021-08-25 09:38:20
217阅读
1. hosts文件目录c:\windows\system32\drivers\etc2. 默认maven依赖包目录C:\Users\${user}\.m23. svn账号目录
原创 2022-02-18 13:49:01
176阅读
步骤1:(准备工作)         首先需要两台(其实更多更好)安装好Centos7 机器:         安装java (没有选择yuminstall default-jdk 因为我安装完后发现他没有jps  所以我去su
转载 2023-07-21 16:10:47
115阅读
  • 1
  • 2
  • 3
  • 4
  • 5