目录05_尚硅谷大数据技术之Hadoop（Yarn）V3.3P125【125_尚硅谷_Hadoop_Yarn_课程介绍】05:20P126【126_尚硅谷_Hadoop_Yarn_基础架构】04:56P127【127_尚硅谷_Hadoop_Yarn_工作机制】06:43P128【128_尚硅谷_Hadoop_Yarn_全流程作业】03:36P129【129_尚硅谷_Hadoop_Yarn_FIFO
第1章 SparkSQL 概述Spark SQL 是 Spark 用于处理结构化数据的一个 模块 这里的机构化数据就是值类似数据库的二维数据表1.2 Hive and SparkSQLSparkSQL 的前身是 Shark，给熟悉后端开发 但又不理解 MapReduce 的技术人员提供快速上手的工具。1.3 SparkSQL 特点1.4 DataFrame 是什么在数据库中，schema（发音 “
学习视频点击这里观看1、简介1.1 什么是Mybatis一种流行的持久层框架 它支持自定义 SQL、存储过程以及高级映射。MyBatis 免除了几乎所有的 JDBC 代码以及设置参数和获取结果集的工作。MyBatis 可以通过简单的 XML 或注解来配置和映射原始类型、接口和 Java POJO（Plain Old Java Objects，普通老式 Java 对象）为数据库中的记录。1.2 My
安装spark3.0.0
（一）打开安装包所在地
[root@hurys22 conf]# cd /opt/install/
[root@hurys22 install]# ls（二）解压安装包
[root@hurys22 install]# tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/soft
[root@hurys22 inst
文章目录一、SpringMVC简介1、什么是MVC2、什么是SpringMVC3、SpringMVC的特点二、HelloWorld1、开发环境2、创建maven工程a>添加web模块b>打包方式：warc>引入依赖3、配置web.xmla>默认配置方式b>扩展配置方式（推荐使用）4、创建请求控制器5、创建springMVC的配置文件6、测试HelloWorlda&g
days011. JDBC（Java Database Connectivitu）：是一个独立于特定数据库管理系统、通用的SQL数据库存储和操作的公共接口；2. JDBC接口包括两个层次 面向应用的API：Java API，抽象接口，开发使用（连接数据库，执行语句，获得结构）； 面向数据库的API：供开发商使用；3. JDBC使用流程以及连接方式（主要记方式五，其他几种为过渡） 方式
1. elasticsearch基本操作1.1. 基本概念Elasticsearch也是基于Lucene的全文检索库，本质也是存储数据，很多概念与MySQL类似的。对比关系：索引（indices）----------------------Databases 数据库
类型（type）--------------------------Table 数据表
文档（Document）-
第1章 Spark 概述Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2 Spark and Hadoop1.3 Spark or Hadoop(MapReduce)Spark 和Hadoop 的根本差异是多个作业之间的数据通信问题 : Spark 多个作业之间数据通信是基于内存，而 Hadoop 是基于磁盘。MapReduce数据->map->reducer
转载
2023-07-31 10:08:22
213阅读
上一篇：（1. 概述）学习笔记下一篇：（3. Elasticsearch 基本操作_上）学习笔记 文章目录1. 下载软件2. 安装软件3. 问题解决4. PostMan 安装 1. 下载软件Elasticsearch 的官方地址：https://www.elastic.co/cn/Elasticsearch 最新的版本是 7.12.2（截止 2021.5.1），我这里选择的是 7.8.0 版本下载
文章目录前言一、队列的应用场景与介绍1.应用场景2.队列介绍二、数组模拟队列1.分析说明2.示意图3.思路如下4.代码实现5.问题分析并优化三、数组模拟环形队列1.分析说明2.思路如下3.代码实现留言 前言跟着B站的尚硅谷学习数据结构与算法，语言为java，目前是第二个代码内容——队列 提示：以下是本篇文章正文内容，下面案例可供参考一、队列的应用场景与介绍1.应用场景例子：银行办理业务时，顾客取
5.1.4.5 RDD 行动算子// TODO - 行动算子
// 所谓的行动算子，其实就是触发作业(Job)执行的方法
// 底层代码调用的是环境对象的runJob方法
// 底层代码中会创建ActiveJob，并提交执行。1) reduce2) collect实现wordcount的方法package com.atguigu.bigdata.spark.core.wc
目录前言一、Promise视频简介二、Promise的介绍三、Promise的初体验四、Promise实践练习1. fs读取文件2. AJAX请求五、Promise封装fs读取文件操作六、util.promisify方法进行promise风格转化七、Promise封装AJAX请求八、Promise对象状态属性介绍九、Promise工作流程十、Promise的API1.构造函数-then-catc
1、配置文件Mybatis-config配置文件<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE configuration
PUBLIC "-//mybatis.org//DTD Config 3.0//EN"
"http://mybatis.org/dtd/mybatis-3-config.dt
项目部署虚拟机环境配置下载整体设计 日志划分业务日志批量更新，用户行为日志实时更新虚拟机虚拟机登录 root root
sudo systemctl start/status mysqld
mysql -uroot -p '000000'
gmail
bin/sqoop list-databases --connect jdbc:mysql://warehouse:3306/ --usernam
执行引擎执行引擎概述执行引擎属于JVM的下层，里面包括 解释器、及时编译器、垃圾回收器 执行引擎是Java虚拟机核心的组成部分之一。“虚拟机”是一个相对于“物理机”的概念，这两种机器都有代码执行能力，其区别是物理机的执行引擎是直接建立在处理器、缓存、指令集和操作系统层面上的，而虚拟机的执行引擎则是由软件自行实现的，因此可以不受物理条件制约地定制指令集与执行引擎的结构体系，能够执行那些不被硬件直接支
目录第06章-面向对象P070【070_尚硅谷_Scala_面向对象（一）_包（一）_声明和访问】14:52P071【071_尚硅谷_Scala_面向对象（一）_包（二）_包对象】08:47P072【072_尚硅谷_Scala_面向对象（一）_包（三）_导包说明】07:05P073【073_尚硅谷_Scala_面向对象（二）_类和对象】12:07P074【074_尚硅谷_Scala_面向对象（三）
目录?1. 内存和垃圾回收篇（P1~P203）1.1. 基本概念1.1.1 名词解释1.1.1.1 JVM概念1.1.1.2 JVM整体结构1.1.1.3 Java执行流程1.1..1.4 JVM生命周期1.2 类加载子系统1.2.1 基本概念1.2.2 双亲委派机制1.3 运行时数据区1.3.1 基本架构1.3.2 PC1.3.3 虚拟机栈1.3.2.1 基本概念1.3.
目录1、回调形式的ref2、回调ref中调用次数问题3、受控组件4、非受控组件1、回调形式的ref1、利用react提供的ref属性名通过回调函数的属性值去调用节点自身(currentnode)=>{this.input1=currentnode}其中需要传递的参数为当前节点这个是reat提供的方法调用的函数并将节点传递过来作为实参 <input ref={c => this.i
转载
2023-07-12 21:16:55
66阅读
目录1、项目简介1.1、简介1.2、项目模块1.3、使用的技术2、环境搭建2.1、使用 IDEA的 SpringBoot 创建一个Maven项目2.2、在 pom.xml 导入依赖2.3、准备目录结构2.4、配置 application.yaml2.5、准备分页插件的配置类2.6、准备 swagger2 的配置类2.7、准备 util 下的工具类2.7.1、验证码图片工具类2.7.2、t
尚硅谷Spark 调优1. 查看Spark 执行计划
2. 资源调优
3. Spark SQL 语法优化
4. 数据倾斜
5. Job 优化
6. Spark AQE
7. Spark 3.0 DPP
8. Spark 3.0 Hint增强
9. 故障排除1. Explain 查看执行计划***分析–逻辑计划优化–物理计划–评估模型分析—代码生成基于代价的优化CBO
sql.explain("")
转载
2023-08-21 15:11:18
96阅读
