目录05_尚硅谷大数据技术之Hadoop（Yarn）V3.3P125【125_尚硅谷_Hadoop_Yarn_课程介绍】05:20P126【126_尚硅谷_Hadoop_Yarn_基础架构】04:56P127【127_尚硅谷_Hadoop_Yarn_工作机制】06:43P128【128_尚硅谷_Hadoop_Yarn_全流程作业】03:36P129【129_尚硅谷_Hadoop_Yarn_FIFO
安装spark3.0.0
（一）打开安装包所在地
[root@hurys22 conf]# cd /opt/install/
[root@hurys22 install]# ls（二）解压安装包
[root@hurys22 install]# tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/soft
[root@hurys22 inst
5.1.4.5 RDD 行动算子// TODO - 行动算子
// 所谓的行动算子，其实就是触发作业(Job)执行的方法
// 底层代码调用的是环境对象的runJob方法
// 底层代码中会创建ActiveJob，并提交执行。1) reduce2) collect实现wordcount的方法package com.atguigu.bigdata.spark.core.wc
第1章 SparkSQL 概述Spark SQL 是 Spark 用于处理结构化数据的一个 模块 这里的机构化数据就是值类似数据库的二维数据表1.2 Hive and SparkSQLSparkSQL 的前身是 Shark，给熟悉后端开发 但又不理解 MapReduce 的技术人员提供快速上手的工具。1.3 SparkSQL 特点1.4 DataFrame 是什么在数据库中，schema（发音 “
学习视频点击这里观看1、简介1.1 什么是Mybatis一种流行的持久层框架 它支持自定义 SQL、存储过程以及高级映射。MyBatis 免除了几乎所有的 JDBC 代码以及设置参数和获取结果集的工作。MyBatis 可以通过简单的 XML 或注解来配置和映射原始类型、接口和 Java POJO（Plain Old Java Objects，普通老式 Java 对象）为数据库中的记录。1.2 My
目录一：spring 介绍 ：二：Spring IOC 容器：三：Spring IOC 容器—基于 XML 方式 —IOC 操作 bean 管理：：四：bean的作用域、生命周期、自动装配：五：Spring IOC 容器—基于注解方式，IOC 操作 bean 管理：六：Spring AOP七：Spring AOP 操作：七：JDBCTemplate：八：事务：九：spring 5 整合日志：九：s
项目部署虚拟机环境配置下载整体设计 日志划分业务日志批量更新，用户行为日志实时更新虚拟机虚拟机登录 root root
sudo systemctl start/status mysqld
mysql -uroot -p '000000'
gmail
bin/sqoop list-databases --connect jdbc:mysql://warehouse:3306/ --usernam
文章目录一、SpringMVC简介1、什么是MVC2、什么是SpringMVC3、SpringMVC的特点二、HelloWorld1、开发环境2、创建maven工程a>添加web模块b>打包方式：warc>引入依赖3、配置web.xmla>默认配置方式b>扩展配置方式（推荐使用）4、创建请求控制器5、创建springMVC的配置文件6、测试HelloWorlda&g
days011. JDBC（Java Database Connectivitu）：是一个独立于特定数据库管理系统、通用的SQL数据库存储和操作的公共接口；2. JDBC接口包括两个层次 面向应用的API：Java API，抽象接口，开发使用（连接数据库，执行语句，获得结构）； 面向数据库的API：供开发商使用；3. JDBC使用流程以及连接方式（主要记方式五，其他几种为过渡） 方式
1 Ganglia简介 Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据（如处理器速度、内存使用量等）的名为 gmond 的守护进程。它将从操作系统和指定主机中收集。接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精简表单传递到层次结构中。正因为有这种层次结构模式，才使得 Ganglia 可以实现良好
第1章 Spark 概述Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2 Spark and Hadoop1.3 Spark or Hadoop(MapReduce)Spark 和Hadoop 的根本差异是多个作业之间的数据通信问题 : Spark 多个作业之间数据通信是基于内存，而 Hadoop 是基于磁盘。MapReduce数据->map->reducer
转载
2023-07-31 10:08:22
213阅读
1. elasticsearch基本操作1.1. 基本概念Elasticsearch也是基于Lucene的全文检索库，本质也是存储数据，很多概念与MySQL类似的。对比关系：索引（indices）----------------------Databases 数据库
类型（type）--------------------------Table 数据表
文档（Document）-
20220114-20220115听的课，P1-P17课前背景课程改变：hadoop3.1.3 主要变化内容yarn调度器与调度算法集群搭建完毕后的压测，多目录配置，集群的动态增加与减少生产调优参数，hadoop源码解析以及RPC源码解析技术基础：javase+maven+idea+linux概念基础：大数据：海量数据的采集+存储+计算问题特点：“4V”volume大量（TB,EB级别的数据）ve
上一篇：（1. 概述）学习笔记下一篇：（3. Elasticsearch 基本操作_上）学习笔记 文章目录1. 下载软件2. 安装软件3. 问题解决4. PostMan 安装 1. 下载软件Elasticsearch 的官方地址：https://www.elastic.co/cn/Elasticsearch 最新的版本是 7.12.2（截止 2021.5.1），我这里选择的是 7.8.0 版本下载
文章目录前言一、队列的应用场景与介绍1.应用场景2.队列介绍二、数组模拟队列1.分析说明2.示意图3.思路如下4.代码实现5.问题分析并优化三、数组模拟环形队列1.分析说明2.思路如下3.代码实现留言 前言跟着B站的尚硅谷学习数据结构与算法，语言为java，目前是第二个代码内容——队列 提示：以下是本篇文章正文内容，下面案例可供参考一、队列的应用场景与介绍1.应用场景例子：银行办理业务时，顾客取
目录前言一、Promise视频简介二、Promise的介绍三、Promise的初体验四、Promise实践练习1. fs读取文件2. AJAX请求五、Promise封装fs读取文件操作六、util.promisify方法进行promise风格转化七、Promise封装AJAX请求八、Promise对象状态属性介绍九、Promise工作流程十、Promise的API1.构造函数-then-catc
实验题目修改 Bank 类来实现单子设计模式：实验目的单子模式。提示修改 Bank 类，创建名为 getBank 的公有静态方法，它返回一个 Bank 类的实例。单个的实例应是静态属性，且为私有。同样，Bank 构造器也应该是私有的。创建 CustomerReport 类在前面的银行项目练习中，“客户报告”嵌入在 TestBanking 应用程序的 main 方法中。在这个练习中，将该部分代码被改
1、配置文件Mybatis-config配置文件<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE configuration
PUBLIC "-//mybatis.org//DTD Config 3.0//EN"
"http://mybatis.org/dtd/mybatis-3-config.dt
安装elasticsearch1.部署单点es1.1.创建网络因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。这里先创建一个网络：docker network create es-net1.2.加载镜像这里我们采用elasticsearch的7.12.1版本的镜像，这个镜像体积非常大，接近1G。不建议大家自己pull。可以使用已上传资源大家将其上传到虚拟机中，然后运行命令
转载
2023-07-11 21:34:16
185阅读
sql99语法 sql执行过程 SELECT ....,...,...（聚合函数）FROM 表 （LEFT/RIGHT）JOIN 表 ON 表与表的链接条件 （LEFT/RIGHT）JOIN 表 ON 表与表的链接条件WHERE 不包含聚合函数的过滤条件GROUP BY （分组字段）...，... （查询出来的非聚合函数的值都需要
