Saprk mapPartitionsWithIndex
原创
2022-12-28 15:29:07
47阅读
Saprk flatMap
原创
2022-12-28 15:35:09
99阅读
Saprk map&mapPartitions
原创
2022-12-28 15:29:02
51阅读
上一篇讲到了spark里面的action函数： Action列表： reduce collect count first take takeSample takeOrdered saveAsTextFile saveAsSequenceFile saveAsObjectFile countByKey
转载
2018-01-12 14:03:00
105阅读
2评论
错误日志：Yarn application has already ended! It might have been killed or unable to launch application master.出现此问题一般是机器的虚拟内存不够，导致yarn进程被杀解决方法：1.加大内存；2.在yarn-site中添加以下配置<property> <...
原创
2022-01-11 16:29:12
437阅读
Saprk core Transformation 转换算子RDD整体上分为Value类型、双Value类型和Key-Value类型Key-Value类型总结：reduceByKey、aggregateByKey、foldByKey、combineByKey
原创
2022-12-28 15:32:43
94阅读
今天早上来到公司，看了一下hue平台执行的时候，出现以下报错，然后我就去平台上查看日志，找了半天也没有找到，以为是spark的问题。
然后在去hive上去看日志，发现了报错如下（原来是与atlas集成的时候，把阿里的oss的jar也移了过来，因为hive设置辅助jar只能设置一个路径）：
查看了一下，无权限，然后去服务器上开通相关的权限
原因是因为这几个包是与aliyun的oss集成的包，hi
原创
精选
2021-08-24 10:32:55
944阅读
点赞
CREATE USER book IDENTIFIED BY accp;GRANT CONNECT,RESOURCE TO book;CREATE TABLE BookManage( b_Id number(10) PRI VARCHA...
原创
2023-04-26 14:43:52
197阅读
# 深入理解SQL Server中的EXPLAIN语句
在SQL Server中，EXPLAIN语句是一种非常有用的工具，可以帮助我们分析查询语句的执行计划和优化查询性能。通过EXPLAIN语句，我们可以查看查询语句的执行计划、索引使用情况、数据访问方式等信息，帮助我们更好地理解SQL Server是如何执行我们的查询的。
## 什么是执行计划？
在执行SQL查询语句时，SQL Server
原创
2024-04-05 06:09:25
287阅读
# SQL Server中的动态SQL执行与拼装
SQL Server是一个强大的关系数据库管理系统，广泛应用于各类应用程序中。在实际开发时，动态SQL的使用非常普遍。动态SQL允许我们在运行时构建SQL语句并执行，这在处理不确定的查询条件时尤其有用。
## 什么是动态SQL？
动态SQL是指在运行时生成并执行的SQL语句，不同于静态SQL，后者在编写代码时就已经确定。动态SQL的主要优点是
原创
2024-09-10 03:42:57
134阅读
SQL Server、Access、Oracle都是数据库平台，都支持SQL，但有差异。通常是语义相近而形式不同，但也有形似而含义不同的。有的差异是细节的，有的差异还不小。如果不注意这些差异就可能会被困扰，于是把最近遇到的有关差异整理了一下，将来还会扩充。一、多表连接更新的差异Access形式最简洁，SQL Server略麻烦（加个from跟多个表名，保证update和set之间只有一个表名），O
转载
2024-03-13 18:36:11
348阅读
SQL注入被称为之王,是最常用的之一SQL注入原理SQL注入是指用户在参数中插入恶意的SQL语句 , 破坏原有的SQL语法结构,从而执行者的操作触发点/检测SQL注入常出现在登录,搜索等功能,凡是与数据库交互的地方都有可能发生SQL注入SQL注入利用方式SQL注入根据注入点可以分为数值型注入和字符型注入根据注入方式可以分为联合注入,报错注入,布尔盲注,时间盲注,二次注入,堆叠注入,宽字
转载
2024-02-09 16:00:35
82阅读
1、SQL注入本质SQL注入的本质：把用户输入的数据当作代码执行。关键条件：1、用户能够控制输入、2、程序拼接用户输入的数据。 例如上图所示：变量id的值由用户提交，在正常情况下，假如用户输入的是1，那么SQL语句会执行: select * from information where id = 1 limit 0,1但是假如用户输入一段有SQL语义的语句，比如:
转载
2023-10-07 11:06:15
85阅读
简要介绍了SparkSQL与Hive on Spark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。架构Spark的架构如下图所示，主要包含四大组件：Driver、Master、Worker和Executor。Spark特点Spark可以部署在YARN上Spark原生支持对HDFS文件系统的访问使用Sc
转载
2023-08-21 19:56:21
197阅读
一、基础1、说明：创建数据库
CREATE DATABASE database-name
2、说明：删除数据库
drop database dbname
3、说明：备份sql server
--- 创建 备份数据的 device
USE master
EXEC sp_addumpdevice 'disk', 'testBack', 'c:\mssql7backup\MyNwind_1.dat'
-
转载
2023-06-20 14:21:25
498阅读
# SQL Server中的SQL IN优化方法
作为一名经验丰富的开发者，我将帮助你了解如何在SQL Server的SQL语句中优化使用IN子查询的方法。这将有助于提高查询的性能和效率。
## 优化步骤
下面是执行此优化过程所需的步骤的概览。我们将在后续的部分中详细介绍每个步骤。
| 步骤 | 描述 |
|------|------|
| 步骤1：分析查询 | 首先，我们需要分析查询，确
原创
2024-02-10 03:47:12
222阅读
一、SparkSQL 概述
1.1 SparkSQL是什么
Spark SQL是Spark用于结构化数据处理的Spark模块。1.2 Hive and SparkSQL 我们之前学习过hive，hive是一个基于had
转载
2023-08-26 20:48:09
142阅读
SQL函数大全
数学函数mod(x,y) 返回x/y的模（余数）mod(5,3)=2,mod(3,5)=3floor(x) 返回小于x的最大整数值ceiling（3）=3，ceiling（3.1）=3ceiling(x) 返回大于x的最小整数值ceiling（3）=3，ceiling（3.1）=4sign(
转载
2023-09-06 19:44:34
333阅读
http://zh.wikipedia.org/wiki/SQL http://baike.baidu.com/view/34.htm http://zh.wikipedia.org/w/index.php?title=Transact-SQL&variant=zh-cn http://baike.baidu.com/view/1387454.html http://baike.baidu.com...
转载
2008-12-30 08:26:00
513阅读
2评论
# SQL Server用SQL运行SQL文件的指南
在数据库管理中，SQL文件是一种常见的数据存储和处理方式。SQL文件通常包含创建和管理表格、插入数据、更新内容以及其他SQL命令，它们是数据库开发者进行批量操作的必要工具。在本篇文章中，我们将探讨如何在SQL Server中使用SQL语句运行SQL文件，并附上相应的代码示例。
## 什么是SQL文件？
SQL文件一般是一个以`.sql`为
原创
2024-09-16 05:22:17
660阅读
