1.增加分区 alter table tableName add if not exists partition(ds='20200623') 2.数据类型转换 cast(col as bigint) 3.动态插入 insert overwrite table tableA partition(ds
转载
2020-06-29 11:32:00
472阅读
2评论
目录索引一、字符串函数二、窗口函数三、聚合函数四、日期函数
五、数学函数 一、字符串函数1.char_matchcountbigint char_matchcount(string str1, string str2)用途：用于计算字符串str1中的字符有多少个出现在字符串str2中；2.charstring char(bigint ascii)用途：将一个给定的ASCII码转换为字符3.conc
转载
2024-02-02 07:20:11
313阅读
1.基本概念1）ODPS：Open Data Processing Service， 简称ODPS；是由阿里云自主研发，提供针对TB/PB级数据、实时性要求不高的分布式处理能力，应用于数据分析、挖掘、商业智能等领域；阿里巴巴的离线数据业务都运行在ODPS上； 2）御膳房：基于ODPS的一个应用模型；基于公共云计算的数据管理、计算和交换平台，为政府机构、企业、科研机构、第三方软件服务商等客户，提供大
转载
2023-12-12 21:52:50
339阅读
# 执行SQL在Java中的应用
在Java开发中，经常会遇到需要执行SQL语句的情况。比如，我们想要查询或更新数据库中的数据，就需要编写SQL语句并在Java程序中执行。
## Java中执行SQL的方式
在Java中执行SQL有多种方式，可以使用JDBC、Spring JDBC等框架，也可以使用一些专门为大数据处理设计的工具，比如阿里巴巴的ODPS（Open Data Processin
原创
2024-03-08 04:04:54
96阅读
ODPS(Open Data Processing Service)是一个海量数据处理平台，基于阿里巴巴自主研发的分布式操作系统(飞天)开发，是公司云计算整体解决方案中最核心的主力产品之一。本文结合作者多年的数仓开发经验，结合ODPS平台分享数据仓库中的SQL优化经验。背景数据仓库，是一个面向主题、集成的、随时间变化的、信息本身相对稳定的数据集合。数据仓库从Oracle（单机、RAC)，到MPP(
原创
精选
2022-09-07 15:22:32
644阅读
# 如何实现Java调用ODPS SQL
## 概述
在本教程中，我将指导你如何使用Java调用ODPS（阿里云大数据计算平台）的SQL。作为一个经验丰富的开发者，我将帮助你了解整个流程，并提供每个步骤所需的代码示例。
## 整个流程
下面是实现Java调用ODPS SQL的整个流程：
```mermaid
erDiagram
开发者 -->|编写Java程序| Java程序
原创
2024-07-13 03:55:35
61阅读
作者：Przemyslaw Piotrowski首先，熟悉 Oracle-Python参见系列目录在 Python 做事方式的核心原则中，有一个规定是要求具有到 API 的高级接口。数据库 API(在此例中为 OracleAPI)就是一个例子。使用 Computronix 的 cx_Oracle Python 模块，您可以在维持与 Python 数据库API 规范 v2.0 的兼容性的同时，控制
• 91。REGR_ (Linear Regression) Functions
功能描述：这些线性回归函数适合最小二乘法回归线，有9个不同的回归函数可使用。
REGR_SLOPE：返回斜率，等于COVAR_POP(expr1, expr2) / VAR_POP(expr2)
REGR_INTERCEPT：返回回归线的y截距，等于
AVG(expr1) - REGR_SLOPE(expr1
Oracle Database 11g : SQL 基础第一章：使用SQL SELECT 语句检索数据使用的表1、空值2：列别名1：定义列别名 2：使用列别名select FIRST_NAME AS "Name",SALARY*12 AS "Alnry ada" from employees
select FIRST_NAME AS name,COMMISSION_PCT AS comm fro
5bce955cf12af3417f055dadc0212920
“由于应用程序配置不正确，应用程序未能启动。重新安装应用程序可能会纠正这个问题。”此md5为QQ浏览器带有效数字签名的文件，说明是正常文件，但直接运行时，显示配置不正确。用OD直接无法加载。明明是好的PE文件，为什么OD无法加载？直接用WinDBG加载，会显示Win32 error On1
转载
2024-01-25 18:44:39
55阅读
PyOdps正式发布DataFrame框架（此处应掌声经久不息），DTer的福音！有了它，就像卷福有了花生，比翼双飞，哦不，如虎添翼。快过年了，大家一定没心情看长篇大论的分析文章。作为介绍PyOdps DataFrame的开篇文章，我只说说其用起来爽的地方。其余的部分，从使用、问题到实现原理，我会分文章细说。如果不知道是DataFrame什么，它是存在于pandas和R里的数据结构，你可以把它当做
转载
2024-01-01 11:59:07
133阅读
文章目录01 引言02 简介概述03 基于文件读取数据3.1 readTextFile(path)3.2 readFile(fileInputFormat, path)3.3 readFile(fileInputFormat, path, watchType, interval, pathFilter, typeInfo)3.4 实现原理3.5 注意事项3.6 支持读取的文件形式04 源码实战d
转载
2024-07-24 13:02:45
86阅读
大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案。当今社会数据收集手段不断丰富，行业数据大量积累，数据规模已增长到了传统软件行业无法承载的海量数据（百GB、TB乃至PB）级别。MaxCompute服务于批量结构化数据的存储和计算，提供海量数据仓库的解决方案及分析建模服务。由于单台服务器的处理能力有限，海量数据的分析需要分布式计算模型。分布式的计
转载
2024-03-26 21:34:33
234阅读
JDBC 和 ODBC 都是 API （应用程序编程接口），它帮助客户端的应用程序访问服务器端的数据库。下面本篇文章就来认识一下 JDBC 和 ODBC ，简单介绍一下它们之间的区别，希望对大家有所帮助。JDBC 是什么？JDBC 表示 Java 数据库连接，是一种应用程序编程接口，即 API 。 JDBC 是作为 Java 开发工具包（JDK）1.1的一部分发布的。它是建立在 ODBC 的基础上
转载
2024-01-27 19:39:11
69阅读
什么是ODPS（一）阿里云开放数据处理服务(Open Data Processing Service，简称ODPS) 是构建在飞天系统上的大规模分布式数据处理服务。ODPS以REST API的形式，支持用户提交类SQL的查询语言，对海量数据进行处理。在API之上，还提供SDK开发包和命令行工具，Aliyun.com上还有一个Web演示界面。什么是ODPS（二）与传统数据仓库工具相比ODPS有以下优
转载
2023-11-25 15:56:36
89阅读
1. 工具选择与方案确定目前,有两种方式可用于专有云环境下的从MaxCompute到MaxCompute整体数据迁移。（1）使用DataX工具进行迁移，迁移所需的作业配置文件及运行脚本，可用DataX批量配置工具来生成；（2）通过大数据开发套件（DataIDE）- 数据开发进行迁移，这种方式可选择界面向导模式逐步配置，操作简单容易上手；2. 具体实施2.1 使用DataX工具 这种场景需
转载
2024-01-15 14:16:46
97阅读
随着业务量增加，原采用的mysql 对大量业务数据的处理效率降低，公司采购的ODPS（MaxCompute） 阿里数据处理平台，其以Fuxi分布式调度算法和pangu文件服务器为基础，具有极高的数据处理能力，本篇主要记录数据同步的实现方案，方便备查。一、源数据库 => ODPS数据同步可分为全量同步和增量同步两种方式全量同步为直接取全部的数据同步到目标数据源，适用于数据量较少，对时间要求不高
转载
2023-08-16 10:32:14
794阅读
本教程为即学即用Spark实战44讲的系列课程，本部分为前言和模块一。前言spark诞生于2009年，适合数据科学家与数据分析师进行中小规模数据处理，多语言接口与 SQL 支持让它赢得了很多分析师用户。spark官方定义：一个通用的快速分析引擎。（通用：供所有大数据从业人员使用；分析：主要面向数据处理场景）spark适合谁学：数据分析爱好者，分析师，大数据工程师，大数据架构师。Spark官方模块一
转载
2024-01-09 13:38:22
100阅读
相信大部分服务端程序员都和我有一样的感觉，就是在Java代码里根据条件拼接SQL语句是个技术含量很低，又很麻烦，还容易出错的问题。
最简单直观的方式当然是用String/StringBuffer/StringBuilder自己拼，但是因为Java不支持多行字符串，也不能自动解析字符串里的变量，因此写起来、改起来都很麻烦。
也有不少框架给出了自己的方案，比如MyBatis
1.数据仓库DW1.1 简介 Data warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-line Analytical Processing），支持复杂的分析操作，侧重决策支持，并
转载
2024-01-11 12:28:02
90阅读
