一、HiveQL是什么?
1.HiveQL概述
Hive是一种数据仓库分析系统,前面我们也说到过,它主要是将SQL的查询过程通过MapReduce来完成
HiveQL本质上就是一种SQL。Hive通过HiveSQL去查询分析需要的内容,使不熟悉MapReduce的用户也可以很方便的利用SQL来查询、汇总并分析数据。
2.HiveQL及Hive的特点
(
转载
2023-08-04 10:30:22
132阅读
1.RPC简介 Remote Procedure Call 远程过程调用协议 RPC——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传
原创
2021-07-15 14:36:04
487阅读
刚刚接触HDFS,感觉HDFS的数据可靠性非常高,记录一下..一HDFS的基本原理HDFS采用了主从(Master/Slave)结构模型,一个HDFS集群包括一个名称节点(NameNode)和若干个数据节点(DataNode)。名称节点作为中心服务器,负责管理文件系统的命名空间及客户端对文件的访问。集群中的数据节点一般是一个节点运行一个数据节点进程,负责处理文件系统客户端的读/写请求,在名称节点的
原创
2016-11-13 22:13:31
926阅读
shuffle读过程源码分析 上一篇中,我们分析了shuffle在map阶段的写过程。简单回顾一下,主要是将ShuffleMapTask计算的结果数据在内存中按照分区和key进行排序,过程中由于内存限制会溢写出多个磁盘文件,最后会对所有的文件和内存中剩余的数据进行归并排序并溢写到一个文件中,同时会记 ...
转载
2021-05-03 23:11:45
1096阅读
2评论
Oracle的逻辑结构是一种层次结构。主要由:表空间、段、区和数据块等概念组成。逻辑结构是面向用户的,用户使用Oracle开发应用程序使用的就是逻辑结构。数据库存储层次结构及其构成关系,结构对象也从数据块到表空间形成了不同层次的粒度关系,如图2-3和图2-4所示。
转载
2012-05-30 11:38:31
672阅读
撰写中。。。
原创
2011-01-04 10:39:37
484阅读
逻辑回归基本概念什么是逻辑回归?逻辑回归就是这样的一个过程:面对一个回归或者分类问题,建立代价函数,然后通过优化方法迭代求解出最优的模型参数,然后测试验证我们这个求解的模型的好坏。Logistic 回归虽然名字里带“回归”,但是它实际上是一种分类方法,主要用于两分类问题(即输出只有两种,分别代表两个类别)回归模型中,y是一个定性变量,比如y=0或1,logistic方法主要应用于研究某些事件发生的
转载
2024-08-23 20:00:08
34阅读
--过程:类似于Java中的无返方法--示例1:过程的基本语法create or replace procedure 过程名( [参数1 类型(不要长度), 参数2 类型,....]) is/as [局部变量1 类型(要长度); 局部变量2 类型(要长度); ..... ]begin 可执行代码[exception]end;--调用过程DECLAREBEGIN 过程名(参数)
原创
精选
2023-02-05 11:28:16
239阅读
Oracle存储过程包含三部分:过程声明,执行过程部分,存储过程异常。Oracle存储过程可以有无参数存储过程和带参数存储过程。 一、无参程序过程语法create or replace procedure NoParProas ;begin;exception //存储过程异常 ;end; 二、带参存储过程实例c
原创
2013-04-17 12:16:14
9570阅读
Oracle逻辑存储结构包括表空间,各种段,区间,数据块等几种基本结构。
1)表空间是数据库的逻辑划分,每个数据库至少有一个表空间,USER表空间供一般用户使用,RBS表空间供回滚使用,一个表空间只能属于一个数据库。每一个表空间由同一磁盘上的一个或多个数据文件组成。表空间实质是组织数据文件的一种途径。
2)段(Segment)是逻辑数据库对象的物理副本,段存储数据,如:索引段存储与索引相关的数
转载
精选
2012-02-01 10:48:16
535阅读
1、基本表空间介绍
a. 系统表空间
主要存放数据字典和内部系统表基表
查看数据数据字典的SQL
select * from dict
查看内部系统表的SQL
select * from v$fixed_view_definition
DBA对系统的系统表中的数据字典必须有一个很深刻的了解,他们必须准备一些基础的SQL语句,通过这些SQL可以立即了解系统的状况和数据库的状态,这些基本
原创
2013-03-12 09:25:05
617阅读
1、 表空间(tablespace)
表空间是数据库中的基本逻辑结构,一系列数据文件的集合。一个表空间可以包含多个数据文件,但是一个数据文件只能属于一个表空间。
查询表空间:
SQL>select * form dba_data_files;
查询表空间的空闲信息:
SQL>select * from dba_free_space;
SQL>alter tablesp
原创
2013-03-12 09:26:16
598阅读
一、概述
逻辑结果从小到大可以划分为:块(block)、区(extent)、段(segment)、表空间
块(block):块是oracle数据库的最小逻辑单元,所有的数据存取都以块为单位进行。
区(extent):区是oracle数据库的最小分配单位,由一组连续的块组成,块可以在物理上不联系,但必须位于
原创
2013-03-19 07:52:49
1049阅读
oracle数据库管理系统有三个重要的概念:实例、数据库、数据库服务器。oracle数据库的存储结构可以分为逻辑存储结构和物理存储结构。逻辑存储结构用于描绘Oracle内部组织和管理数据的方式,而物理存储结构用于展示Oracle在操作系统中的物理文件组成情况。实例:是指一组Oracle后台进程以及在服务器中分配的共享内存数据库:是基于磁盘的数据文件、控制文件、日志文件、参数文件、和归档日志文件等组
转载
2021-04-28 22:23:24
145阅读
2评论
一、定义二、数据块二、区(extent)2.1 区的分配2.2 区的释放三 段3.1段的分类3.2 段相关
原创
2023-05-24 10:16:09
171阅读
文章目录基本认识逻辑回归模型逻辑回归模型的损失函数:交叉熵损失损失函数最小值求解推导迭代公式的向量化 基本认识在评分卡项目中,如果需要构建一个标准的评分卡模型,就只能采用逻辑回归模型,因为其它支持概率输出的分类模型只能给出样本的总分值,没有办法给出每个变量的分值,以及每个变量不同取值的分值,也可以理解成不能看到每个特征对总分的影响线性回归简单回顾线性回归模型是用属性线性组合来预测目标变量,而每个
转载
2024-03-26 10:33:57
51阅读
创建存储过程create or replace procedure test(var_name_1 in type,var_name_2 out type) as--声明变量(变量名 变量类型)begin--存储过程的执行体end test;打印出输入的时间信息E.g:create or replace procedure test(workDate in Date) isbegindbms_ou
原创
2013-04-18 10:40:58
8075阅读
自动备份脚本:
oracle@linux:~/back_dmp> more backup_dmp.sh
#!/bin/bash
export ORACLE_HOME=/opt/oracle/product/10.2/db_1
export ORACLE_SID=oracle_sid
export PATH=/usr/local/bin:/usr/bin:/usr/
原创
2011-12-13 14:14:00
637阅读
一、数据库
数据库顾名思义是数据的集合,而Oracle则是管理这些数据集合的软件系统,它是一个对象关系型的数据库管理系统。
二、表空间
表空间是Oracle对物理数据库上相关数据的 逻辑映射 。一个数据库在逻辑上被划分成一到若干个表空间,每个表空间包含了在逻辑上相关联的一组结构。每个数据库至少
转载
2012-05-30 09:24:20
548阅读
有好工作欢迎推荐 限深圳地区,个人QQ:252190189
原创
2013-02-17 22:37:53
873阅读