引言:“数据压缩”以前对我来说还是比较新鲜的词,并不是没有听说过,而是没有实际使用过,之前一直做项目经理工作上也设计到数据库的运维,但由于存储设计的比较充裕,在加上性能运转的还能让客户接受,所以压缩技术基本上没怎么用,当时也怕对DML操作有负面影响!之所以现在要实验这方面的技术,也是因为二期我们的数据量暴增,对机器对性能对运维都用一定的压力和冲击,这也说明了这门技术是在特定环境、特定场合下来使用的
今天群里有人问个问题: 教师 星期号 是否有课 王大2有 王大3有 李二1有 赵三2有 王大2有 写一条sql语句让你变为这样的表 原数据: 其实本身这题
转载 2013-03-29 21:07:00
172阅读
在大数据处理的诸多环节当中,存储是尤其关键的一环,只有实现了稳固的数据存储,才能为后续的大数据分析、数据可视化等环节提供稳定的地支持,可见大数据存储的重要性。今天我们就来详细聊聊大数据存储技术。进入大数据的学习,我们对于分布式理论都不陌生,正是分布式架构的出现,才使得基于廉价的PC硬件来实施大规模数据处理成为可能。而分布式架构当中,分布式存储和分布式计算,可以说是核心的环节。
目录海量数据的存储海量数据的计算大数据处理的主要应用场景前言:大数据技术诞生之初,就是为了解决海量数据的存储和计算问题。大数据起源于Google。Google是当时世界上(尽管目前也是)最大的搜索引擎公司,由于互联网时代的到来,Google积累了海量的用户,海量用户意味着海量数据,谷歌需要将这些数据保存下来,传统的保存数据的方式已经满足不了Google的需求了。首先我们需要了解,海量数据的存储面
下午去參加一个Oracle有关海量数据存储技术的培训讲座了。地址在广州市林和西路101号天河区计经大楼西側三楼。培训发起机构为:广州中睿信息技术有限公司。以下就简要总结一下所听到的一些东西,也算是学到的这些技术。只是有的东西不知道总结的对不正确,暂且囫囵吞枣吧。Oracle的存储技术大体上分为两种,...
转载 2014-10-02 14:51:00
80阅读
1.rollup:rollup 是group by 的扩展,它只能出现在group by后面。主要是为了解决多层分组的问题。语法: SELECT . . . FROM . . . GROUP BY ROLLUP (ordered list of grouping columns) 例如要查询每个部门
转载 2016-07-25 17:09:00
138阅读
2评论
SELECT T.OPE_NAME, T.OPE_IDENTIFY,TRUNC(T.CREATION_DATE, 'hh24'),TRUNC(T.CREATION_DATE, 'hh24')+1/24 ,COUNT(1)
原创 2023-10-09 11:05:09
89阅读
者在实际工作中,有幸接触到海量数据处理问题,对其进行处理是一项艰巨而复杂的任务。原因有以下几个方面:一、数据量过大,数据中什么情况都可能存在。如果说有10条数据,那么大不了每条去逐一检查,人为处理,如果有上百条数据,也可以考虑,如果数据上到千万级别,甚至过亿,那不是
转载 2023-07-03 12:06:08
95阅读
数据量时,索引无法全部载入内存由于索引无法一次性载入内存,
原创 2021-07-15 10:37:04
307阅读
模式一:分而治之/Hash映射 + Hash统计 + 堆/快排/归并
原创 2023-02-01 10:25:13
223阅读
数据的定义:维基百科 给出的定义: 数据规模巨大到无法通过人工在合理的时间内达到截取,管理,处理并整理成为人类所解读的信 息。 麦肯锡全球研究所 给出的定义: 一种规模大到在获取、存储、管理、分析方面都大大超出了传统数据库软件工具能力范围的数据 集合。 高德纳(Gartner)研究机构 给出的定义: "大数据"是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海
转载 2023-11-07 08:09:26
87阅读
/******************Oracle 高级分组*****************************//*-----------------auther:similarface-----------------------*//*--------------------2015年2月4日----------------------------*/--oracle中GROUP BY
原创 2015-02-05 14:18:10
1187阅读
oracle 高级分组 博客分类: 数据库基础 oraclesql oracle 高级分组 数据库基础 oraclesql Java代码 10.高级分组 本章目标: 对于增强的group by需要掌握: 1.使用rollup(也就是roll up累计的意思)操作产生subtotal(小计)的值。 2
转载 2016-05-23 20:36:00
139阅读
2评论
分组函数的介绍 分组函数作用于一
原创 2022-07-28 13:44:11
165阅读
分组函数 在分组函数中,如果有一个查找项分组,其他项必须也分组,比如下面的语句会报错,因为sal分组了,而ename没有分组:1.显示工资最高的员工: 2.显示所有员工的平均工资: 2.1使用系统函数: 2.2自定义计算:3.显示工资高于平均工资的员工信息:对查询结果进行分组统计:4.查询每个部门的最高工资和平均工资:5.显示每个部门的每种岗位的平均工资与最高工资:6.显示平均工资低于200
原创 2021-07-29 09:21:47
184阅读
分组函数 在分组函数中,如果有一个查找项分组,其他项必须也分组,比如下面的
分组函数:作用于一组值,并对一组数据返回一个值;分组函数的使用:常用的分组函数:Avg(求平均值),sum(求总和),min(求最小值),max(求最大值),count(求总个数),wm_concat(行转列)例:select count( distinct deptno) from emp ;行转列: select deptno 部门号,wm_concat(enam
原创 2015-07-21 16:51:49
1274阅读
1,在Scott模式下,创建一个视图
原创 2022-08-19 16:21:35
120阅读
a、row_number() over() row_number()over(partition by col1 order by col2)表示根据col1分组,在分组内部根据col2排序,而此函数计算的值就表示每组内部排序后的顺序编号(组内连续的唯一的)。 与rownum的区别在于:使用rown
转载 2017-12-14 09:50:00
218阅读
2评论
基本信息情况:数据库版本:Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production操作系统版本:CentOS release 5.6加快创建索引速度主要从一下角度考虑:使用nologging 参数使用pa...
原创 2023-05-11 14:04:57
525阅读
  • 1
  • 2
  • 3
  • 4
  • 5