如今大数据应用越来越广，对于大数据技术人才的需求越来越大，很多人想转行学习大数据，并想通过自学进入大数据行业，那么，大数据技术怎么自学?大数据开发如何自学? 对于想学习大数据人员可分为以下三种；第一类： 零基础学员，对大数据行业和技术一无所知;第二类： 有一定的编程基础，对大数据行业略知一二，无发真正应该用;第三类： 有工作经验的工程师，对大数据行业了解，想转行大数据开发。在搞清楚了自身的状况之外
原创
2019-01-04 13:11:36
1039阅读
前言 确实，关于SQL的学习资料，各类文档在网上到处都是。但它们绝大多数的出发点都局限在旧有关系数据库里，内容近乎千篇一律。而在当今大数据的浪潮下，SQL早就被赋予了新的责任和意义。 本篇中，笔者将结合过去在A公司和T公司大数据部门的学习工作经历，对传统SQL语法进行一次回顾性学习。同时，思
转载
2023-10-11 19:04:39
89阅读
网上经常盛传 大数据=sql boy，后端开发=crud boy，算法工程师=调参boy在大数据领域也工作了好几年了，确实大数据开发，很多工作就是写sql，hive sql、spark sql、flink sql等等sql一、背景：但是经常有这样一个需求，一大段sql 跑出来之后，发现不是自己想要的结果？比如：demo 1:
select id,name from (
select id,name
转载
2023-11-03 12:10:58
59阅读
常写的SQL可能主要以实现查询出结果为主,但如果数据量一大,就会突出SQL查询语句优化的性能独特之处.一般的数据库设计都会建索引查询,这样较全盘扫描查询的确快了不少.下面总结下SQL查询语句的几个优化效率的地方,经验有限,难免有不足.1、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引2、避免在索引列上使用NOT在 where 子句中对字段进行
转载
2023-06-13 23:46:25
408阅读
最近在学习数仓跟BI，突然发现，结合自己所学会抄的菜。试着把学过的大数据重新理解一番，希望各位都能来一起讨论，共同进步。走进厨房 走进厨房后，相信大家会看到各种锅碗瓢盆，案板，切菜刀，调料，橱柜，水池...........而这些就相当于是大数据的架构。 其中橱柜，相当于是Hadoop。橱柜可以储存各种食材，而Hadoop可以存储各种不同类的数据（结构化与非结构
原创
精选
2017-05-09 11:02:08
1753阅读
点赞
3评论
文章目录概念法则语法对表进行修改SELECT基础聚合查询普通聚合分组查询ORDER BYINSERT INTODELETEUPDATE事务视图子查询标量子查询关联子查询函数算数函数字符串函数日期函数谓词CASE集合运算表的加减法联结内联结窗口函数RANK/DENSE_RANK/ROW_NUMBER使用聚合函数作为窗口函数grouping运算符ROLLUPCUBEGROUPING SETS 概念1
转载
2023-12-19 22:25:44
129阅读
开发一款支持标准数据库 SQL 的大数据仓库引擎，希望让那些在 Oracle 上运行良好的 SQL 可以直接运行在Hadoop 上，而不需要重写成 Hive QL。Hive 的主要处理过程，大体上分成三步：1. 将输入的 Hive QL 经过语法解析器转换成 Hive 抽象语法树（Hive AST）。2. 将 Hive AST 经过语义分析器转换成 MapReduce 执行计划。3. 将生成的 M
转载
2023-06-20 13:56:02
168阅读
大数据技术之Spark SQL一：Spark SQL的概述定义：Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程对象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。特点：易整合、统一的数据访问方式、兼容Hive、标准的数据连接DtaFrame的定义：与RDD类似，DataFrame也是一个分布式的数据容器。然而Dataframe更像是一个数据库
转载
2024-05-29 09:58:21
51阅读
06、SQL Server大数据群集进阶--理解大数据构架 之前创建了一个SQL BigData群集，也进行了HDFS连接查询的操作，一切看起来都挺简单的，也能运行起来。但是也没发现有什么特别之处，与普通的SQL实例相比也好像没有区别。因此我们要更加深入的学习和剖析大数据群集。大数据构架目标是实现大数据的导入、存储、管理、查询、分析、预测。数据导入首先需要完成数据的导入工作。在任何大型数
转载
2024-03-26 17:20:15
45阅读
半个月前看到博客园有人说.NET不行那篇文章，我只想说你们有时间去抱怨不如多写些实在的东西。 SQLSERVER优点和缺点？ 优点：支持索引、事务、安全性以及容错性高 缺点：数据量达到100万以上就需要开始优化了，一般我们会对 表进行水平拆分，分表、分区和作业同步等，这样做大大提高了逻辑的复杂性，难以维护，只有群
回答者：herain对大多数门外汉来说：认为大数据只是写SQL无可厚非。大数据开发同学的自嘲是谦卑、门外汉的认知是偏见。做好自己就行，不要为不理解而过多的产生不理解，加油让自己更精彩。多年从事数据开发，sql 只是众多工具（pig、spark、shell、python…）的一种。决定工作性质的不应该是 用什么工具？，而应该是用工具做什么？大数据开发，是组织数据（数据仓库）、是分析信息（数据分析）、
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：
select id from xuehi.com where num is null
可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：
select i
转载
2023-07-29 18:25:19
74阅读
对于百万千万量级别的数据进行查询，如果查询方式不合理的话，会严重影响系统的运行性能及服
转载
2022-12-09 14:58:09
64阅读
处理上百万条的数据库如何提高处理查询速度1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询
转载
2023-08-12 21:33:12
153阅读
SQL 大数据查询如何进行优化？ 1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：引。 select id from t where num is null可以在n
转载
2023-08-02 21:56:28
213阅读
学习真的是一件很难坚持到底的事情，更何况是学习大数据技术，小编为你准备好了齐全的学习资料，不要将时间浪费在路上，要知道，如果想要赶上参加大数据培训班学习的同学的节奏，就必须付出更多的努力。大数据学习入门看什么书？学会大数据可以解决哪些问题？大数据学习资料之学习书籍1、《为数据而生》书中分别阐述在大数据1.0、大数据2.0和大数据3.0时代下，相对应的数据分析需要做到分析、外化、集成。2、《智能时代
原创
2018-08-23 17:40:41
0阅读
二、改善SQL语句 很多人不知道SQL语句在SQL SERVER中是如何执行的，他们担心自己所写的SQL语句会被SQL SERVER误解。比如： select * from table1 where name='zhangsan' and tID > 10000 和执行: select * from table1 where tID > 10000 and name='zhangsan
转载
2024-01-03 10:07:27
53阅读
作者 | Alan Beaulieu译者 | Liangchu校对 | gongyouliu编辑 | auroral-L全文共12309字，预计阅读时间90分钟。第三章 查询入门1. 查询机制2. 查询语句3. select子句 3.1 列别名 3.2 去除冗余4.
转载
2024-06-03 22:03:19
52阅读
如何使用 SQL 对数据进行分析？ 文章目录如何使用 SQL 对数据进行分析？前言使用 SQL 进行数据分析的几种方式案例：挖掘购物数据中的频繁项集与关联规则使用 MADlib+PostgreSQL 完成购物数据的关联分析开发环境服务器环境使用 Docker 安装 MADlib+PostgreSQL使用 SQL 完成关联规则的调用分析使用 SQL+Python 完成购物数据的关联分析开发环境服务器
转载
2023-11-25 14:35:45
56阅读
大家好，我是老兵。本期继续为大家介绍大数据面试中常见的SQL真题，本期SQL系列难度为中等，可与第一期面试SQL文章对照观看。原创好文！大数据笔试之SQL必看篇（初试牛刀）文章旨在帮助大家抱团取暖，希望对小伙伴笔试会有所帮助。1 统计出每个用户的月累积访问次数题目介绍页面用户行为日志中记录用户id、访问时间、访问次数字段，统计日志中每个用户的累积访问次数，数据示意如下:原始数据uidvisitDa
转载
2023-11-28 07:20:23
86阅读
