Spark SQLSpark SQL 是 Spark 处理结构化数据的程序模块。它将 SQL 查询与 Spark 程序无缝集成,可以将结构化数据作为 Spark 的 RDD 进行查询。RDD 的全称为 Resilient Distributed Datasets，即弹性分布式数据集，是 Spark 基本的数据结构。Spark 使用 RDD 作为分布式程序的工作集合，提供一种分布式共享内存的受限形式
转载
2024-07-04 04:15:32
62阅读
Python入门 一、基础语法 1、Python中数据类型 整数，浮点数，字符串，布尔值，空值（None） 2、print语句 注意： 1.当我们在Python交互式环境下编写代码时，>>>是Python解释器的提示符，不是代码的一部分。 2.当我们在文本编辑器中编写代码时，千万不要自己添加 >>>。 print语句也可以跟上多个字符串，用逗号“,”隔开，就可以
转载
2023-06-19 14:38:09
184阅读
认知和学习Hadoop，我们必须得了解Hadoop的构成，下面通过Hadoop构件、大数据处理流程，Hadoop核心三个方面进行一下介绍：hadoop中有3个核心组件：分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上分布式运算编程框架：MAPREDUCE —— 实现在很多机器上分布式并行运算分布式资源调度平台：YARN —— 帮用户调度大量的map
转载
2023-05-22 17:45:04
74阅读
第一步：需求：数据的输入和数据的产出，大数据技术就好比一台榨汁机，数据输入相当于例如苹果、柠檬等，然后通过榨汁机产出果汁；第二步：数据量、处理效率、可靠性、可维护性、简洁性；第三步：数据建模；第四步：架构设计：数据怎么进来，输出怎么展示，最最重要的是处理流出数据的架构；第五步：再次思考大数据系统和企业IT系统的交互；第六步：最终确定选择、规范等；第七步：基于数据建模写基础服务代码；第八步：正式编写
转载
2023-06-14 15:13:50
96阅读
# Python大数据开发教程
## 1. 引言
大数据技术是当前信息时代的核心技术之一。Python作为一种高级编程语言，具有简洁易学、强大的数据处理能力和丰富的数据分析库，成为了大数据开发的重要选择之一。本教程将介绍使用Python进行大数据开发的基本知识和技巧。
## 2. Python大数据开发流程
为了更好地理解Python大数据开发的流程，我们将使用Mermaid语法绘制一个流
原创
2023-10-10 15:50:20
175阅读
在有关大数据分析Python API的本教程中，我们将学习如何从远程网站检索数据以进行数据科学项目。像baidu，Twitter和Facebook之类的网站都通过其应用程序编程接口(API)向程序员提供某些数据。要使用API，您需要向远程Web服务器发出请求，然后检索所需的数据。 但是，为什么要使用API而不是可以下载的静态数据集呢?API在以下情况下很有用： a.数据变化很快。股票价格数
转载
2023-10-28 11:49:24
13阅读
目前大数据行业异常火爆，不少人都对大数据充满了兴趣，其中有大部分人都是之前没有接触过计算机技术的，对编程语言也不太了解，那是不是这部分零基础的朋友就学不了大数据了呢？答案当然是否定的。大数据学习并不是高深莫测的，虽然它并没有多简单，但是通过努力，零基础的朋友也是完全可以掌握大数据的。零基础学习大数据一般有以下几步： 1.了解大数据理论&nb
转载
2024-02-29 13:04:00
25阅读
今天我们在进行一个Python数据可视化的实战练习，用到的模块叫做Panel，我们通过调用此模块来绘制动态可交互的图表以及数据大屏的制作。而本地需要用到的数据集，可在kaggle上面获取 https://www.kaggle.com/datasets/rtatman/188-million-us-wildfires，如果无法访问kaggle,可以找我获取数据集。导入模块和读取数据那么首先我们先导入
转载
2023-07-29 15:39:48
184阅读
HDFS: 用于存放一切信息的分布式的文件系统。大数据系统由于其涉及到的数据量较大所以往往需要仰赖于一个数据仓库系统，将所有的数据能够分门别类地存储起来，而HDFS就是这样一个仓库。需要注意一点，HDFS并不是我们通常实际用来查询或者处理数据的数据仓库组件，其更像是仓库本身，是一个偏硬件，偏系统化的概念，用于将所有的信息都囊括进去。MapReduce: 软件框架，编写程序。用于实际进行计算数据
转载
2024-01-15 17:48:21
47阅读
离线计算组件1.1 hive hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。但是在转换为MapReduce的计算过程中，计算速度
转载
2023-08-28 20:47:02
100阅读
文章目录一、Hadoop&HIVE1.1 HDFS读写流程1.1.1 HDFS读流程1.1.2 HDFS写流程1.2 HDFS文件和目录数过多问题1.3 文件压缩格式及存储格式1.3.1 存储格式1.3.2 压缩格式1.4 MR Shuffle过程1.5 MR任务优化1.5.1 输入小文件过多1.5.2 数据倾斜1.6 HIVE SQL1.7 HIVE架构及解析成MR的过程1.8 HIV
转载
2024-02-22 23:49:20
40阅读
大数据性能测试的目的1.大数据组件的性能回归，在版本升级的时候，进行新旧版本的性能比对。2.在新版本/新的生产环境发布之后获取性能基线，建立可度量的参考标准，为其他测试场景或者调优过程提供对比参考。3.在众多的发行版本中进行测试比对，为PoC测试提供参考数据。4.支持POC测试，得出结论，到时候可以根据业务模型和需求，或者根据客户需求选择不同的方案。5.在客户方进行性能测试，达到客户要求的性能标准
转载
2023-12-15 08:49:39
36阅读
大数据平台架构：大数据平台组件：简单介绍一下大数据平台的一般架构？列举一些常见的组件1、数据源大数据处理的起点，数据来源一般包括：业务数据、日志数据、埋点数据、第三方数据。2、数据采集数据采集(或数据同步)是将各种数据来源统一采集/同步到数据仓库中，包括全量和增量两种采集方式。常用的采集工具包括：Sqoop：用于HDFS与关系型数据库(如：mysql、Postgres、Oracle)之间的同步。C
转载
2023-11-27 09:01:22
71阅读
大数据概要流程图解析1)数据采集：定制开发采集程序，或使用开源框架FLUME 2)数据预处理：定制开发mapreduce程序运行于hadoop集群 3)数据仓库技术：基于hadoop之上的Hive 4)数据导出：基于hadoop的sqoop数据导入导出工具 5)数据可视化：定制开发web程序或使用kettle等产品 6)整个过程的流程调度：hadoop生态圈中的oozie工具或其他类似开源产品什么
转载
2023-10-20 13:26:05
78阅读
文章目录一、概述二、函数1）函数定义2）函数调用3）函数传参1、形式参数和实际参数2、关键字参数3、参数默认值4、可变参数4）函数返回值1、语法结构2、多值返回5）变量作用域1、局部变量2、全局变量【1】在主程序中定义全局变量【2】 使用global关键字在函数中声明全局变量6）匿名函数（lambda）1、匿名函数的定义2、序列调用匿名方法7）常用内置函数三、python 模块1）导入模块1、第
转载
2023-12-18 16:21:49
58阅读
文章目录一、 RDD 概述1.1 RDD 引入之IO流1.2 什么是 RDD1.3 RDD 特性二、RDD 编程2.1 编程模型2.2 RDD的创建及分区数指定2.3 Transformation 转换算子 *2.3.1 Value类型2.3.2 双Value类型2.3.3 Key-Value 类型2.4 Action 行动算子2.5 RDD 序列化2.6 RDD 依赖关系2.7 Spark 任
转载
2024-03-26 16:37:42
22阅读
本文目录Hadoop 原理hdfs读流程hdfs写流程Hive 原理HBase 原理Flume 运行原理kafka 原理MapReduce 原理Spark 原理 Hadoop 原理hdfs读流程HDFS文件读流程：客户端读取数据的过程如下：（1）首先客户端会调用FileSystem. open()方法获取的dfs实例，dfs会向远程的NameNode发送RPC请求。 （2）然后NameNode会
转载
2023-08-01 14:38:05
95阅读
大数据开发工程师的职责大数据开发工程师的职责1职责：1、负责数据采集、数据存储、数据查询、数据计算等基础平台的设计和开发工作;2、利用Hadoop、Spark、Flink等技术进行离线和实时数据开发 ;3、负责大数据平台的规划升级、平台维护和优化 ;4、和其他部门或团队沟通、资源协调并落实工作。任职要求1、本科及以上学历;2、3年以上大型大数据平台建设实施经验 ;3、掌握常用大数据组件hadoop
转载
2023-07-25 20:11:38
70阅读
JS 组件化开发 系列作为前端开发，组件化开发是你成长的必经之路。时间的积累逐渐摸索出自己比较好的开发方式。 --- zenking(1)实现最简单的组件化；var jdb ={
alert: function(str) {
alert(str);
},
console:function (str) {
console.log(str)
}
}
这样就是简单的实现 jdb.ale
转载
2023-07-09 15:35:25
68阅读
共享变量累加器广播变量累加器提供了将工作节点中的值聚合到驱动器程序中的简单语法例子：计算空行数val sc = new SparkContext(...)
val file = sc.textFile("file.txt")
val blankLines = sc.accumulator(0) // 创建Accumulator[Int]并初始化为
转载
2024-03-02 11:05:35
34阅读
