好消息！好消息！手把手教你用python玩大数据小旭学长的python大数据教程完结撒花，共26P录制完毕，总时长4小时。每10分钟的视频的录制加剪辑时间加起来都要两小时以上，讲得很细但是节奏也很快，信息量超大！感谢各位观众老爷们的支持和一键三连，下次一定！教程链接教程说明大数据时代到来，随着数据的逐步开放，数据工作者们或多或少都要接触到时空数据。小旭学长曾经说：The data is data
转载
2023-07-21 13:45:55
73阅读
1.先谈一下几个概念像素是度量的单位，可以理解为点1.css像素 html中度量的单位 用px来计算，在pc中往往 1 css px ＝ 1 物理像素 在不同设备中1css像素对应不同的设备像素(物理像素) 例如：iphone3分辨率是320*480 即 css 1px ＝ 1个物理像素；iphone4 分辨率640x960但屏幕尺寸没有改变，意
前段时间给大家分享了：超赞！20个炫酷的数据可视化大屏(含源码)，很多小伙伴都非常喜爱。如果你感兴趣，点击上方获取即可。于是我产生了用 Python 的另外一种方式来实现数据可视化大屏的想法。 参考上面这个模板，我计划用 pyecharts 实现一个类似的数据可视化大屏。今天先绘制中间的数据地图，为了方便演示，我们采用一个超市数据集，数据来源于 Tableau 官方示例。如果你还没有安
转载
2024-02-28 22:18:20
6阅读
大数据作为时下火热的IT行业的词汇，随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据开发也应运而生。大数据开发其实分两种，第一类是编写一些Hadoop、Spark的应用程序，第二类是对大数据处理系统本身进行开发。第一类工作感觉更适用于data analyst这种职位吧，而且现在Hive Spar
转载
2023-08-11 19:57:45
101阅读
经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计
转载
2023-10-22 21:11:48
106阅读
点赞
在今天的博文里，我们将探讨“Spark做大数据ETL开发”的过程。ETL（抽取、转换、加载）在数据处理领域至关重要，Spark的高性能计算框架使这一流程变得既高效又灵活。接下来，我们会从多个角度切入，深入分析这一主题的各个方面。
### 协议背景
在大数据领域，ETL作为数据处理的关键步骤，包含多个复杂的流程和协议。我们可以从四象限图中理解ETL过程的主要组件，以及它们在数据流中的角色。下图展
搜索是大数据领域里常见的需求。Splunk和ELK分别是该领域在非开源和开源领域里的领导者。本文利用很少的Python代码实现了一个基本的数据搜索功能，试图让大家理解大数据搜索的基本原理。01 布隆过滤器 （Bloom Filter）第一步我们先要实现一个布隆过滤器。布隆过滤器是大数据领域的一个常见算法，它的目的是过滤掉那些不是目标的元素。也就是说如果一个要搜索的词并不存在于我的数据中，那么它可
转载
2023-11-21 23:16:29
64阅读
今天给大家分享一个制作数据大屏的工具，非常的好用，100行左右的Python代码就可以制作出来一个完整的数据大屏，并且代码的逻辑非常容易理解。PywebIO介绍Python当中的PywebIO模块可以帮助开发者在不具备HTML和JavaScript的情况下也能够迅速构建Web应用或者是基于浏览器的GUI应用，PywebIO还可以和一些常用的可视化模块联用，制作成一个可视化大屏，我们先来安装好需要用
转载
2023-08-21 11:06:23
234阅读
今天我们在进行一个Python数据可视化的实战练习，用到的模块叫做Panel，我们通过调用此模块来绘制动态可交互的图表以及数据大屏的制作。而本地需要用到的数据集，可在kaggle上面获取 https://www.kaggle.com/datasets/rtatman/188-million-us-wildfires，如果无法访问kaggle,可以找我获取数据集。导入模块和读取数据那么首先我们先导入
转载
2023-07-29 15:39:48
184阅读
一、数据采集面试题1. Flume 使用场景？线上数据一般主要是落地（存储到磁盘）或者通过 socket 传输给另外一个系统，这种情况下，你很难推动线上应用或服务去修改接口，实现直接向 kafka里写数据，这时候你可能就需要 flume 这样的系统帮你去做传输。2. Flume 丢包问题？单机 upd 的 flume source 的配置，100+M/s 数据量，10w q
1 SQL娴熟，这体现在ETL的hive阶段，自定义函数，分析函数，SQL各种关联写 (类dba倾向) 2 hive SQL优化要
原创
2023-04-21 00:37:37
116阅读
RDD编程1、Spark中的RDD就是一个不可变的分布式对象集合。每个RDD都被分为多个分区，这些分区运行在集群中的不同节点上。2、用户可以使用两种方法创建RDD：读取一个外部数据集，以及在驱动器程序中对一个集合进行并行化(比如list和set)。创建RDD最简单的方式就是把程序中一个已有的集合传给SparkContext的parallelize()方法。val lines = sc.text
转载
2023-11-14 03:52:10
37阅读
一种快速的大规模数据处理框架，支持批处理和流式数据处理，可以使用 Golang
原创
2023-03-18 08:38:24
1225阅读
在当今时代，大数据技术已经渗透到了各个行业和领域，成为推动社会发展的重要力量。随着大数据的广泛应用，越来越多的人开始关注与大数据相关的职业和技能认证。其中，软考作为国内权威的计算机技术与软件专业技术资格（水平）考试，自然也成为了许多人关注的焦点。那么，做大数据是否需要考软考呢？这个问题涉及到多个方面的因素，下面我们来详细分析。
首先，我们需要明确软考的性质和目的。软考是由国家人力资源和社会保障部
原创
2024-04-17 14:29:44
23阅读
这是大数据测试测试第四章，可参考大数据测试系列说明学习本教程，请先看完第三章 大数据之Hadoop搭建
本次教程主要来自基于Hadoop的数据仓库Hive 学习指南，本次的内容全部经过了自己的实践，与参考文档中不一致的地方，也是经过查询各种资料和实践通过hive简单介绍使用 hive 的命令行接口，感觉很像操作关系数据库，但是 hive 和关系数据库还是有很大的不同，下面我就比较下 hive 与关
转载
2024-06-18 21:04:26
33阅读
目前还不行！官方没有迫切想做numpy、pandas、tensorflow这种包的意愿，明明golang运算速度很快，却把gonum这么重要的包放手给freelancer们去随便做。而gonum并没有做完，也并不成熟，只是在做blas和lapack的wrapper，但是这个wrapper也没做好……因为我在用，我很清楚这包有多晦涩难用……还不如直接用gnu的scientific library呢…
转载
2024-01-30 02:00:38
41阅读
今年3月初，腾讯发布了《腾讯研发大数据报告》，笔者发现GO语言的使用在鹅厂已经上升到了TOP5的位置了。 我们知道腾讯尤其是Docker容器化这一块，是走在各大厂的前列的，尤其是他们的基于GO语言开发的DEVOPS蓝鲸平台，水平相当高。经笔者实地上手体验，GO语言在并发等方面还是相当优秀的，下面笔者就汇报一下最新的成果。GO语言的切片简介切片（slice）是对数组的一个连续片段的引用，所
转载
2023-10-19 22:04:16
103阅读
# Go语言在大数据处理中的应用
在当今信息爆炸的时代，大数据已经成为推动各行各业发展的重要动力。作为一种高效的编程语言，Go语言（也称为Golang）因其并发处理能力、性能以及易用性，逐渐受到数据工程师的青睐。本文将探讨Go语言在大数据处理中的应用，并通过代码示例展示其基本使用。
## Go语言的优势
1. **高效的并发支持**：Go语言内置的goroutines提供了轻量级的线程支持，
4. Python大数据编程入门4.1 Python操作MySQL4.2 Spark与PySpark4.2.1 PySpark基础4.2.2 数据输入4.2.2.1 Python数据容器转换为RDD对象4.2.2.2 读取文本文件得到RDD对象4.2.3 数据计算4.2.3.1 map算子4.2.3.2 flatMap算子4.2.3.3 reduceByKey算子4.2.3.4 案例：单词计数4
转载
2023-09-18 16:20:31
122阅读
Java开发是IT行业的经典岗位，行业当中存在普遍的需求，Web开发、Android开发、游戏开发等岗位，基本上Java语言是主力队伍。而进入大数据时代，Java又在大数据方向上有了用武之地。今天我们主要来讲讲Java大数据开发做什么，又该如何进行成长路线规划。在Java程序界流行着一种默认的说法叫「黄金5年」，也就是一个程序员从入职的时候开始算起，前五年的选择直接影响着整个职业生涯中的职业发展方
转载
2023-07-21 16:24:31
59阅读
