【SPARK】利用SPARK分析谷歌商店的应用（Google Play Store APPs）介绍实验数据数据清洗Category的清洗Rating的清洗Size的清洗数据分析APP Category的分析APP Type的分析APP Ratin的分析总结 介绍大数据分析就是指对规模巨大的数据进行数据分析，大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，而数据分析是为
转载
2024-01-14 20:23:19
78阅读
在当今大数据处理和实时分析领域，Apache Spark 和 Apache Flink 是两款广泛使用的框架。它们分别专注于批处理和流处理，能够为我们的数据处理需求提供强大的支持。而 Go 语言以其高效性和简洁性，近年来也越来越受到开发者的青睐。本文将围绕“Spark Flink Go”这一主题，指导大家如何在这一生态下解决相关问题。
### 环境准备
为了运行 Spark 和 Flink，我
# 使用 Go 实现 Spark 的指南
在大数据处理领域，Apache Spark 是一种快速且通用的计算引擎。而使用 Go 语言实现 Spark 的主要步骤大致如下。本文将为您提供一个实现流程，以及每一步所需的代码示例。
## 实现流程
| 步骤 | 描述 |
|------|------------------
原创
2024-09-18 05:44:46
102阅读
最近被Spark和Flink的内存管理搞吐了，所以专门整理一下??Spark的内存管理Spark1.6版本之后引入的统一内存管理机制，与静态内存管理机制的区别在于存储内存和执行内存共享同一块空间，可以动态占用对方的空闲区域，统一内存管理的堆内结构如图所示，统一内存管理的堆外内存结构如下图所示：其中最重要的优化在于动态占用机制，其规则如下：设定基本的存储内存和执行内存区域（Spark.storage
转载
2023-11-06 23:00:33
137阅读
前言本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。
数据倾斜调优
调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。
数据倾斜发生时的现象绝大多
转载
2024-10-28 08:11:33
38阅读
1. 安装Spark之前需要安装Java环境和Hadoop环境和Scala环境。 需要准备三台虚拟机 192.168.230.31 vm1 192.168.230.32 vm2 192.168.230.32 vm32. 安装Spark依赖的Scala，因为Spark依赖scala，所以在安装Spark
转载
2024-03-12 13:52:44
0阅读
Spark介绍 按照官方的定义，Spark 是一个通用，快速，适用于大规模数据的处理引擎。通用性：我们可以使用Spark SQL来执行常规分析， Spark Streaming 来流数据处理， 以及用Mlib来执行机器学习等。Java，python，scala及R语言的支持也是其通用性的表现之一。快速： 这个可能是Spark成功的最初原因之一，主要归功于其基于内存的运算方式。当
转载
2024-05-28 18:19:36
111阅读
前言：这几天认真的学了一下GO，发现之前的感觉不太对。一开始从进阶入门，上来就是并发、管道、goroutine什么的，确实很容易让人畏惧。经过这几天的学习，从基础入门，我的感觉就是其实Go没有那么难，基本的变量声明赋值语法有点类似于我们学spark时候学的Scala，然后它的指针和C语言也基本是一样的，它的关键字、内置函数等等也和其他语言大致相同。其实有了C语言的基础上手go还是很快的，至于go的
转载
2023-08-30 16:31:55
113阅读
分布式计算这一块，自己也是刚接触不久，故在此做一下简单的记录，以便后续的学习。首先总结一下市面上的主要大数据解决方案：解决方案开发商类型描述stormTwitter流式处理Twitter 的新流式大数据分析解决方案S4Yahoo!流式处理来自 Yahoo! 的分布式流计算平台HadoopApache批处理MapReduce 范式的第一个开源实现
转载
2023-09-18 16:37:44
151阅读
刨坑很深的我，脚踏实地可能会仰望天空，终于go学了基本的了Go程Go程：Go运行时管理的轻量级线程go f(x, y, z)：f, x, y 和 z 的求值发生在当前的 Go 程中，而 f 的执行发生在新的 Go 程中//case1
package main
import (
"fmt"
"time"
)
func say(s string) {
for i := 0; i < 5
转载
2024-07-23 16:27:30
93阅读
welcome to my scala and spark blog! Let's go!
原创
2015-07-22 12:18:53
52阅读
计算机组成：CPU，存储设备，I/O设备，内存linux发行版：slackware:SUSELinuxEnterpriseServer(SLES)OpenSuse桌面debian:ubuntu，mintredhat：RHEL:RedHatEnterpriseLinuxCentOS：兼容RHEL的格式Fedora：每6个月发行一个新版本ArchLinux：轻量简洁Gentoo：极致性能，不提供传统意
原创
2019-03-26 23:05:58
522阅读
开始一段舞蹈本菜鸟今后写blog请看到的各位大神大佬大咖各位多多批评指正本菜鸟感激不尽
原创
2022-03-04 14:52:13
218阅读
开始一段舞蹈
本菜鸟今后写blog
请看到的各位大神大佬大咖各位多多批评指正
本菜鸟感激不尽
原创
2021-08-21 20:14:37
266阅读
离开学校几天了，这两天也在开始找工作了。
今天去了一趟大专的学校，打了一个证明。但是好像也没什么用，大专的文凭应该要到10月份才会有的吧！还不知道有没有，或许要到明年！
在回来的路上，我接到那个房地产公司的电话，叫我明天下午四点半去他们公司，那董事长想找我谈谈。那次面试完，说两三天给我们答复，本以为机会渺茫。结果过了一个星期，接到电话还感觉蛮奇怪的。不管怎么样，还是得去试试。
我要加油了哦！
原创
2007-09-05 19:57:07
803阅读
7评论
1.介绍什么是GoGolang。由谷歌创建的一种开源、编译和静态类型的编程语言。加入并发编程，为大数据、微服务、并发而生。主要目标是使高可用性和可伸缩的web应用程序的开发变得简单易行。特点：类型安全、内存安全；高并发；高效垃圾回收机制；为多核计算机提供性能提升方案；UTF-8编码支持；快速编译用户：七牛云存储、知名beego用户、华为企业云、乐视云、京东、Bmob、联众游戏、淘宝等项目：Dock
转载
2024-09-01 15:35:39
104阅读
1 方法的介绍1）方法的概念：简单说就是一个对象里面的函数，称为方法。2）在go语言中，可以给任意自定义类型(包括内置类型，但不包括指针类型)添加相应的方法。3）方法总是绑定对象实例，并隐式将实例作为第一参数。4）方法的语法：func (receiver receiverType) funcName(parameters) (results)
// 1. receiver 为任意名字。
// 2.
转载
2024-07-02 13:11:37
128阅读
本篇文章是我在2017年第三届GopherChina大会上所作talk：”Go coding in go way“的改编和展开版，全文如下。
一、序
今天我要分享的题目是“Go coding in go way”，中文含义就是用“Go语言编程思维去写Go代码”。看到这个题目大家不禁要问：究竟什么是Go语言编程思维呢？关于什么是Go语言变成思维其实并没有官方说法。这里要和大家交流的内容都是基于Go诞
转载
2021-08-08 14:14:01
406阅读
Go语言基础Go是一门类似C的编译型语言，但是它的编译速度非常快。这门语言的关键字总共也就二十五个，比英文字母还少一个，这对于我们的学习来说就简单了很多。先让我们看一眼这些关键字都长什么样：下面列举了 Go 代码中会使用到的 25 个关键字或保留字：breakdefaultfuncinterfaceselectcasedefergomapstructchanelsegotopackageswitc
转载
2024-09-16 12:14:20
131阅读
GO语言结构包声明package引入包import函数func变量语句，表达式单行注释，多行注释packagepackage是最基本的分发单位和工程管理中依赖关系的体现，go语言源代码文件开都都必须有package声明，表示源码文件所属代码包；生成go语言可执行程序，必须有main的package包，该包中必须有main函数，该函数是程序运行的入口；同一路径只能有一个package，一个packa
转载
2023-11-20 02:38:25
292阅读
