# Spark环境搭建实验收获
在今天的大数据时代，Apache Spark是一个流行的开源大数据处理框架。本篇文章将为你介绍如何搭建Spark开发环境，帮助刚入行的小白快速上手。通过以下步骤，你将会从零开始搭建Spark，并进行简单的实验。
## Spark环境搭建流程
以下是搭建Spark环境的具体步骤：
| 步骤 | 描述 |
|------|------|
| 1 | 安装J
Spark 编程指南概述Spark 依赖初始化 Spark使用 Shell弹性分布式数据集 (RDDs)并行集合外部 Datasets（数据集）RDD 操作基础传递 Functions（函数）给 Spark理解闭包示例Local（本地）vs. cluster（集群）模式打印 RDD 的 elements与 Key-Value Pairs 一起使用Transformations（转换）Actions
这一段时间我对Spark的几个组件进行了试用：1) Spark 核心组件通过几个基本的动作（map、flatMap、group、filter、reduce）的组合，可以完成非常复杂的处理过程。它颠覆了我之前的设计，整个开发过程显得非常地轻巧。Spark适合处理非结构化的文本数据。 2)  
转载
2023-09-30 09:08:57
1027阅读
前言 本人很久没有写过博客了，从最开始的新浪博客，到后来的网易博客，都有写过，不过然后就没有然后了。 唠叨一下 最近这段时间（大概2，3个月左右的时间吧）一直都在跟抓包纠结着，一般来说登录搞定后，后面都是体力活了。 为什么这么讲呢，因为登录比较复杂嘛。。。 不过登录的js确实很恶心，弄了几天都没有弄出来，当然没有弄出来的跟公司的业务是没有关系的，业务相关的比较好找源码，也不会太复杂，
mybatis框架体系导出Excelmap集合的使用map集合存放list
原创
2015-09-24 13:20:05
239阅读
前言
只有光头才能变强。
之前在学习的时候也接触不到高并发/大流量这种东西，所以限流当然是没接触过的了。在看公司项目的时候，发现有用到限流(RateLimiter)，顺带了解一波。
一、限流基础知识介绍
为啥要限流，相信就不用我多说了。
比如，我周末去饭店吃饭，但是人太多了，我只能去前台拿个号，等号码到我的时候才能进饭店吃饭。如果饭店没有限流怎么办？一到饭点，人都往里冲，而饭店又处理不了这
原创
2021-07-17 16:25:19
76阅读
Spark一、spark概述1. spark · spark是一种由Scala语言开发的快速、通用、可拓展的大数据分析引擎 · spark core中提供了spark最基础与最核心的功能 · spark SQL是spark用来操作结构化数据的组件。通过spark SQL，用户可以使用SQL或者apache Hive版本的HQL来查询数据 · spark streaming是spark平台上针对实时
转载
2024-09-16 15:56:58
30阅读
这几周的实验课密集地学习了几个经典算法：归并排序、切绳子问题、最长公共子序列和背包问题。有的理解起来很快，有的却让我卡壳了好久。 对我来说接受度比较高的：背包问题 背包问题的动态规划思路我接受得很快。老师画出那张二维dp表的时候，我一下就明白了。“放还是不放”这个状态选择，以及 dp[i][j] = ...
最近给自己的电脑换了一个动态桌面看着挺好玩，几天过后觉得没有意思太花了，还是换回原来的桌面吧，在桌面上点右键的时候，问题发生了，右键菜单出来的不是桌面的右键，而是网页的右键，如图
这是桌面的右键
这是网页的右键
这样以来我就再也进不到原先的桌面了，也就不能更换桌面壁纸了，但是想了想，以前点桌面属性的时候肯定调用了一个文件，最后还真让我找到了desk.cpl，在运行里面
原创
2011-03-08 08:25:21
874阅读
前言只有光头才能变强。文本已收录至我的GitHub仓库，欢迎Star：https://github.com/ZhongFuCheng3y/3y最近接了一个需求，涉及到了短...
转载
2021-07-17 14:11:30
118阅读
这一篇主要介绍MYSQL的优化，优化MYSQL数据库是DBA和开发人员的必备技能MYSQL优化一方面是找出系统瓶颈，提高MYSQL数据库整体性能；另一方面需要合理的结构设计和参数调整，以提高用户操作响应的速度；同时还有尽可能节省系统资源，以便系统可以提供更大负荷的服务 如果大家看过我写的两篇文章，那么学习MYSQL的索引就不会太难，因为是相通的SQLSERVER聚集索引与非聚集索引的再次
前言
只有光头才能变强。
最近接了一个需求，涉及到了短链接的相关的知识，于是去查阅了相关的资料，在这里给大家整理分享一下。
一、短链接介绍
举个例子，现在我的GitHub的地址是这个：https://github.com/ZhongFuCheng3y/3y (36个字符)
我通过百度的短链接服务可以将上面的地址转成https://dwz.cn/LwlrfG4j(23个字符)
转短链接
那我为
原创
2021-07-17 16:24:21
358阅读
2评论
目录一、1、spark是什么2、spark四大特性速度快易用性通用性兼容性3、简述spark与mapreduce的区别？基于内存与磁盘进程与线程二、1、rdd的概念2、rdd的五大属性3、rdd的创建方式4、rdd的算子操作分类1、transformation（转换）2、action (动作)5、RDD常见的算子操作说明重点需要掌握三、1、RDD的算子操作案例2、RDD的依赖关系窄依赖宽依赖Lin
转载
2024-10-30 19:29:10
22阅读
前言
只有光头才能变强。
如果之前看过我文章的同学就知道我在工作中搞的是推送系统，之前写过一篇 ABTest，最终提高推送消息的点击率。
那什么是ABTest呢？这篇文章带你们入门一下。
一、ABTest的介绍
比如我写了一篇关于ABTest的文章，我希望这篇文章的阅读量能上2500，但是我没想好标题叫什么比较合适。一条推文的标题非常能影响到阅读量，于是我想了几个的标题：
最近我学到
原创
2021-07-17 16:23:49
139阅读
我原来对于程序的了解只有简单在大学上过C语音课程，并在学习过后没有进行写程序的训练。今天看了朱友峰老师的内存课程的视频，对程序和内存有了些了解。计算机程序是由代码和数据组成的。按照朱老师将程序用函数来类比，代码就是这个函数的本体，是确定的存在，例如函数式子c=a+b。数据就是式子中a和b这两个变量。通过函数式子的运算，来得到结果a。这整个过程就是程序。初步了解了两种计算机结构：冯诺依曼结构和哈佛结
原创
2020-10-11 18:04:50
170阅读
在本次的Android Studio实验中，我们面临了一些技术挑战，特别是在项目架构与性能优化方面。以下是我在这个过程中积累的经验和收获。
### 背景定位
在我们的Android项目初始阶段，我们遭遇了一系列技术痛点，包括：
1. **代码冗余**：项目中存在大量重复代码，使得维护困难。
2. **性能下降**：随着业务增长，应用响应时间明显增加。
3. **架构混乱**：初始架构未能满足
要想搞清楚spark跟Hadoop到底谁更厉害，首先得明白spark到底是什么鬼。经过之前的介绍大家应该非常了解什么是Hadoop了，简单的说：Hadoop是由HDFS分布式文件系统和MapReduce编程模型等部分组成的分布式系统架构。而Spark呢，更像是Hadoop MapReduce这样的编程模型。其实要讲清楚Spark，内存和磁盘这两个概念是必须要弄清楚的，相信在座的老爷太太们都懂，我还
转载
2024-06-21 16:23:22
19阅读
大数据（Big Data）大数据，官方定义是指那些数据量特别大、数据类别特别复杂的数据集，这种数据集无法用传统的数据库进行存储，管理和处理。大数据的主要特点为数据量大（Volume），数据类别复杂（Variety），数据处理速度快（Velocity）和数据真实性高（Veracity），合起来被称为4V。大数据中的数据量非常巨大，达到了PB级别。而且这庞大的数据之中，不仅仅包括结构化数据（如数字、符
转载
2024-07-03 08:45:37
11阅读
在进行 Hive 环境的搭建过程中，我积累了一些宝贵的实验经验，想在这篇博文中详细分享这一过程的收获。这次的搭建包括前置依赖的安装、核心操作流程的执行、配置的详细解释、结果验证、常见问题的解决指南以及扩展应用的探索。希望能对需要搭建 Hive 环境的朋友们有所帮助。
## 环境准备
在搭建 Hive 环境之前，我们需要确保所有前置依赖均已安装。这些依赖包括 Java、Hadoop 等，并且要注
记录每天学到的新知识，每天花20分钟，我想只要坚持下来，几年以后回头再往，必将硕果累累。
每个人都有弱点，弱点不可怕，可怕的是不去面对和改正，最近在项目中感触最深的就是这个，中国人在项目中遇到棘手的问题往往是大压小，推卸责任，一片责骂一片事后诸葛亮。而老外在遇到问题时，往往会平静下来，把问题打开来看，把问题理性的分解开来，定好计划和Owner，大家齐心搞定。
生活也是一样，面对自身的弱点，就勇
原创
2012-11-05 04:25:04
451阅读
