繁依Fanyi的博客_大数据

猿创征文 | 大数据比赛以及日常开发工具箱

VMware Workstation，相信大家都不陌生了，由于目前的大部分的电脑都是预装了 Windows ，不少和我一样为了避免安装

大数据

hadoop

分布式

Hadoop

Docker

原创精选 2022-12-28 11:47:21 307 阅读

大数据随记 —— 利用Python分析快手APP全国大学生用户数据（2022 年初赛第四题）

基于题目1中统计得到的各学校学生使用频次取出排名前5的学

python

大数据

java

数据

饼图

原创 2022-12-28 11:46:09 369 阅读

大数据环境搭建 —— CentOS 安装

目前常见的虚拟机有、等等，在这里我们使用。详细安装教程在下面的文章里。这里我们选择 CentOS 镜像，官网链接在这?：https://www.centos.org/不过官网

centos

linux

运维

VMware

CentOS

原创 2022-12-28 11:43:03 279 阅读

大数据随记 —— DataFrame 数据操作

DataFrame 也提供了特定的 API 让我们操作 DataFrame 中的数据，也被称为 DSL（D

spark

大数据

分布式

sql

数据操作

原创 2022-12-28 11:42:35 125 阅读

大数据随记 —— DataFrame 的创建与 Maven 配置

Spark 应用程序使用 SQLContext，可以通过 RDD、Hive 表、JSON 格式数

大数据

maven

spark

JSON

sql

原创 2022-12-28 11:42:29 163 阅读

大数据系列教程 —— 目录

大数据系列教程

hadoop

大数据

环境搭建

MySQL

原创 2022-12-28 11:41:54 139 阅读

大数据随记 —— RDD 的创建

Spark 会将集合中的数据拷贝到集群上去，形成一个分布式的数据集合，也就是形成一个 RDD。也就是说，集合中的部分数据会到

大数据

hadoop

spark

数据集

文件创建

原创 2022-12-28 11:38:53 105 阅读

Linux基础 —— XShell 免费获取指南

在使用 Linux 虚拟机需要敲击命令时，当只有一台虚拟机还好，不用来回切换；但如果我们有多台虚拟机同时使用呢？搭建 Hadoop 集群需要多台虚拟机，只在虚拟机上管理时会有些麻烦，因此需要一个可以方便管理远程管理服务器的工具 —— XShell。（当然不选这个也是可以

linux

hadoop

zookeeper

Hadoop

安装过程

原创 2022-12-28 11:38:53 172 阅读

大数据随记 —— Spark Core 与 RDD 简介

弹性分布式数据集（RDD，Resilient Distributed Datasets），它具备像 MapReduce 等数据流模型的容错特性，能在并行计算中高效地来创建。...

spark

大数据

scala

数据

bc

原创 2022-12-28 11:38:49 203 阅读

大数据随记 —— Hadoop 概述

Hadoop 是 Apache 基金会所开发的分布式系统基础架构，可以让用户在不了解分布式底层细节的情况下，开发分布式程序。Hadoop 的思

hadoop

大数据

hdfs

Hadoop

Apache

原创 2022-12-28 11:37:48 90 阅读

大数据随记 —— Scala 环境搭建、插件安装

打开 IDEA，在左上角找到 File->在下拉菜单中点击 Setting…->点击 Plugins->点击右下角 Install plugin from disk…进入 Scala 下载网址，下载对应

scala

大数据

开发语言

Scala

环境变量

原创 2022-12-28 11:37:27 234 阅读

大数据随记 —— Spark 基本安装及相关配置

输入 http://master:8080/，或者主节点ip:8080 进入Master 资源监控 Web UI 界面。② 修改 spark-env.sh 文件，添加 JAVA_HOME

大数据

spark

hadoop

SPARK

原创 2022-12-28 11:37:23 422 阅读

问题随记 —— file /usr/share/mysql/charsets/README from install of MySQL-server-5.1.73-1.glibc23.x86_64 c

安装 MySQL 与 glibc 冲突，报错如下可以看到是与冲突了，删除该包即可。

mysql

数据库

java

bc

MySQL

原创 2022-12-28 11:37:14 126 阅读

Linux基础 —— CentOS7 离线安装 MySQL

① 打开 MySQL 下载页面，选择自己想要的版本即可② 找到自己想要安装的版本，点击下载即可。详细安装方法可见下文?：白嫖过程可见下文?：为了保险起见，

mysql

linux

数据库

MySQL

安装包

原创 2022-12-28 11:36:38 285 阅读

大数据环境搭建 —— VMware Workstation 安装详细教程

在此声明，安装过程是我自己制作并截图的，并没有什么侵权，总有一些自以为迅速提升。安装程序光盘映像文件。

linux

运维

windows

VMware

下载安装

原创 2022-12-28 11:36:35 493 阅读

大数据随记 —— DataFrame 与 RDD 之间的相互转换

在 Scala 中，使用 case class 类型导入 RDD 并转换为 DataFrame，通过 c

大数据

scala

spark

sql

apache

原创 2022-12-28 11:35:56 451 阅读

大数据随记 —— WordCount 案例

从 MapReduce 的命名可以看出，MapReduce 主要由两个阶段组成：Map 与 R

大数据

hadoop

mapreduce

Hadoop

Text

原创 2022-12-28 11:35:50 688 阅读

大数据随记 —— Hadoop 环境搭建

① 进入 /opt/module/hadoop-2.7.2/etc/hadoop 目录。① 进入 /opt/module/hadoop-

hadoop

大数据

分布式

Hadoop

xml

原创 2022-12-28 11:35:46 191 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

繁依Fanyi的博客