ShowMeAI的博客_图解大数据技术 ◉ 全生态知识宝库

图解大数据 | Spark机器学习(下)—建模与超参调优

本文介绍Spark中用于大数据机器学习的板块MLlib/ML，讲解分类算法、回归算法、聚类算法和PCA降维算法的代码实践，并讲解超参数调优和交叉验证、训练集验证集切分等重要知识点。

spark

数据

github

机器学习

算法

原创 2022-03-12 12:53:17 8732 阅读 1点赞 yyds干货盘点

图解大数据 | Spark机器学习(上)-工作流与特征工程

本文介绍Spark中用于大数据机器学习的板块MLlib/ML，讲解机器学习工作流(Pipeline)及其构建方式，并详解讲解基于DataFrame的Spark ML特征工程，包括二值化、定边界离散化、标准化、特征抽取等。

spark

大数据

python

机器学习

特征工程

原创 2022-03-12 12:51:59 8590 阅读 1点赞 yyds干货盘点

图解大数据 | 流式数据处理-Spark Streaming

Spark Streaming是Spark核心API的一个扩展，可以实现实时数据的可拓展，高吞吐量。本文讲解Spark Streaming的架构、作业提交和工作原理，以及DStream的创建、转换和Graph，并通过案例代码展示应用的细节。

spark

数据

大数据

数据分析

streaming

原创 2022-03-12 12:50:48 9391 阅读 1点赞 yyds干货盘点

图解大数据 | 综合案例-使用Spark分析挖掘音乐专辑数据

文娱影音是目前大数据与AI应用最广泛的场景之一，本案例以音乐专辑发行数据为背景，讲解使用pyspark对HDFS存储的数据进行处理数据分析的过程，并且对分析结果做了可视化呈现。

spark

json

数据分析

大数据

原创 2022-03-12 12:49:42 10000+阅读 1点赞 yyds干货盘点

图解大数据 | 综合案例-使用Spark分析挖掘零售交易数据

电商与新零售是目前大数据与AI应用最广泛的场景之一，本案例以跨国在线零售业务为背景，讲解使用pyspark对HDFS存储的数据进行交易数据分析的过程，并且对分析结果使用echarts做了可视化呈现。

spark

python

字段

大数据

数据分析

原创 2022-03-12 12:46:17 9772 阅读 1点赞 yyds干货盘点

图解大数据 | 综合案例-使用Spark分析新冠肺炎疫情数据

2020以来新冠疫情改变了全世界，影响着大家的生活，本案例结合大数据分析技术，使用pyspark对2020年美国新冠肺炎疫情进行数据分析，并结合可视化方法进行结果呈现。

json

spark

hadoop

大数据

数据分析

原创 2022-03-12 12:44:57 10000+阅读 2点赞 1收藏 yyds干货盘点

图解大数据 | Spark Dataframe / SQL大数据处理分析

DataFrame是一个以命名列方式组织的分布式数据集。本文详细讲解 Spark Dataframe的创建方式，Dataframe数据的Agg、Collect、Groupby、Join等核心操作，以及Spark SQL操作核心要点。

spark

数据

大数据

dataframe

sql

原创 2022-03-12 12:35:40 8964 阅读 1点赞 yyds干货盘点

图解大数据 | 基于Spark RDD的大数据处理分析

RDD(弹性分布式数据集合)是Spark的基本数据结构，Spark中的所有数据都是通过RDD的形式进行组织。本文讲解RDD的属性、创建方式、广播与累加器等重要知识点，并图解RDD高频算子。

spark

数据

大数据

rdd

bigdata

原创 2022-03-12 12:30:35 8433 阅读 1点赞 yyds干货盘点

图解大数据 | 大数据分析挖掘-Spark初步

Apache Spark是目前最主流和常用的分布式开源处理系统，支持跨多个工作负载重用代码—批处理、交互式查询、实时分析、机器学习和图形处理等。本节ShowMeAI给大家讲解它的相关知识。

spark

大数据

数据

大数据分析

bigdata

原创 2022-03-12 12:29:06 8347 阅读 1点赞

图解大数据 | 海量数据库查询-Hive与HBase详解

HBase是建立在Hadoop文件系统之上的、分布式面向列的数据库，包含Region Server、HBase Master、ZooKeeper等三个组件。Hive是基于Hadoop的一个数据仓库工具，用于结构化数据的查询、分析和汇总。

hive

数据

大数据

hbase

bigdata

原创 2022-03-12 12:27:42 8018 阅读 1点赞 yyds干货盘点

图解大数据 | 实操案例-Hive搭建与应用案例

Hive是大数据离线计算的关键组件，常用于数仓建设。本节ShowMeAI来详细讲解Hive的搭建和配置及使用方法。

hive

ide

mysql

大数据

实操

原创 2022-03-12 12:25:14 7931 阅读 1点赞 yyds干货盘点

图解大数据 | 实操案例-MapReduce大数据统计

Hadoop使用一套Map-Reduce的计算框架，解决了大数据处理的难题。本教程ShowMeAI通过几个实例和代码，详细给大家讲解Hadoop使用Map-Reduce进行数据统计的方法。

hadoop

python

大数据

mapreduce

数据统计

原创 2022-03-12 12:23:15 8019 阅读 yyds干货盘点

图解大数据 | 实操案例-Hadoop系统搭建与环境配置

本教程详细讲解Hadoop的安装与环境配置方法，并配有相关软件的下载方法。需要注意的是，本教程的工作环境为Linux系统。

hadoop

大数据

hdfs

linux

环境安装

原创 2022-03-12 12:22:13 7662 阅读 1点赞 yyds干货盘点

图解大数据 | 分布式平台Hadoop与Map-reduce详解

Hadoop是最基础和场景的开源分布式计算平台，ShowMeAI在本节内容中给大家讲解Hadoop相关知识。

hadoop

大数据

hdfs

mapreduce

原创 2022-03-12 12:20:22 7929 阅读 1点赞 yyds干货盘点

图解大数据 | 导论-大数据生态与应用

随着互联网高速发展，网络数据呈现出指数级别的快速增长，针对海量数据处理的大数据解决方案应运而生。ShowMeAI将在接下来的内容中逐步展开讲解大数据生态工具的应用，以及大数据的处理分析挖掘方法。

大数据

数据

spark

hadoop

原创 2022-03-12 12:18:36 8472 阅读 1点赞 yyds干货盘点

图解大数据技术：从入门到精通系列教程

本篇内容是ShowMeAI组织的「图解大数据处理与开发」系列教程入口，本教程以大数据技术为根基，给大家讲解大数据开发与数据处理分析的相关知识与技能，并配以相关的实战案例帮助大家学习理解。

spark

数据

数据处理

大数据

hadoop

置顶原创 2022-03-12 12:16:36 8067 阅读 1点赞 yyds干货盘点

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

ShowMeAI

图解大数据 | Spark机器学习(下)—建模与超参调优

图解大数据 | Spark机器学习(上)-工作流与特征工程

图解大数据 | 流式数据处理-Spark Streaming

图解大数据 | 综合案例-使用Spark分析挖掘音乐专辑数据

图解大数据 | 综合案例-使用Spark分析挖掘零售交易数据

图解大数据 | 综合案例-使用Spark分析新冠肺炎疫情数据

图解大数据 | Spark Dataframe / SQL大数据处理分析

图解大数据 | 基于Spark RDD的大数据处理分析

图解大数据 | 大数据分析挖掘-Spark初步

图解大数据 | 海量数据库查询-Hive与HBase详解

图解大数据 | 实操案例-Hive搭建与应用案例

图解大数据 | 实操案例-MapReduce大数据统计

图解大数据 | 实操案例-Hadoop系统搭建与环境配置

图解大数据 | 分布式平台Hadoop与Map-reduce详解

图解大数据 | 导论-大数据生态与应用

图解大数据技术：从入门到精通系列教程

欢迎