1 基于sklearn的机器学习方法完成中文文本分类1.1 文本分类 = 文本表示 + 分类模型1.1.1 文本表示：BOW/N-gram/TF-IDF/word2vec/word embedding/ELMo1.1.2 分类模型：NB/LR/SVM/LSTM(GRU)/CNN语种判断：拉丁语系，字母组成的，甚至字母也一样 => 字母的使用(次序、频次)不一样1.1.3 文本表示词袋模型（中
转载
2023-10-14 06:16:54
120阅读
SparkNLP的官方文档1>sbt引入:scala为2.11时 libraryDependencies += "com.johnsnowlabs.nlp" %% "spark-nlp" % "1.4.2"
scala为2.11之上时
libraryDependencies += "com.johnsnowlabs.nlp" % "spark-nlp_2.11" % "1.4.2
转载
2024-04-26 14:52:02
43阅读
Spark API创建spark环境方法一：SparkConf//spark环境配置对象
val conf = new SparkConf()
//设置spark任务的名称
conf.setAppName("Demo1WordCount")
//设置spark运行模式，local:本地运行
conf.setMaster("local")
//创建spark上下文对象，sc是spark写代码的
转载
2023-07-05 14:38:53
65阅读
# Python Spark RDD 中文乱码问题及解决方案
在大数据处理中，Apache Spark是一个非常流行且强大的工具。它提供了多种数据处理方式，其中最基本的是RDD（弹性分布式数据集）。然而，在使用Spark RDD处理中英文数据时，中文乱码问题常常困扰着开发者。本文将通过实例解析这一问题，并提供相应的解决方案。
## RDD基础
RDD是Spark中最基本的抽象，代表一个可以并
原创
2024-09-22 05:15:34
41阅读
1.Spark介绍Spark是一种通用的大数据计算框架,是基于RDD（弹性分布式数据集）的一种计算模型。那到底是什么，可能还不是太理解，通俗讲就是可以分布式处理大量极数据的，将大量集数据先拆分，分别进行计算，然后再将计算后的结果进行合并。这一篇主要给大家分享如何在Windows上安装Spark。2.Spark下载我们要安装Spark，首先需要到Saprk官网去下载对应的安装包，Spark官网：ht
转载
2024-01-11 12:11:42
9阅读
问题导读 1.GraphX提供了几种方式从RDD或者磁盘上的顶点和边集合构造图?2.PageRank算法在图中发挥什么作用？3.三角形计数算法的作用是什么？Pregel API
图本身是递归数据结构，顶点的属性依赖于它们邻居的属性，这些邻居的属性又依赖于自己邻居的属性。所以许多重要的图算法都是迭代的重新计算每个顶点的属性，直到满足某个确定的条件。 一系列的graph-parallel抽象已经
转载
2023-11-22 11:34:36
48阅读
GraphX Programming Guide概述入门属性 Graph示例属性 GraphGraph 运算符运算符的汇总表Property 运算符Structural 运算符Join 运算符邻域聚合聚合消息 (aggregateMessages)Map Reduce Triplets Transition Guide (Legacy)计算级别信息收集相邻点Caching and Uncachin
转载
2023-12-06 21:58:17
11阅读
Spark UIExecutorsEnvironmentStorageSQLExchangeSortAggregateJobsStagesStage DAGEvent TimelineTask MetricsSummary MetricsTasks 展示 Spark UI ，需要设置配置项并启动 History Server# SPARK_HOME表示Spark安装目录
${SPAK_HOME
转载
2023-08-11 15:21:58
287阅读
点赞
spark ui界面日志中文乱码问题：解决：排查：重新提交：代码层面： 问题：spark开发中难免需要打印一些日志来调试程序是否按照预期在正常工作，于是一般会在代码中通过定义指定日志来判断，当开发中打印【中文】日志的时候，发现spark ui界面stdout和stderr里关于中文都是乱码。解决：这里先说解决方案，着急的同学们可以先修改代码，然后慢慢往下看排查过程。spark-submit提交的
转载
2024-01-15 21:43:31
37阅读
IDEA 应用开发Spark构建Maven Project创建Maven Project工程【bigdata-spark_2.11】，设置GAV三要素的值如下： 创建Maven Module模块【spark-chapter01_2.11】，对应的GAV三要素值如下： 至此，将Maven Module模块创建完成，可以开始编写第一个Spark程序。应用入口SparkContextSpark Appl
转载
2023-10-29 15:37:36
90阅读
# 使用Spark进行中文字符串截断的指南
在大数据处理场景中，我们经常会遇到需要对文本信息进行处理的情况，尤其是中文文本的截断操作。在本篇文章中，我们将详细讲解如何在Apache Spark中实现中文字符串的截断。为了便于理解和操作，以下是整个流程的概述。
## 整体流程
下面是实现“Spark 中文截断”的整体流程：
| 步骤 | 描述 | 代
# 实现“spark api中文”教程
## 一、整体流程
下面是教你如何在Spark中实现使用中文API的流程：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 下载并安装Spark |
| 2 | 配置Spark环境 |
| 3 | 导入中文API包 |
| 4 | 编写代码使用中文API |
| 5 | 运行代码查看结果 |
## 二、具体步骤和代码示例
###
原创
2024-05-08 03:57:01
70阅读
# Spark 中文乱码问题及解决方案
在大数据处理的过程中，Apache Spark 是一款非常受欢迎的工具。然而，在处理中文数据时，开发者经常遇到乱码问题。本文将讨论这个问题的根源，并提供解决方案。
## 中文乱码的问题
在 Spark 中，中文乱码通常出现在数据的读取和写入阶段。根本原因可以归结为编码不一致。例如，当数据源使用 UTF-8 编码，而 Spark 默认使用 ISO-885
原创
2024-09-04 06:39:31
178阅读
# Spark 中文文档科普
Apache Spark 是一个快速、通用、可扩展的大数据处理引擎。它可以处理大规模的数据处理任务，并且支持多种编程语言，包括 Java、Scala、Python 和 R。本文将简要介绍 Spark 的主要组件、工作流程，并提供一些代码示例。
## Spark 的组件
Spark 的架构主要由以下几个组件构成：
1. **Spark Core**: 提供基础的
原创
2024-10-11 10:35:31
32阅读
Spark中文分词一、导入需要的分词包importorg.ansj.domain.Termimportorg.ansj.recognition.impl.StopRecognitionimportorg.ansj.splitWord.analysis.ToAnalysis二、停用词过滤deffilter(stopWords:Array[String]):StopRecognition={//add
原创
2019-02-12 15:23:53
2668阅读
点赞
# Apache Spark 中文 API 介绍
Apache Spark 是一个快速、通用的集群计算系统，旨在进行大规模数据处理。它提供了多种编程语言的 API，包括 Java、Scala、Python 和 R，其中中文社区更偏向于使用 Python 和 Scala。在这篇文章中，我们将重点介绍 Spark 的中文 API，并通过代码示例来帮助大家更好地理解。
## 1. Spark 的基本
1. Python 正则表达式re 模块使 Python 语言拥有全部的正则表达式功能。compile 函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。re 模块也提供了与这些方法功能完全一致的函数，这些函数使用一个模式字符串做为它们的第一个参数。1.1 re.match函数re.match 尝试从字符串的起始位置匹配一个模式，如果不是起
转载
2024-10-04 13:13:48
42阅读
spark简介Spark（注意不要同Apache Spark混淆）的设计初衷是，可以简单容易地创建REST API或Web应用程序。它是一个灵活、简洁的框架，大小只有1MB。Spark允许用户自己选择设计应用程序的模板引擎以及选择最适合他们项目的库，比如，HTML解析功能就有Freemarker、Mustaches、Velocity、Jade、Handlebars、Pebble或Water等选项可
转载
2023-12-13 23:10:57
222阅读
问题导读1.spark-submit各个参数的含义是什么？ 2.集群启动都包含哪些脚本？ 3.如何实现连接一个应用程序到集群中？ Spark中文手册-编程指南 Spark之一个快速的例子 Spark之基本概念 Spark之基本概念 Spark之基本概念（2） Spark之基本概念（3） Spark-sql由入门到精通 Spark-sql由入门到精通续 spa
1.结构化API概述Apache Spark是一个用于大规模数据处理的快速，可靠，容错的分布式计算框架。 Spark有两套基本的API（Application Programming Interface，应用程序编程接口）：低级的“非结构化”API：弹性分布式数据集（RDD）高级的“结构化”API：类型安全的结构化数据API——Dataset结构化API是处理各种数据类型的工具，可处理非结构化的日
转载
2023-11-25 12:52:06
32阅读
