SparkNLP的官方文档1>sbt引入:scala为2.11时 libraryDependencies += "com.johnsnowlabs.nlp" %% "spark-nlp" % "1.4.2"
scala为2.11之上时
libraryDependencies += "com.johnsnowlabs.nlp" % "spark-nlp_2.11" % "1.4.2
转载
2024-04-26 14:52:02
43阅读
1 基于sklearn的机器学习方法完成中文文本分类1.1 文本分类 = 文本表示 + 分类模型1.1.1 文本表示：BOW/N-gram/TF-IDF/word2vec/word embedding/ELMo1.1.2 分类模型：NB/LR/SVM/LSTM(GRU)/CNN语种判断：拉丁语系，字母组成的，甚至字母也一样 => 字母的使用(次序、频次)不一样1.1.3 文本表示词袋模型（中
转载
2023-10-14 06:16:54
120阅读
自述解读分析新项目的需求时，得出这几点要求：需要处理大量的数据需要自然语言处理需要一定的效率立志要成为一名框架师的我，就思考如何在新项目开启之前，确定需要哪些技术方案，是否要使用新的技术方案，新的技术框架，还是原有的组织技术。之前我个人做过大数据项目，使用的是Hadoop与Spark，也参与过NLP的项目，对此都有些了解，思考如何将这两点结合起来，使用开数据框架，分布式技术，分布在每台机器上，再使
转载
2023-09-25 21:16:07
14阅读
本章内容：1、功能描述本篇文章就要根据源码分析SparkContext所做的一些事情，用过Spark的开发者都知道SparkContext是编写Spark程序用到的第一个类，足以说明SparkContext的重要性；这里先摘抄SparkContext源码注释来简单介绍介绍SparkContext，注释的第一句话就是说SparkContext为Spark的主要入口点，简明扼要，如把Spark集群当作
转载
2024-01-05 22:04:15
76阅读
NLP-Natural Language Processing：自然语言处理 从机器学习角度讲，需要执行五个步骤：读取预料标记化清理/移除通用词词干提取转化成数值格式基本步骤简述语料语料被称为文本文档的完整集合，例如，假设又一个集合中有数千封邮件，他们需要处理和分析以供使用，这组电子邮价就被称为语料，因为里面包含了所有的文本文档。标记化将制定语句或文本文档的词语集合划分成单独/独立语句的方法成为标
转载
2023-12-17 20:02:20
5阅读
文章目录其他工具设置您的环境先决条件启动 Apache Spark签出代码熟悉 Apache Spark使用 Spark NLP 启动 Apache Spark在 Apache Spark 中加载和查看数据使用 Spark NLP 的 Hello World这本书是关于使用 Spark NLP 构建自然语言处理 (NLP)应用程序的。Spark NLP 是一个建立在 Apache Spark 之上
转载
2024-03-14 11:50:56
41阅读
“ 之前写过对话机器人做法，接上文，本文介绍几个闲聊机器人API以及如何训练一个闲聊机器人”01、闲聊机器人API这里的闲聊机器人API指提供非特定领域、任务无关的人机对话接口，下文列举的接口，除了闲聊功能，可能还支持自定义任务、技能等，会单独指出。云小蜜(Intelligent Service Robot)是一款基于自然语言处理(NLP)和人工智能(AI)技术提供智能会话能力的云服务。无需亲自掌
转载
2023-06-07 16:09:04
125阅读
前言前段时间研究了SDL项目，看到了Spark的宏大愿景，写了篇Spark新愿景：让何设置worker的python命...
原创
2023-03-17 20:04:22
131阅读
Spark MLlib源代码解读之KMeans(下)之前看过Kmeans的源代码，但是对于Spark KMeans生成初始中心点的方法没有理解到位， 最近又看了一下，再次补充一下。Spark生成初始中心点有一个方法叫做initKMeansParallel。 整个代码包含有 Kmeans类和localKmeans类，localkmeans类主要用于实现KMeans++方法来实现得到中心点。ini
转载
2024-06-24 01:00:44
24阅读
前言关于CNN如何和NLP结合，其实是被这篇文章指导入门的 。 我觉得使
原创
2023-03-20 09:27:22
82阅读
作者|GUEST 编译|VK 来源|Analytics Vidhya 概述 在AWS电子病历上建立John Snow实验室的Spark NLP，并使用该库对BBC文章进行简单的文本分类。 介绍 自然语言处理是全球数据科学团队的重要过程之一。随着数据的不断增长，大多数组织已经转移到大数据平台，如apa
转载
2020-07-21 16:59:00
274阅读
2评论
文章目录问题陈述和约束计划项目设计解决方案实施解决方案测试和测量解决方案业务指标以模型为中心的指标审查结论当我们讨论语言模型时，我们展示了如何生成文本。构建一个聊天机器人是类似的，除了我们正在为一个交换建模。这可以使我们的要求更复杂，或者实际上更简单，具体取决于我们要如何解决问题。在本章中，我们将讨论一些可以对此建模的方法，然后我们将构建一个程序，该程序将使用生成模型来获取然后生成响应。首先，让我
转载
2024-02-01 22:01:13
59阅读
一、NLP是什么自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语
转载
2023-05-24 14:53:53
213阅读
1，概述任务型对话系统越来越多的被应用到实际的场景中，例如siri，阿里小密这类的产品。通常任务型对话系统都是基于pipline的方式实现的，具体的流程图如下： 整个pipline由五个模块组成：语音识别；自然语言理解；对话管理；自然语言生成；语音合成。现在越来越多的产品还融入了知识库，主要是在对话管理模块引入。在这里除了语音识别和语音合成模块不属于自然语言处理范
转载
2023-07-08 17:33:00
339阅读
1.正则表达式正则表达式在处理文本方面发挥着重要的作用 1.re.match() 从字符串开头匹配，匹配成功返回匹配结果，加上.group（）可查看匹配到的具体的值，匹配不成功则返回Noneimport re
print(re.match(r'a','abc123').group()) #a
print(re.match(r'A','abc123',re.I).group())#a，加上re.I可
转载
2023-09-27 16:55:02
148阅读
NLP 语种检测 API 数据接口180+ 语言检测，语种全称与缩写，返回置信度。1. 产品功能基于 NLP 分析文本的语种支持 180+ 多语种检测；语种缩写遵循 ISO 639-1 标准；包含检测到的语种置信度；毫秒级响应性能；数据持续更新与维护；全接口支持 HTTPS（TLS v1.0 / v1.1 / v1.2 / v1.3）；全面兼容 Apple ATS；全国多节点 CDN 部署；接口极
转载
2024-03-14 17:41:16
58阅读
个人总结： 一、NLP由于需要对上下文进行理解，因此具有记忆能力的循环神经网络是种很好的模型。 二、seq2seq框架由编码器和解码器构成，编码器将输入单词编码成context向量，解码器根据该向量解码出单词序列。 三、为了更关注与当前时刻词更加有关联性的其它词，需要对其它词对当前时刻的影响进行加权，因而出现了注意力机制Attention。 四、为了解决RNN只能按时间步递归计算问题，Transf
转载
2024-06-13 16:43:39
117阅读
文章目录发展历程迁移学习预训练、精调范式（Pre-train,Fine-tune) 发展历程预训练语言模型： 是采用迁移学习的方法，通过自监督学习，从大规模数据中获得与具体任务无关的预训练模型，然后用训练好的预训练模型提高下游任务的性能的一种数据增强法迁移学习分类： 1、归纳迁移学习 在源领域和任务上学习出的一般的知识，然后将其迁移到目标领域和任务上迁移方式： 1、基于特征的方式 将源任务预训练
转载
2023-07-31 21:12:59
144阅读
https://github.com/xianhu/funNLP最近需要从文本中抽取结构化信息，用到了很多github上的包，遂整理了一下，后续会不断更新。很多包非常有趣，值得收藏，满足大家的收集癖！ 如果觉得有用，请分享并star，谢谢！涉及内容包括：中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取、身份证抽取、邮箱抽取、中日文人名库、中文缩写库、拆字词典、词汇
转载
2024-03-14 11:29:15
57阅读
一、词袋模型：分词、去停用词、消除数字、英文，得到若干词语的集合。二、词典：词语和其索引ID的一一对应关系。假设共有N个词语。三、one-hot编码: 在词典基础上，分词之后的文章的词频向量。可以看成是M*N的单词-文档矩阵A。A(i,j)=第i篇文章中词典索引为j的词语出现的次数，即词频TF。四、TF-IDF模型：在one-hot基础上，A(i,j)的值由词频变成了词频*逆文档频率。缺点：不能表
转载
2023-08-03 22:26:53
125阅读
