1.BERT概述BERT 是 Transformers 双向编码器表示的缩写，是一种用于自然语言处理的机器学习 (ML) 模型。它由 Google AI Language 的研究人员于 2018 年开发，是 11 种以上最常见语言任务解决方案，例如情感分析和命名实体识别。从历史上看，计算机很难“理解”语言。当然，计算机可以收集、存储和读取文本输入，但它们缺乏基本的语言上下文。因此，出现
转载
2024-08-12 22:39:16
63阅读
自然语言处理文本分类实战 第一章 文本分类应用场景介绍一、文本分类任务描述：input—model—output 二、应用场景：评论数据2.情感分析3.意图识别4.进阶应用：第二章 文本表征知识2.1文本表征介绍2.1.1、文本表示：（转化成电脑能够识别的文字） 2.1.2、文本表示的方法 2.2 One Hot编码（独热编码）2.2.1、工作流程 将句子分词构建词表并编码将编码组成一个数字序列O
转载
2024-03-16 10:07:17
85阅读
一、为一个五金搜索网站构建文本相似度检测系统1、项目介绍trainset : 产品id 搜索item 产品item 相似度评分 prodcut_description：产品id 产品介绍2、使用ML modelxgboost3、系统构建思路step1：文本预处理（stemmer很重要 in search） stemmer step2：特征工程（自制文本特征） 1）搜索str中的word在产品str
转载
2024-04-02 13:09:21
85阅读
目录一、数据清洗1.导入必要的库 2.创建停用词表3. 对句子进行中文分词4. 给出文档路径5.将结果输出保存并且打印处理过程二、转换数据格式1.将处理完毕的数据读取查看2.创建data3. 将评论数据按行写入data中的“评论”一列4.读取评分数据5.将评分数据以逗号形式分割6.将评分数据作为label按行写入data中的“评分”一列7.查看数据，并将数
转载
2024-04-01 06:34:41
107阅读
如何建立专门领域的语言模型？理解了这个自然语言模型怎么用RNN来建立以后，建立一个专门的领域语言模型那就非常简单了，其实就是需要把这个领域特有的大量的语料数据放到训练里面来，最后出来的就是这个领域所特有的语言模型。以会计家园和软件的服务社区为基础，利用上面几十万个问题和答案，在去掉敏感数据的情况下，训练出适合于在财务领域使用的语言模型。举例说明，报销差旅费，这是在会计领域经常使用的语言，比如“报销
转载
2024-06-04 18:57:31
57阅读
话题模型话题模型是为发现文档集合中的话题而开发出来的一种统计方法。常见的话题模型有LSA、PLSA、LDA，其中LDA（LatentDirichletAllocation)是表现最好的话题模型。LDA也被称为三层贝叶斯概率模型，包含词语、话题和文档三层结构。我们认为一篇文章的产生是服从概率分布的，即每个词都是通过“以一定概率选择了某个话题，并从这个话题中以一定的概率选择了某个词语”。LatentD
原创
2021-01-02 21:30:06
1956阅读
此章节介绍了自然语言处理的相关知识，以及自然语言处理与人工智能、机器学习、语言学和计算机科学之间的关系，此外还介绍了自然语言处理这一学科的发展时间线，从规则系统到统计模型再到深度学习。pyhanlp 接口的调用：from pyhanlp import HanLP
print(HanLP.segment('你好，欢迎在Python中调用HanLP的API'))
for term in HanLP
实验1： Word2Vec & TranE的实现Word2Vec基于给定的代码实现Word2Vec，在Text8语料库上进行训练，并在给定的WordSim353数据集上进行测试。运行word2vec.py训练Word2Vec模型, 在WordSim353上衡量词向量的质量模型的原始参数设定如下，默认5个周期，负采样为5，CBOW模型：model = gensim.models.
转载
2024-03-27 09:30:52
143阅读
简介本文是一系列关于如何使用神经网络进行自然语言处理（NLP）的最佳实践汇集，将随着新观点的出现定期进行更新，从而不断提升我们对用于 NLP 的深度学习的理解。NLP 社区中有这样一句说法：带有注意力的 LSTM 能在所有任务上实现当前最佳的表现。尽管在过去的两年这确实是真的，NLP 社区却在慢慢偏离带有注意力的 LSTM，而去发现更有趣的模型。但是，NLP 社区并非想再花费两年独立地（重新
转载
2024-04-07 22:35:31
140阅读
本书介绍 自然语言处理 (NLP) 为解决人工智能问题提供了很多方案，使亚马逊 Alexa 和谷歌翻译等产品成为可能。如果你是 NLP 和深度学习新手的开发人员或数据科学家，本实用指南将向你展示如何使用基于 Python 的深度学习库 PyTorch 应用这些方法。bshq：自然语言处理实战精品书籍-《基于Python自然语言处理实战》免费分享作者 D
原创
2023-06-23 13:07:30
178阅读
1. 自然语言处理简介自然语言处理 (Natural Language Processing, NLP) 是人工智能领域最火热的研究方向之一，NLP 为计算机真正理解人类语言提供了基础。NLP 已成为现代计算机程序系统的重要组成部分，广泛用于搜索引擎、语音助手、文档处理等应用中。机器可以很好地处理结构化数据，但在处理非结构化的文本时，就变得相对困难了。NLP 的目标是开发使计算机能够理解非结构化文
转载
2024-04-29 12:42:19
64阅读
面向中文自然语言处理的六十余类实践项目及学习索引，涵盖语言资源构建、社会计算、自然语言处理组件、知识图谱、事理图谱、知识抽取、情感分析、深度学习等几个学习主题。包括作者个人简介、学习心得、语言资源、工业落地系统等，是供自然语言处理入门学习者的一个较为全面的学习资源，欢迎大家使用，并提出批评意见。 项目类型中文名称技术点技术博客技术落地与探索博客技术博客、技术探索与应用实践技术公众号
转载
2024-07-30 13:49:04
54阅读
文章大纲个人简介本节课程导览1.自然语言处理（NLP）简介1.1 基础技术1.2 NLP 核心技术1.3 NLP+（高端技术）1.4 课程涵盖的主要内容总揽2.知名NLP服务系统与开源组件简介2.1 单一服务提供商2.1.1 汉语分词系统ICTCLAS2.1.2 哈工大语言云（Language Technology Platform，LTP）2.1.3 HanLP2.1.4 BosonNLP2.
转载
2024-04-23 17:00:46
44阅读
这是对涂铭等老师撰写的《Python自然语言处理实战：核心技术与算法》的学习笔记。 这里写目录标题逆向最大匹配分词利用HMM模型分词利用jieba分词、词性标注、提取关键词总结 逆向最大匹配分词#逆向最大匹配
class IMM(object):
def __init__(self, dic_path):
self.dictionary = set()
se
转载
2024-04-26 20:21:54
20阅读
自然语言处理学习自然语言处理是计算机科学领域与人工智能领域的中的一个重要方向。它研究实现人与计算机之间用自然语言进行有效通信的各种理论和方法，涉及所有用计算机对自然语言进行的操作基于《python自然语言处理》一书的学习过程分享，我想更精简的提取出书中有用的东西，使其能快速上手使用。特此放到GitHub上不断更新。按照书中的顺序1. 语言处理的基础2. 结构化程序设计3. 语言处理的基本原理（标注
1、LDAP的存储规则区分名（DN，Distinguished Name）和自然界中的树不同，文件系统/LDAP/电话号码簿目录的每一片枝叶都至少有一个独一无二的属性，这一属性可以帮助我们来区别这些枝叶。在文件系统中， 这些独一无二的属性就是带有完整路径的文件名。比如/etc/passwd，该文件名在该路径下是独一无二的。当然我们可以有/usr/passwd, /opt/passwd，但是根据它们
转载
2024-05-13 11:18:45
30阅读
# Java自然语言处理之自然语言生成
## 概述
在自然语言处理（Natural Language Processing，NLP）领域中，自然语言生成（Natural Language Generation，NLG）是一项重要的任务。它涉及将结构化数据或其他非自然语言形式的信息转化为自然语言文本，以达到人类可理解和可交流的目的。
本文将介绍在Java中实现自然语言生成的流程，并提供相关的代
原创
2023-10-02 06:51:14
212阅读
The 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020) 将于2020年7月5日至10日在美国华盛顿州西雅图举行，不过今年因新冠将在线举办。ACL年会是计算语言学和自然语言处理领域最重要的顶级国际会议，CCF A类会议，由计算语言学协会主办，每年举办一次。其接收的论文覆盖了对话交
余弦相似度余弦相似度，又称为余弦相似性，是通过计算两个向量的夹角余弦值来评估他们的相似度。余弦相似度将向量根据坐标值，绘制到向量空间中，如最常见的二维空间。将向量根据坐标值，绘制到向量空间中。如最常见的二维空间。 求得他们的夹角，并得出夹角对应的余弦值，此余弦值就可以用来表征，这两个向量的相似性。夹角越小，余弦值越接近于1，它们的方向更加吻合，则越相似。单位矢量单位向量是指模等于1的向量。由于是
本文是对网上的NLP论文资料的收集和整理综合性资料1.NLP Progress本文对记录自然语言处理（NLP）领域的新进展，并概述最常见的NLP任务及其相应数据集的新技术，涵盖了目前NLP领域常用任务的最佳实验 结果和数据集资源。新智元介绍：新智元专栏原文介绍：https://nlpprogress.com/Github链接：https://github.com/sebastianruder/NL
转载
2024-05-08 23:38:49
70阅读
