基于机器学习的文本分类在本章我们将开始使用机器学习模型来解决文本分类。机器学习发展比较广，且包括多个分支，本章侧重使用传统机器学习，从下一章开始是基于深度学习的文本分类。学习目标学会TF-IDF的原理和使用使用sklearn的机器学习模型完成文本分类机器学习模型机器学习是对能通过经验自动改进的计算机算法的研究。机器学习通过历史数据训练出模型对应于人类对经验进行归纳的过程，机器学习利用模型对新数据进
转载
2024-06-22 07:10:50
21阅读
要准备入行NLP的学员，你们的机会来了→
转载
2021-06-24 17:51:26
257阅读
“语言理解是人工智能领域皇冠上的明珠。”——比尔盖茨自然语言处理是一门综合性的学问，它远远不止机器学习算法。相比图像或语音，文本的变化更加复杂，例如从预处理来看，NLP 就要求我们根据对...
转载
2022-12-14 14:14:48
64阅读
1. 引言：NLP评估的核心挑战
自然语言处理（NLP）领域的快速发展带来了丰富多样的任务和模型，但如何客观、准确地评估这些模型的性能却成为了一个持续挑战。与传统的分类任务不同，NLP中的生成式任务（如机器翻译、文本摘要、对话生成等）往往没有唯一正确的答案，这使得评估变得尤为复杂。在2025年的今天，随着大语言模型（LLM）的崛起，评估指标的重要性更加凸显，它们不仅需要衡量模型输出的质量，还需要兼
自然语言处理（NLP）领域的快速发展带来了丰富多样的任务和模型，但如何客观、准确地评估这些模型的性能却成为了一个持续挑战。与传统的分类任务不同，NLP中的生成式任务（如机器翻译、文本摘要、对话生成等）往往没有唯一正确的答案，这使得评估变得尤为复杂。在2025年的今天，随着大语言模型（LLM）的崛起，评估指标的重要性更加凸显，它们不仅需要衡量模型输出的质量，还需要兼顾多样性、连贯性和实用性。
作者： 寒小阳 && 龙心尘 时间：2016年2月。
转载
2021-08-04 11:51:31
251阅读
作者： 寒小阳 && 龙心尘 时间：2016年2月。 出处：://blog.csdn.net/han_xiaoyang/article/details/50629608 ://blog.csdn.net/longxinchen_ml/article/details/50629613
转载
2017-08-06 11:40:00
67阅读
2评论
作者： 寒小阳 && 龙心尘 时间：2016年2月。
转载
2022-01-12 09:47:59
151阅读
GRURNN存在的问题：梯度较容易出现衰减或爆炸（BPTT）⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系RNN:Image NameGRU:Im
原创
2023-05-17 19:20:30
73阅读
NLP课程第2讲内容覆盖ord2vec与词向量、算法优化基础、计数与共现矩阵、GloVe模型、词向量评估、word senses等。
原创
2022-05-01 09:29:26
7893阅读
点赞
作者：云不见链接：https://www.yuque.com/docs/share/6ecfa369-8870-48e2-8e24-63efd3d3fab1?#编辑：王萌word2vec的高速化上一篇我们讲到了在神经网络中词向量的表示方法：最著名的就是word2vec，并且实现了CBOW模型的代码。想要回顾的可以看这里师妹问我：如何在7分钟内彻底搞懂word2vec？word2vec虽然简单，但是
原创
2021-02-04 09:37:19
1298阅读
一、NLP是什么自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语
转载
2023-05-24 14:53:53
213阅读
在量化价值投资中，传统的数据分析方法主要依赖于结构化的财务数据，如营收、利润等指标。然而，财报和新闻中包
【自然语言处理（NLP）】基于LSTM的命名实体识别(进阶)，基于百度飞桨开发，参考于《自然语言处理实践》所作。
原创
精选
2022-10-11 15:30:01
548阅读
点赞
个人总结： 一、NLP由于需要对上下文进行理解，因此具有记忆能力的循环神经网络是种很好的模型。 二、seq2seq框架由编码器和解码器构成，编码器将输入单词编码成context向量，解码器根据该向量解码出单词序列。 三、为了更关注与当前时刻词更加有关联性的其它词，需要对其它词对当前时刻的影响进行加权，因而出现了注意力机制Attention。 四、为了解决RNN只能按时间步递归计算问题，Transf
转载
2024-06-13 16:43:39
117阅读
1.正则表达式正则表达式在处理文本方面发挥着重要的作用 1.re.match() 从字符串开头匹配，匹配成功返回匹配结果，加上.group（）可查看匹配到的具体的值，匹配不成功则返回Noneimport re
print(re.match(r'a','abc123').group()) #a
print(re.match(r'A','abc123',re.I).group())#a，加上re.I可
转载
2023-09-27 16:55:02
148阅读
文章目录发展历程迁移学习预训练、精调范式（Pre-train,Fine-tune) 发展历程预训练语言模型： 是采用迁移学习的方法，通过自监督学习，从大规模数据中获得与具体任务无关的预训练模型，然后用训练好的预训练模型提高下游任务的性能的一种数据增强法迁移学习分类： 1、归纳迁移学习 在源领域和任务上学习出的一般的知识，然后将其迁移到目标领域和任务上迁移方式： 1、基于特征的方式 将源任务预训练
转载
2023-07-31 21:12:59
144阅读
1，概述任务型对话系统越来越多的被应用到实际的场景中，例如siri，阿里小密这类的产品。通常任务型对话系统都是基于pipline的方式实现的，具体的流程图如下： 整个pipline由五个模块组成：语音识别；自然语言理解；对话管理；自然语言生成；语音合成。现在越来越多的产品还融入了知识库，主要是在对话管理模块引入。在这里除了语音识别和语音合成模块不属于自然语言处理范
转载
2023-07-08 17:33:00
339阅读
NLP 语种检测 API 数据接口180+ 语言检测，语种全称与缩写，返回置信度。1. 产品功能基于 NLP 分析文本的语种支持 180+ 多语种检测；语种缩写遵循 ISO 639-1 标准；包含检测到的语种置信度；毫秒级响应性能；数据持续更新与维护；全接口支持 HTTPS（TLS v1.0 / v1.1 / v1.2 / v1.3）；全面兼容 Apple ATS；全国多节点 CDN 部署；接口极
转载
2024-03-14 17:41:16
58阅读
Ⅰ. NLP数据集整理中英文NLP数据集搜索平台，点击搜索一、情感分析ID标题更新日期数据集提供者说明关键字类别备注1weibo_senti_100k无无带情感标注新浪微博，正负向评论约各 5 万条微博二分类任务无2Weibo Emotion Corpus2016The Hong Kong Polytechnic University微博语料，标注了7类 emotions: like, disgu
转载
2024-03-14 11:28:57
111阅读
