一 序 本文属于贪心NLP训练营学习笔记系列。从隐变量到EM算法。二 数据表示传统的数据表示，如图片、文本等是人能直观理解。但是不一定是好的表示，可能有冗余的特征，有噪音等。是不是转换为低维的空间会更好？很多算法包括机器学习都是为了寻找一个更好的表示方法。三 隐变量模型隐变量生成的例子： Complete Case and Incomple
转载
2024-04-20 22:33:36
33阅读
综述自然语言处理概述自然语言处理（NLP）是为了让计算机理解自然语言。NLP和编译器是有联系的，人类分析编译器的洞察力也可以被应用到NLP上面，不过由于编程语言是无二义性的，或者可以通过简单的规则，比如优先级，消除二义性，如此一来，研究如何设计编译器，更多的是研究精确的文法。相比较而言，自然语言的意思和形式会灵活变化。不过可以从人的思维角度设计编译器，也可以从人的思维角度设计NLP。语言是由词语组
转载
2024-10-31 20:21:46
28阅读
自然语言处理一直是人工智能领域的重要话题，更是18年的热度话题，为了在海量文本中及时准确地获得有效信息，文本分类技术获得广泛，也给大家带来了更多应用和想象的空间。本文根据AI科技大本营、学院联合达观数据分享的内容《NLP概述及文本自动分类算法详解》整理而成。 一、 NLP概述1.文本挖掘任务类型的划分 文本挖掘任务大致分为四个类型：类别到序列、序列到类
转载
2024-04-22 20:41:13
9阅读
1.分词针对语料库中，所存在的单词的概率进行不同方法的概率计算，来选择分词概率最大的一种分词方法。 计算公式(Unigram-algorithm)为：P(‘你好中国’) = P(‘你’)*P(‘好’)*P(‘中’)*P(‘国’) P(‘你好中国’) =P(‘你好’)*P(‘中’)*P(‘国’) P(‘你好中国’) = P(‘你好’)*P(‘中国’) …但上述计算公式，可能会导致概率过小而溢出，所以
转载
2023-10-10 07:10:18
220阅读
人工智能算法大体上来说可以分类两类：基于统计的机器学习算法(Machine Learning)和深度学习算法(Deep Learning)总的来说，在sklearn中机器学习算法大概的分类如下：1. 纯算法类(1).回归算法(2).分类算法(3).聚类算法(4)降维算法(5)概率图模型算法(6)文本挖掘算法(7)优化算法(8)深度学习算法2.建模方面(1).模型优化(2).数据预处理二、详细算法1
转载
2019-06-20 14:26:00
180阅读
一，TF-IDF介绍1，TF-IDF简介 TF-IDF是NLP中一种常用的统计方法，用以评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度，通常用于提取文本的特征，即关键词。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。2，TF-IDF的计算公式在NLP中，TF-IDF的计算公式如下：tfidf = tf*idf.其中，tf是词频(
转载
2023-12-19 10:08:31
17阅读
一、文本处理流程文本清洗：html标签与转义字符、多余空格、根据需要清除邮箱、账号、网址、手机号、作者信息等信息预处理：去除停用词、加载自定义词库（实体词库、垂直领域词库）、分词特征提取：关键词、实体词建模：文本分类、文本聚类、情感分析、标签提取优化：停用词库与自定义词库清洗与丰富、文本标签清洗、模型调整效果评估：满足线上使用要求，准确率、速度上线部署：部署api接口二、NLP算法深度学习在自然语
转载
2023-10-23 23:28:21
108阅读
感谢的分享，补充整理了一些内容，今后会更新内容和知识点一、人工智能学习算法分类1. 纯算法类2.建模方面二、详细算法1.分类算法2.回归算法3.聚类算法4.降维算法5.概率图模型算法6.文本挖掘算法7.正则化8.深度学习算法三、建模方面1.模型优化·2.数据预处理一、人工智能学习算法分类人工智能算法大体上来说可以分类两类：基于统计的机器学习算法(Machine Learning)和深度学习算法(D
转载
2023-08-17 09:04:18
99阅读
思维导图:https://www.processon.com/diagraming/5c6e214ee4b056ae2a10eb9c本文争取以最短的文字,最简单的语言来描述NLP流程与w2v,详细原理会提供相应的链接.写到一半发现还是有很多地方省略过去= =写的不够详细1.NLP流程详解1.1数据清洗不感兴趣的、视为噪音的内容清洗删除，包括对于原始文本提取标题、摘要、正文等信息，对于爬取的网页内容
转载
2024-03-14 12:26:23
52阅读
问题1：Bert模型中，根号dk的作用QK进行点击之后，值之间的方差会较大，也就是大小差距会较大；如果直接通过Softmax操作，会导致大的更大，小的更小；进行缩放，会使参数更平滑，训练效果更好。 问题2：Bert模型中多头的作用多次attention综合的结果至少能够起到增强模型的作用，也可以类比CNN中同时使用多个卷积核的作用，直观上讲，多头的注意力有助于网络捕捉到更丰富的特征/信息。 文末免
转载
2023-12-27 11:00:32
87阅读
BM25算法，通常用来做检索相关性评分。首先对一个查询Query进行分词得qi，对每个搜索结果文档d，计算qi与文档d的相关性得分。最后将所有的qi进行加权求和，从而得到查询Query与文档d的相关性得分。公式中，Q表示查询Query，qi表示查询被解析得到的分词qi，d表示搜索结果文档d，Wi表示分词qi的权重，R(qi，d)表示分词qi与文档d的相关性得分。定义一个词与文档相关性的权重方法有很
转载
2023-10-25 22:13:30
76阅读
作者 | songyingxin本项目记录了面试NLP算法工程师常会遇到的问题。1. 编程语言基础该文件夹下主要记录 python 和 c++ 的一些语言细节， 毕竟这两大语言是主流，基本是都要会的，目前还在查缺补漏中。C++面试题Python 面试题2. 数学基础该文件夹下主要记录一些数学相关的知识，包括高数，线性代数，概率论与信息论， 老宋亲身经历，会问到， 目前尚在查缺补漏中。概率论高等数学
转载
2023-08-14 14:22:49
85阅读
最近在做机器翻译相关的工作，发现subword算法在NLP各大任务中无处不在。既然要用到并且用好subword，这里就重点捋一遍关于subword的算法以及几个开源的实现。1.word、subword和character在神经机器翻译中，通常有一个固定的词表，并且模型的训练和预测都非常依赖这个词表。在神经网络的训练过程中，需要对词表中每个词做向量表，每个词对应不同的向量，即embedding的过程
转载
2023-11-13 06:42:51
171阅读
导读自然语言处理（NLP）作为语言信息处理技术的一个研究方向，一直是人工智能领域的核心课题之一。日常生活中，我们有时会遇见一些有歧义或者令人费解的语句例子，这些例子让人直觉计算机理解人类语言太难了。本文从自然语言理解的本质、关键，以及自然语言的特点和理解难点四方面，对“NLP到底难在哪里”给出了通俗易懂的介绍。本文总字数6214，阅读约21分钟作者简介刘知远，清华大学计算机系副教授，研究方向为自然
转载
2023-12-19 21:03:06
32阅读
NLP算法面试必备！史上最全！PTMs：NLP预训练模型的全面总结预训练模型(Pre-trained Models,PTMs)的出现将NLP带入了一个全新时代。2020年3月18日，邱锡鹏老师发表了关于NLP预训练模型的综述《Pre-trained Models for Natural Language Processing: A Survey》[1]，这是一篇全面的综述，系统地对PTMs进行了归
转载
2023-07-24 16:26:29
177阅读
作者 | Ahmed Besbes本文介绍了用于文本分类任务的 7 个模型，包括传统的词袋模型、循环神经网络，也有常用于计算机视觉任务的卷积神经网络，以及 RNN + CNN。本文是我之前写过的一篇基于推特数据进行情感分析的文章，那时我建立了一个简单的模型：基于 keras 训练的两层前馈神经网络。用组成推文的词嵌入的加权平均值作为文档向量来表示输入推文。我用的嵌入是用 gensim
转载
2024-07-28 14:49:59
93阅读
作者 | 算法进阶一、自然语言处理（NLP）简介NLP，自然语言处理就是用计算机来分析和生成自然语言（文本、语音），目的是让人类可以用自然语言形式跟计算机系统进行人机交互，从而更便捷、有效地进行信息管理。NLP是人工智能领域历史较为悠久的领域，但由于语言的复杂性（语言表达多样性/歧义/模糊等等），如今的发展及收效相对缓慢。比尔·盖茨曾说过，"NLP是 AI 皇冠上的明珠。" 在光鲜绚丽的同时，却可
转载
2023-08-24 16:11:06
99阅读
内容目录一、数据集介绍二、解压文件明确需求三、批量读取和合并文本数据集四、中文文本分词五、停止词使用六、编码器处理文本标签七、常规算法模型1、k近邻算法2、决策树3、多层感知器4、伯努力贝叶斯5、高斯贝叶斯6、多项式贝叶斯7、逻辑回归8、支持向量机八、集成算法模型1、随机森林算法2、自适应增强算法3、lightgbm算法4、xgboost算法九、深度学习1、前馈神经网络2、LSTM 神经网络十
转载
2023-07-07 21:02:24
238阅读
自然语言处理（NLP）中有一块很重要的部分就是文本挖掘，文本自然语言的一种展现形式，也是目前海量数据的主流展现方式。现在google和百度也会采用主流的分词算法TF-IDF进行文本拆分，当然这是主要的算法之一，不是只是用这一种。下面我给大家简单介绍一下TF-IDF算法：定义在信息检索中，TF-IDF（词频-逆文档频率）是一种统计方法，用以评估一个单词在一个文档集合或语料库中的重要程度。经常被用作信
转载
2023-08-16 15:43:51
207阅读
更多机器学习、深度学习、NLP知识请参考我的个人网站: http://www.kexue.love点我一、背景介绍bert之前我们先来看一下NLP发展的几个阶段。 如果说把人类完全攻克人工智能(AI)比作上天的话，那么现在阶段人类已经爬上天梯的第二个阶梯了。再次之前人类总共进行的三个阶段。第一阶段(地上爬)：统计机器学习为代表第二阶段(爬上第一阶梯)：word2vec为代表第三阶段(爬上第二阶梯)
转载
2024-01-19 22:30:33
49阅读
