一，TF-IDF介绍1，TF-IDF简介 TF-IDF是NLP中一种常用的统计方法，用以评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度，通常用于提取文本的特征，即关键词。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。2，TF-IDF的计算公式在NLP中，TF-IDF的计算公式如下：tfidf = tf*idf.其中，tf是词频(
转载
2023-12-19 10:08:31
17阅读
# NLP编程标注算法
自然语言处理（NLP）作为人工智能的重要分支，广泛应用于文本分析、机器翻译、情感分析等多个领域。在NLP中，标注（Annotation）是一个重要的步骤，用于解释和理解文本的含义。而“编程标注算法”则是实现文本标注的一种高效方式。本文将通过简单介绍NLP标注的概念、常见的标注算法以及一个代码示例来深入探索这一主题。
## 1. 什么是文本标注？
文本标注是对文本数据中
词性标注（Part-of-Speech Tagging, POS）、命名实体识别（Name Entity Recognition，NER）和依存句法分析（Dependency Parsing）是自然语言处理中常用的基本任务，本文基于SpaCy python库，通过一个具体的代码实践任务，详细解释这三种NLP任务具体是什么，以及在实践中三个任务相互之间的关系。 介绍说到数据科学
转载
2023-10-27 00:06:46
74阅读
NLP入门学习（学习资料来自实验楼）
自然语言处理，简称：NLP，是指对人们平时日常使用的交流语言进行处理的一项技术。NLP 经过多年的发展，现今可以划分为两部分内容，即：自然语言的理解和自然语言的生成。本文将以文本分类为目标，介绍自然语言处理相关的基础操作和应用。（来自https://www.shiyanlou.com/courses/12
转载
2023-08-07 20:38:35
177阅读
自然语言处理一直是人工智能领域的重要话题，更是18年的热度话题，为了在海量文本中及时准确地获得有效信息，文本分类技术获得广泛，也给大家带来了更多应用和想象的空间。本文根据AI科技大本营、学院联合达观数据分享的内容《NLP概述及文本自动分类算法详解》整理而成。 一、 NLP概述1.文本挖掘任务类型的划分 文本挖掘任务大致分为四个类型：类别到序列、序列到类
转载
2024-04-22 20:41:13
9阅读
1.分词针对语料库中，所存在的单词的概率进行不同方法的概率计算，来选择分词概率最大的一种分词方法。 计算公式(Unigram-algorithm)为：P(‘你好中国’) = P(‘你’)*P(‘好’)*P(‘中’)*P(‘国’) P(‘你好中国’) =P(‘你好’)*P(‘中’)*P(‘国’) P(‘你好中国’) = P(‘你好’)*P(‘中国’) …但上述计算公式，可能会导致概率过小而溢出，所以
转载
2023-10-10 07:10:18
220阅读
人工智能算法大体上来说可以分类两类：基于统计的机器学习算法(Machine Learning)和深度学习算法(Deep Learning)总的来说，在sklearn中机器学习算法大概的分类如下：1. 纯算法类(1).回归算法(2).分类算法(3).聚类算法(4)降维算法(5)概率图模型算法(6)文本挖掘算法(7)优化算法(8)深度学习算法2.建模方面(1).模型优化(2).数据预处理二、详细算法1
转载
2019-06-20 14:26:00
180阅读
思维导图:https://www.processon.com/diagraming/5c6e214ee4b056ae2a10eb9c本文争取以最短的文字,最简单的语言来描述NLP流程与w2v,详细原理会提供相应的链接.写到一半发现还是有很多地方省略过去= =写的不够详细1.NLP流程详解1.1数据清洗不感兴趣的、视为噪音的内容清洗删除，包括对于原始文本提取标题、摘要、正文等信息，对于爬取的网页内容
转载
2024-03-14 12:26:23
52阅读
感谢的分享，补充整理了一些内容，今后会更新内容和知识点一、人工智能学习算法分类1. 纯算法类2.建模方面二、详细算法1.分类算法2.回归算法3.聚类算法4.降维算法5.概率图模型算法6.文本挖掘算法7.正则化8.深度学习算法三、建模方面1.模型优化·2.数据预处理一、人工智能学习算法分类人工智能算法大体上来说可以分类两类：基于统计的机器学习算法(Machine Learning)和深度学习算法(D
转载
2023-08-17 09:04:18
99阅读
一 序 本文属于贪心NLP训练营学习笔记系列。从隐变量到EM算法。二 数据表示传统的数据表示，如图片、文本等是人能直观理解。但是不一定是好的表示，可能有冗余的特征，有噪音等。是不是转换为低维的空间会更好？很多算法包括机器学习都是为了寻找一个更好的表示方法。三 隐变量模型隐变量生成的例子： Complete Case and Incomple
转载
2024-04-20 22:33:36
33阅读
一、文本处理流程文本清洗：html标签与转义字符、多余空格、根据需要清除邮箱、账号、网址、手机号、作者信息等信息预处理：去除停用词、加载自定义词库（实体词库、垂直领域词库）、分词特征提取：关键词、实体词建模：文本分类、文本聚类、情感分析、标签提取优化：停用词库与自定义词库清洗与丰富、文本标签清洗、模型调整效果评估：满足线上使用要求，准确率、速度上线部署：部署api接口二、NLP算法深度学习在自然语
转载
2023-10-23 23:28:21
108阅读
c语言计算机编程三种方法求解非线性方程.doc本 科 专 业 学 年 论 文题 目非线性方程求解比较姓 名 何 娟 专 业 计算机科学技术系 班 级 08 级本科(2)班 指 导 老 师 刘 晓 娜 完成日期 2010 年 11 月 21 日计算机学年专业论文 非线性方程求解- 1 -题 目非线性方程求解比较摘 要本文给出了三种求解非线性方程的方法，分别是二分法，牛顿迭代法，割弦法。二分法巧妙地利
转载
2023-12-12 11:43:35
32阅读
导读自然语言处理（NLP）作为语言信息处理技术的一个研究方向，一直是人工智能领域的核心课题之一。日常生活中，我们有时会遇见一些有歧义或者令人费解的语句例子，这些例子让人直觉计算机理解人类语言太难了。本文从自然语言理解的本质、关键，以及自然语言的特点和理解难点四方面，对“NLP到底难在哪里”给出了通俗易懂的介绍。本文总字数6214，阅读约21分钟作者简介刘知远，清华大学计算机系副教授，研究方向为自然
转载
2023-12-19 21:03:06
32阅读
BM25算法，通常用来做检索相关性评分。首先对一个查询Query进行分词得qi，对每个搜索结果文档d，计算qi与文档d的相关性得分。最后将所有的qi进行加权求和，从而得到查询Query与文档d的相关性得分。公式中，Q表示查询Query，qi表示查询被解析得到的分词qi，d表示搜索结果文档d，Wi表示分词qi的权重，R(qi，d)表示分词qi与文档d的相关性得分。定义一个词与文档相关性的权重方法有很
转载
2023-10-25 22:13:30
76阅读
作者 | songyingxin本项目记录了面试NLP算法工程师常会遇到的问题。1. 编程语言基础该文件夹下主要记录 python 和 c++ 的一些语言细节， 毕竟这两大语言是主流，基本是都要会的，目前还在查缺补漏中。C++面试题Python 面试题2. 数学基础该文件夹下主要记录一些数学相关的知识，包括高数，线性代数，概率论与信息论， 老宋亲身经历，会问到， 目前尚在查缺补漏中。概率论高等数学
转载
2023-08-14 14:22:49
85阅读
最近在做机器翻译相关的工作，发现subword算法在NLP各大任务中无处不在。既然要用到并且用好subword，这里就重点捋一遍关于subword的算法以及几个开源的实现。1.word、subword和character在神经机器翻译中，通常有一个固定的词表，并且模型的训练和预测都非常依赖这个词表。在神经网络的训练过程中，需要对词表中每个词做向量表，每个词对应不同的向量，即embedding的过程
转载
2023-11-13 06:42:51
171阅读
更多机器学习、深度学习、NLP知识请参考我的个人网站: http://www.kexue.love点我一、背景介绍bert之前我们先来看一下NLP发展的几个阶段。 如果说把人类完全攻克人工智能(AI)比作上天的话，那么现在阶段人类已经爬上天梯的第二个阶梯了。再次之前人类总共进行的三个阶段。第一阶段(地上爬)：统计机器学习为代表第二阶段(爬上第一阶梯)：word2vec为代表第三阶段(爬上第二阶梯)
转载
2024-01-19 22:30:33
49阅读
自然语言处理（Natural Language Processing，NLP）是一门涉及计算机科学、人工智能、语言学和心理学等多个领域的交叉学科。它的目的是让计算机能够理解、处理和生成自然语言。自然语言处理算法是NLP领域的核心内容，它们为自然语言处理技术提供了基础和支持。目前，自然语言处理算法已经发展出了很多种类，这些算法都有各自的特点和适用场景。下面，我们将对常见的自然语言处理算法进行详细的介
转载
2023-07-08 17:31:11
401阅读
文本摘要方法早在20世纪50年代，自动文本摘要已经吸引了人们的关注。在20世纪50年代后期，Hans Peter Luhn发表了一篇名为《The automatic creation of literature abstract》的研究论文，它利用词频和词组频率等特征从文本中提取重要句子，用于总结内容。由Harold P Edmundson在20世纪60年代后期完成，他使用线索词的出现（文本中出现
转载
2023-11-01 16:00:14
95阅读
NLP算法面试必备！史上最全！PTMs：NLP预训练模型的全面总结预训练模型(Pre-trained Models,PTMs)的出现将NLP带入了一个全新时代。2020年3月18日，邱锡鹏老师发表了关于NLP预训练模型的综述《Pre-trained Models for Natural Language Processing: A Survey》[1]，这是一篇全面的综述，系统地对PTMs进行了归
转载
2023-07-24 16:26:29
177阅读
