目录收起T5基本原理及实现细节relative position biaslayer normalization的改动参数初始化以及dense layer中的bias去除T5.1.1优化了哪些内容GEGLU替换ReluT5-PEGASUS基本原理及tf-serving部署tf-serving部署keras-model转tf-serving-pb格式使用tf-serving部署T5-Pegasus的
中文分词简介在汉语中，词是以字为单位的，但是一篇文章的语义表达却仍然是以词来作为划分的。因此，在处理中文文本时，需要进行分词处理，将句子转化成为词的表示。这个切片过程就是中文分词，通过计算机自动识别出句子的词。规则分词通过构建字典，在切分语句时，将语句中的每个字符串与字典中的词逐一比较，找到则切分，找不到则不切分。正向最大匹配法假定分词字典中的最长词有i个汉字字符，则用被处理文档的当前字串中的前
转载
2023-10-01 10:00:35
122阅读
本文作为笔者NLP入门系列文章第一篇，以后我们就要步入NLP时代。 本文将会介绍NLP中常见的词袋模型（Bag of Words）以及如何利用词袋模型来计算句子间的相似度（余弦相似度，cosine similarity）。 首先，让我们来看一下，什么是词袋模型。我们以下面两个简单句子为例：sent1 = "I love sky, I love sea."
sent2 = "I like
转载
2024-07-18 09:48:01
80阅读
# 学习NLP技术关键词提取的完整指南
在现代自然语言处理（NLP）中，关键词提取是一个重要的任务，它能够帮助我们从大量文本信息中快速提取出最重要的信息。对于刚入行的小白，我将一步一步地带你实现关键词提取的流程，并提供相应的代码示例和详细注释。
## 流程概述
实现关键词提取的整体流程可以分为以下几个步骤：
| 步骤 | 描述 |
|-
1. 词向量技术词向量（word2vec）是一种表示自然语言中单词的方法，即把每个词都表示为一个N维空间内的点，即一个高维空间内的向量，通过这种方法，把自然语言计算转换为向量计算。词向量的基本内容包括：问题引入基于统计方法的词向量基于语言模型的词向量2 问题引入2.1 向量空间分布的相似性在计算机中表示词语时，当词语转换为向量之后，应保持词语之间在空间中具有相似性。2.2 向量空间子结构和目标词语
转载
2024-01-02 10:13:09
155阅读
今天给大家讲一个百度下拉词该怎么做。，这里有一些核心机密的东西，我们把它分析开来，其实也很简单，没有那么复杂。嗯，首先我们去打开一下百度。然后这里我们去打开一个web下的一个百度。因为由于web下可能现在还是比较简单一点的。 我们直接搜手机蛙吧，然后我们会得到这样的一个网址，这是我们的第一轮链接。并能链接，我们会涉及到把这个。这个拿到了一个链接进行一个转码。知道吗？我们可
转载
2024-01-08 16:40:49
121阅读
# 多义词的NLP分析指南
自然语言处理（NLP）中，多义词的分析是一个重要且具有挑战性的任务。多义词是指一个单词在不同上下文中有多种意思。了解如何进行多义词分析将帮助你更好的理解自然语言。接下来，我们将通过一个简单的流程来描述如何实现“nlp 多义词 使用分析”。
## 步骤流程
首先，我们将整个过程分为几个步骤，下面的表格概述了这些步骤：
| 步骤 | 描述
作者：习翔宇在自然语言处理中，从分析技术上可以分为下面三种词法分析 lexical analysis句法分析 syntactic parsing语义分析 semantic parsing其中语义分析是指将自然语言句子转化为反映这个句子语义的形式化表达。例如我吃了一块肉一块肉被我吃了在语义上都表示为吃(我，肉）的意思，但句子结构却有不同。句子的语义分析是对句子处理技术更高一级的要求，在信息检索、信息
转载
2023-10-30 17:28:37
235阅读
赖可量子位 报道 | 骗过AI如此简单。换了一个同义词，自然语言处理模型就读不对句子的意思了。麻省理工和大学的研究生们开发了一个算法，让AI在文本分类和推理问题上的正确率从80%下降到10%。测试原理这个模型的名字叫Textfooler，通过生经过微调的句子，来对自然语言文本分类和推理进行。比如在著名的分类任务影评判断中，AI的任务是去判断一句影评是肯定性的还是否定性的。像这句：The c
转载
2024-05-13 14:28:00
10阅读
1，corpus 语料库a computer-readable collection of text or speech 2，utterance发音比如下面一句话：I do uh main-uh 是 fillers，填充词（Words like uh and um are called fillers or filled pauses ）。The broken-off word
转载
2023-12-27 09:43:57
55阅读
NLP- 关键词提取 - 综述一、关键词提取有以下几种方式二、TF-IDF三、TextRank四、LDA五、word2vec 一、关键词提取有以下几种方式二、TF-IDFTF-IDF算法，主要是通过统计方法，评估词对文档的重要性。一个基本思想是，一个词在文档中出现的次数越多，显然这个词会相对更具代表性，但是如果这个词在很多的文档中都有出现，那么他出现次数再多也不具备文档区分能力。所以他的另一个基
转载
2023-07-08 11:37:39
152阅读
自然语言处理3——语言学资源 文章目录自然语言处理3——语言学资源词汇资源库语料库 NLP需要大规模语言数据用于模型参数训练及评测；且NLP中知识库包括：词汇语义库、词法、句法规则库、常识库等。 词汇资源库人读词典：格式不规范，数据完整性和一致性不好，非结构化机读词典：按信息类型分类：语法词典、语义词典、双语词典等按领域分类：通用词典、专业词典、专名词典（为解决某一类任务所有的名字、地名等构成的
转载
2023-11-24 09:30:23
138阅读
感谢：://jiqizhixin/articles/2018-07-25-5 一、 NLP 概述 1.文本挖掘任务类型的划分文本挖掘任务大致分为四个类型：类别到序列、序列到类别、同步的（每个输入位置都要产生输出）序列到序列、异步的序列到序列。同步的序列到序列的例子包括中文分词，命名实体识别和词性标注。异步的序列到序
转载
2023-05-27 10:43:13
245阅读
doc2vec基本原理A distributed memory model训练句向量的方法和词向量的方法非常类似。训练词向量的核心思想就是说可以根据每个单词的上下文预测，也就是说上下文的单词对是有影响的。那么同理，可以用同样的方法训练doc2vec。例如对于一个句子i want to drink water，如果要去预测句子中的单词want，那么不仅可以根据其他单词生成feature， 也可以根据
转载
2024-01-11 21:51:00
94阅读
在nlp的数据预处理中，我们通常需要根据原始数据集做出如题目所示的三种结构。但是新手（我自己）常常会感到混乱，因此特意整理一下1.词库词库是最先需要处理出的数据形式，即将原数据集按空格分词或者使用分词的包如jieba等，将原始文章分割成一个个词语所表示的list，一般是一维或者二维的，二维词库往往是以行为第一维。
比如下面我们对ptb数据集进行处理产生对应的词库with open('ptb/ptb
转载
2023-07-31 17:06:06
73阅读
前言文本匹配一直是自然语言处理（NLP）领域一个基础且重要的方向，一般研究两段文本之间的关系。文本相似度计算、自然语言推理、问答系统、信息检索等，都可以看作针对不同数据和场景的文本匹配应用。比如信息检索可以归结为搜索词和文档资源的匹配，问答系统可以归结为问题和候选答案的匹配，复述问题可以归结为两个同义句的匹配，这些自然语言处理任务在很大程度上都可以抽象成文本匹配问题。而文本匹配整体流程基本上都可以
转载
2023-08-23 20:45:58
883阅读
1.什么是词向量 在自然语言处理中，面临的首要问题是如何让模型认识我们的文本信息，比如向模型中输入‘我爱北京天安门’，那模型是如何认识文本的？词，是自然语言处理中基本单位，将数据输入到模型中，尽可能的让模型明白其中的含义，那就面临一个问题：如何表示一个词？ &
转载
2023-10-15 10:23:33
234阅读
文章目录NO.1、文本关键词提取算法基于统计特征的关键词提取算法1、基于词`权重`的特征量化2、基于词的`文档位置`的特征量化3、基于词的`关联信息`的特征量化NO.2、文本关键词提取算法基于词图模型的关键词抽取算法1、综合特征法2、系统科学法3、随机游走法NO.3、文本关键词提取算法基于主题模型的关键词抽取NO.4、文本关键词提取算法阶段说明 有监督的文本关键词提取算法需要高昂的人工成本，因此
转载
2024-04-07 19:01:39
67阅读
网站关键词的设置已经成为了关键，对于网站来说，对于关键词的选择已经成为了关键。面对这几十个甚至可能上百个关键词，要选出两三个作为网站核心关键词，通常有几种情况和策略。 对于中小企业网站，个人网站及有志于电子商务的新站来说，核心关键词最好是效能最高的价格关键词，也就是搜索次数相对比较多，竞争指数相对比较小的几个，这样既能保障了足够的搜索量及优化成功后带来的流量又兼顾可行性，新
学习目标目标 了解词嵌入的优势 掌握词嵌入的训练gensim库的使用
原创
2022-05-09 15:47:12
220阅读
