本文章对文本生成领域一些常见的模型进行了梳理和介绍。Seq2Seq 是一个经典的文本生成框架，其中的Encoder-Decoder思想贯彻文本生成领域的整个过程。Pointer-Generator Networks是一个生成式文本摘要的模型，其采用的两种经典方法对于其他文本生成领域也有很重要的借鉴价值。SeqGAN模型将强化学习和GAN网络引入到文本生成的过程
转载
2024-05-05 19:42:31
103阅读
1 大纲概述 文本分类这个系列将会有十篇左右，包括基于word2vec预训练的文本分类，与及基于最新的预训练模型（ELMo，BERT等）的文本分类。总共有以下系列： word2vec预训练词向量 textCNN 模型 charCNN 模型 Bi-LSTM 模型 Bi-LSTM + Attention 模型 RCNN 模型 Adversarial LSTM 模型 Transform
转载
2024-03-07 21:36:07
67阅读
文本摘要的常见问题和解决方法概述，以及使用Hugging Face Transformers库构建基于新浪微博数据集的文本摘要示例。作 者丨程旭源 学习笔记1 前言简介文本摘要旨在将文本或文本集合转换为包含关键信息的简短文本。主流方法有两种类型，抽取式和生成式。常见问题：抽取式摘要的内容选择错误、语句连贯性差、灵活性差。生成式摘要受未登录词、词语重复等问题影响。 文本摘要的分类有很多，比如单文档多
转载
2024-07-26 01:40:25
121阅读
什么是文本分类一个文本分类问题就是将一篇文档归入预先定义的几个类别中的一个或几个。通俗点说，就是拿一篇文章，问计算机这文章要说的究竟是体育，经济还是教育。文本分类是一个监督学习的过程，常见的应用就是新闻分类，情感分析等等。其中涉及到机器学习，数据挖掘等领域的许多关键技术：分词，特征抽取，特征选择，降维，交叉验证，模型调参，模型评价等等，掌握了这个有助于加深对机器学习的的理解。这次我们用python
1.textCNN优势：短文本分类2.fast Text优点：训练速度快3.HAN(Hierarchical Attention Network)优点：对文档的分类双向的LSTM，可以获得丰富的词汇表示attention阶段：词在句子中的重要程度4.TextRNN 以双向lstm编码句子，获得句子的信息表征，将前向最后时刻和后向最后时刻拼接，乘以Fc之后，对tens
转载
2023-07-25 20:24:11
283阅读
自然语言处理领域中有很多的子任务，大类上一共分为四个板块，如下：1. 序列标注：分词/POS Tag/NER/语义标注
2. 分类任务：文本分类/情感计算
3. 句子关系判断：Entailment/QA/自然语言推理
4. 生成式任务：机器翻译/文本摘要 在我接触NLP相关的工作以来，任务1和任务2是比较常见的，后面两种则几乎没有
转载
2023-09-22 11:12:47
310阅读
文本分类是NLP的必备入门任务，在搜索、推荐、对话等场景中随处可见，并有情感分析、新闻分类、标签分类等成熟的研究分支和数据集。本文主要介绍深度学习文本分类的常用模型原理、优缺点以及技巧，是「NLP入门指南」的其中一章，之后会不断完善，欢迎提意见：https://github.com/leerumor/nlp_tutorialFasttext论文：https://arxiv.org/abs/1607
转载
2023-12-12 15:27:10
191阅读
之前几篇文章讲到了文档主题模型，但是毕竟我的首要任务还是做分类任务，而涉及主题模型的原因主要是用于text representation，因为考虑到Topic Model能够明显将文档向量降低维度，当然TopicModel可以做比这更多的事情，但是对于分类任务，我觉得这一点就差不多了。 LDA之前已经说到过，是一个比较完善的文档主题模型，这次试用的是JGibbsLDA开源的LDA代码做L
转载
2024-05-08 20:33:20
101阅读
文章目录FasttextTextCNNDPCNNTextRCNNTextBiLSTM+AttentionHAN技巧数据集构建长文本少样本鲁棒性 Fasttext论文：https://arxiv.org/abs/1607.01759
代码：https://github.com/facebookresearch/fastTextFasttext是Facebook推出的一个便捷的工具，包含文本分类和词
转载
2024-01-31 06:41:35
197阅读
注释Tip确保对模块, 函数, 方法和行内注释使用正确的风格文档字符串Python有一种独一无二的的注释方式: 使用文档字符串. 文档字符串是包, 模块, 类或函数里的第一个语句. 这些字符串可以通过对象的__doc__成员被自动提取, 并且被pydoc所用. (你可以在你的模块上运行pydoc试一把, 看看它长什么样). 我们对文档字符串的惯例是使用三重双引号”“”( PEP-257 ). 一个
转载
2023-10-11 09:08:59
77阅读
基于文法模型的中文纠错系统徐明 编译论文地址：http://www.anthology.aclweb.org/W/W14/W14-6827.pdf 相关开源项目：https://github.com/shibing624/pycorrector摘要本文介绍了我们的系统在SIGHAN-8 Bake-Off 中的中文拼写检查（Chinese spelling check，CSC）任务。给定一个句子，
转载
2024-01-26 09:44:17
105阅读
Ollama 文本嵌入模型作为一种先进的自然语言处理工具，可以帮助用户将文本转化为向量表示，从而进行更深层次的语义理解和相关性匹配。本文将详细记录解决“Ollama 文本嵌入模型”中遇到的各种问题，并为读者提供一系列系统化的调试和优化步骤。
### 背景定位
在商业应用中，文本嵌入模型的有效性直接影响到信息检索、推荐系统和自然语言理解的结果。2023年初，随着用户数量的增长和使用场景的多样化，
NLTKNLTK（Natural Language Toolkit），自然语言处理工具包，在NLP（自然语言处理）领域中，最常使用的一个Python库。自带语料库，词性分类库。自带分类，分词功能。 NLTK安装 安装：pip install NLTK 测试：import nltk Anaconda不用安装 安装语料库：import nltk
nltk.download()执行代码后，会出现
# 文本预测模型的实现指南
文本预测模型是自然语言处理中的一个重要应用，能根据输入的文本预测接下来的单词或短语。在此文章中，我将指导你如何实现一个简单的文本预测模型，具体流程如表格所示：
| 步骤 | 描述 |
|----------|----------------------------|
| 步骤 1 | 导入必要的库
原创
2024-09-29 05:48:37
59阅读
Brotli 是一种针对 Web 优化的新压缩算法，尤其是小型文本文档。Brotli 解压缩至少与 gzip 一样快，同时显着提高了压缩比。我们付出的代价是压缩比 gzip 慢得多。因此，Brotli 对于提供静态内容（如字体和 html 页面）最有效。Brotli是一种全新的数据格式，可以提供比Zopfli高20-26%的压缩比。据谷歌研究，Brotli压缩速度同zlib的Deflate实现大致
BERT是一个著名的、强大的预先训练的“编码器”模型。让我们看看如何使用它作为“解码器”来形成编码器-解码器架构。Transformer 架构由两个主要构建块组成——编码器和解码器——我们将它们堆叠在一起形成一个 seq2seq 模型。从头开始训练基于Transformer 的模型通常很困难，因为它需要大型数据集和高 GPU 内存。我们可以使用许多具有不同目标的预训练模型。首先，编码器模型（例如，
所有的模型均采用tensorflow进行了实现，欢迎start，[代码地址]https://github.com/terrifyzhao/text_matching简介本文是对论文BiMPM：BilateralMulti-PerspectiveMatchingforNaturalLanguageSentences的解读。该模型主要用于做文本匹配，即计算文本相似度。文本匹配是NLP领域较为常见的技术
转载
2023-09-15 21:52:42
416阅读
俗话说“庙小妖风大，水浅王八多”，作为一名自然语言处理的水货研究生，通常只是对论文有着一知半解的了解，然而因为毕竟人老了年纪大容易忘事，有时候还是想把这一知半解的想法用文字写出来，以便之后回顾，看官勿喷，水货要开始动笔了。 文本建模是自然语言处理领域中很基础的内容，而且也已经被研究了千万遍，这个系列我主要的思路是从LSA->pLSA->unigram model ->L
转载
2024-05-09 11:04:22
37阅读
6.1 参数化索引及域索引检索的时候，条件可以设置：标题中含？作者是？摘要中含？ 有条件要求情况下，怎么处理索引来支持检索？参数化索引。 一篇文档，可能含有：标题，摘要，作者，正文等各个部分。不同的部分看做不同的：域(任意自由文本) ，对不同的域建立域索引例子: william作者的作品，建立域索引； 支持查询"标题出现merchant,作者有william,正文中存在短语gentl rain"
转载
2024-06-28 19:31:42
79阅读
一、背景自从GPT-2的出现，预训练语言模型在许多文本生成任务上都取得了显著的效果。这些预训练语言模型大都采用自回归的方式从左到右依次生成单词，这一范式的主要局限在于文本生成的过程难以并行化，因此带来较大的生成延迟，这也限制了自回归模型在许多实时线上应用的广泛部署（例如搜索引擎的查询重写、在线聊天机器人等）。并且，由于训练过程与生成过程存在差异，自回归生成模型容易出现曝光偏差等问
转载
2024-04-09 19:08:14
88阅读
