GBDTGBDT(Gradient Boosting Decision Tree)，全名叫梯度提升决策树，使用的是Boosting的思想。Boosting思想Boosting方法训练基分类器时采用串行的方式，各个基分类器之间有依赖。它的基本思路是将基分类器层层叠加，每一层在训练的时候，对前一层基分类器分错的样本，给予更高的权重。测试时，根据各层分类器的结果的加权得到最终结果。Bagging与Boo
转载
2024-08-12 15:06:58
25阅读
GBDT主要由三个概念组成：Regression Decistion Tree（即DT)，Gradient Boosting（即GB)，Shrinkage (算法的一个重要演进分枝，目前大部分源码都按该版本实现）。搞定这三个概念后就能明白GBDT是如何工作的，要继续理解它如何用于搜索排序则需要额外理解RankNet概念，之后便功德圆满。下文将逐个碎片介绍，最
1.单向RNN结构上述公式中，权重矩阵U、V、W共享2.双向RNN(Bidirection-RNN)结构双向RNN的最终输出和中间隐藏状态的计算公式如下，正向计算与反向计算不共享权重:3.LSTM(长短时记忆网络)普通的RNN网络中只有S_t = f(Ux_t+WS_t-1)，这种结构无法捕捉到长文本中远距离相关的特征，同时隐藏层的状态对短期的输入非常敏感，也会产生梯度爆炸或梯...
原创
2021-07-30 10:33:18
2003阅读
目录概述Bi-LSTMpytorch实现中的关键代码部分总结参考概述文本分类任务中，CNN可以用来提取句子中类似N-Gram的关键信息，适合短句子文本。尽管TextCNN能够在很多任务里面能有不错的表现，但CNN有个最大问题是固定filter_size的视野，一方面无法建模更长的序列信息，另一方面filter_size的超参调节也很繁琐。CNN本质是做文本的特征表达工作，而自然语言处理中更常用的是
转载
2023-10-12 12:25:16
128阅读
文章目录原理介绍实战 原理介绍这里就简单介绍几句原理，因为讲的细的blog超级多。（一共三个模块，这篇只是数据处理模块） 传统的CNN用来处理图像数据，通过卷积提取特征，方便处理。文本和图像的区别在于文本的特征相对较少，所以可以采用一维卷积进行特征提取。 步骤如下： （一）文本拉伸成一个图片（矩阵）：词嵌入，可以采用w2v （二）卷积层：对矩阵进行卷积 （三）池化层：Max Pooling 使卷
转载
2024-05-03 14:37:21
76阅读
我们知道在卷积神经网络不仅用于图像处理领域，在NLP领域也会有很好的使用效果，其中TextCNN是卷积神经网络在文本处理方面的一个知名的模型。在TextCNN模型中通过卷积技术实现对文本的分类功能。目前文本分类在工业界的应用场景非常普遍，从新闻的分类、商品评论信息的情感分类到微博信息打标签辅助推荐系统，都用到了这种技术。下面我们主要了解这个模型的实战以及注意点。目录一、卷积神经网络1.1、一维卷积
转载
2024-04-16 10:07:10
230阅读
论文：AEDA：AnEasier Data Augmentation Technique for Text Classification来源于EMNLP 2021 为了让模型由更好的泛化能力，一般需要更多的更加全面的数据集，但是数据的收集和标注是很费事费力的，所以这个时候数据增强技术就很重要。在NLP领域，EDA（Easy Data Augmentation Techniqu
Gradient Boost的算法流程 备注：这里表示损失函数，表示样本在相对于决策面（后续分析回归问题和分类问题）的得分。About Logistic 对于二分类任务而言，常常采用Log-loss：  
转载
2024-05-06 15:13:36
54阅读
在之前介绍的“卷积神经网络”中我们探究了如何使用二维卷积神经网络来处理二维图像数据。在语言模型和文本分类任务中，我们将文本数据看作是只有一个维度的时间序列，并很自然地使用循环神经网络来表征这样的数据。其实，我们也可以将文本当作一维图像，从而可以用一维卷积神经网络来捕捉临近词之间的关联。本文将介绍将卷积神经网络应用到文本分析的开创性工作之一：textCNN 。 目录1. 一维卷积层2. 时序最大池化
转载
2024-04-07 21:21:55
352阅读
最近使用 BERT 做文本二分类，为了 finetune 出高准确度的模型趋于崩溃。我的数据特点是文本较短、包含网络用语、句子结构不完整、混杂缩写和错别字，和中文 BERT 预训练使用的 wiki 语料实在是差得太远了。因此，我一方面扩充数据，一方面调研领域适配的方案。这期间读到了邱锡鹏老师在 NIPS-2020 的一篇 workshop，专门介绍 BERT 用于中文文本分类的各种
转载
2024-01-24 15:42:39
111阅读
文章目录一、简介二、N-grams和基于N-grams的相似性度量三、使用N-gram频次统计的文本分类 一、简介文本分类要能兼容语法，拼写，OCR输入字符错误的问题。而基于N-gram的文本分类系统能很好的处理各种各样的问题。该系统需要计算和对比N-gram频次分布文件。首先从各种类别的训练集中得到每个类别的N-gram频次分布文件c1,c2,c3,cn；其次，计算给定文本的N-grams频次
转载
2024-03-15 10:51:34
229阅读
因为工作和个人信仰的关系，我一直比较关注文本表示的进展。召回是很多NLP系统中必备的一步，而向量化的召回比纯基于文字的离散召回效果更好更合理。同时文本表示还可以做很多事情，比如聚类、分类，不过更多地还是用在文本匹配上。2015年到18年间有很多优秀的文本表示模型，祭出宝图： 但基于交互的匹配模型明显优于单纯的表示，再加上BERT出来，就很少有人再去研究了，2019年只有一个Sentence-B
转载
2024-05-24 08:23:23
120阅读
GBDT涉及到模型融合，模型融合分为三类，Bagging、Boosting和Stacking。Gradient Boost是一个框架，里面可以套入很多不同的算法。GBDT就是其中的一个子类，以决策树作为弱分类器。GBDT可以用来做分类，也可以用来做回归。Boosting：Boosting是一个前向分布算法，在每一步求解弱分类器和它的参数后，不去修改之前已经求好的分类器和参数。决策树：决策树分为ID
转载
2024-03-16 08:09:44
31阅读
我们知道，tfidf和embedding都是将文本表示成包含文本信息的高维向量的方法。tfidf关注的是单词在文档中的频率，最终计算出的向量包含的信息是一种单词出现频率的tradeoff。而embedding则关注的是单词的语义。两者包含的信息不同，因此将两者结合起来表示文本是对文本信息的丰富和扩充。但是在实际操作中，两者的结合不是简单的concatenate这个简单就可以的。因为两者计算结果的维
转载
2024-01-21 05:26:02
137阅读
1 设计题目文本分类的算法研究与实现2 课题背景及研究现状2.1 课题背景近年来，随着Internet的迅猛发展，网络信息和数据信息不断扩展，如何有效利用这一丰富的数据信息，己成为广大信息技术工作者所关注的焦点之一。为了快速、准确的从大量的数据信息中找出用户所需要的信息，文本信息的自动分析也成为了当前的迫切需求。对文本信息的分析中的一个主要技术就是文本分类。文本分类问题是自然语言处理的一
转载
2024-01-16 18:49:49
125阅读
一个完整的文本分类器主要由两个阶段，：一是将文本向量化，将一个字符串转化成向量形式；二是将向量喂到分类器，包括SVM, CNN，LSTM等等。这边做的项目其实阶段用的是 tf-idf 来进行文本向量化，使用卡方校验(chi-square)来降低向量维度，使用liblinear(采用线性核的svm) 来进行分类。而这里所述的文本分类器，使用lsi (latent semantic analysis,
转载
2024-07-24 10:10:42
145阅读
什么是文本分类文本分类任务是NLP十分常见的任务大类，他的输入一般是文本信息，输出则是预测得到的分类标签。主要的文本分类任务有主题分类、情感分析 、作品归属、真伪检测等，很多问题其实通过转化后也能用分类的方法去做。常规步骤选择一个感兴趣的任务收集合适的数据集做好标注特征选择选择一个机器学习方法利用验证集调参可以多尝试几种算法和参数训练final模型Evaluate测试集机器学习算法这里简单介绍几个
转载
2024-05-08 11:45:48
102阅读
大数据分析笔记 - 文本分析总览文本分析步骤挑战第一步：收集原始文本数据(Collecting Raw Text)第二步：表示文本 (Representing Text)第三步：词频-逆文档频率(TFIDF - Term Frequency - Inverse Document Frequency)词频 (Term Frequency)Term Frequency 问题词语的文档频率 (Docu
转载
2023-12-08 13:56:59
46阅读
文本情感分类 文本分类是自然语言处理的一个常见任务，它把一段不定长的文本序列变换为文本的类别。本节关注它的一个子问题：使用文本情感分类来分析文本作者的情绪。这个问题也叫情感分析，并有着广泛的应用。 同搜索近义词和类比词一样，文本分类也属于词嵌入的下游应用。在本节中，我们将应用预训练的词向量和含多个隐
原创
2021-08-06 09:52:54
827阅读
文本分类（情感分析）中文数据集汇总这段时间在公司NLP组里实习，相应的开始学习了一些NLP的知识，并搜索了一些关于NLP中文本分类领域的相关数据集，本文主要列举一些中文数据集。关于英语数据集，且听下回分解。1.THUCNews数据集：THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成，包含74万篇新闻文档（2.19 GB），均为UTF-8纯文本格式。我们在原始
转载
2023-11-05 08:13:04
20阅读
