目录一、原理二、实战sklearn中提供的文本处理方法1、导包 2、初始化词频向量/tf_idf的训练参数3、CountVectorizer训练及应用函数4、CountVectorizer使用5、TfidfTransformer训练及应用函数6、TfidfTransformer训练及应用函数三、划重点 &n
转载
2024-09-14 13:54:57
94阅读
六年的大学生涯结束了，目前在搜索推荐岗位上继续进阶，近期正好在做类目预测多标签分类的项目，因此把相关的模型记录总结一下，便于后续查阅总结
一、理论篇： 在我们的场景中，文本数据量比较大，因此直接采用深度学习模型来预测文本类目的多标签，而TextCNN向来以速度快，准确率高著称。
TextCNN的核心思想是抓取文本的局部特征：通过不同的卷积核尺寸(确切的说是卷积核高度)来提
转载
2023-10-10 21:07:04
202阅读
此文整理的基础是建立在hanlp较早版本的基础上的，虽然hanlp的最新1.7版本已经发布，但对于入门来说差别不大！分享一篇比较早的“旧文”给需要的朋友！安装HanLPHanLP将数据与程序分离，给予用户自定义的自由。 HanLP由三部分组成：HanLP = .jar + data + .properties ，请前往 项目主页 下载这三个部分。1、下载jar放入classpath并添
转载
2023-12-21 13:12:13
274阅读
[机器学习算法详解]EM算法—以词集文本分类问题为例一、问题介绍概率分布模型中，有时只含有可观测变量，如单硬币投掷模型，对于每个测试样例，硬币最终是正面还是反面是可以观测的。而有时还含有不可观测变量，如三硬币投掷模型。问题这样描述，首先投掷硬币A，如果是正面，则投掷硬币B，如果是反面，则投掷硬币C，最终只记录硬币B,C投掷的结果是正面还是反面，因此模型中硬币B,C的正反是可观测变量，而硬币A的正反
# HanLP文本分类训练指南
在进行文本分类之前，了解整个流程是非常重要的。本文将为刚入行的小白提供一个明确的步骤，同时详细说明每一步需要做什么，并附上代码示例和解释。
### 流程概述
下表简要概述了训练HanLP文本分类的主要步骤：
| 步骤 | 描述 |
|------|------|
| 1 | 数据准备 |
| 2 | 安装HanLP |
| 3 | 导入数据
# 基于HanLP的文本分类建模实战教程
随着自然语言处理（NLP）的发展，文本分类的任务变得越来越简单。本文将介绍如何使用HanLP进行文本分类建模。HanLP是一个强大的自然语言处理框架，提供了多种功能，包括分词、词性标注、命名实体识别等。我们将通过一系列步骤来实现文本分类模型，过程清晰且易于上手。
## 整体流程
在开始之前，我们来看一下整个处理流程：
| 步骤 | 描述
# 使用 HanLP 进行文本分类训练的详细指南
在自然语言处理（NLP）中，文本分类是一个非常重要的任务。HanLP 是一个强大的自然语言处理工具，它提供了便捷的文本分类功能。下面，我将为你详细讲解如何使用 HanLP 进行文本分类训练，包括整个流程和具体的代码实现。
## 整体流程
在进行文本分类训练时，可以将整个过程分为以下几个步骤：
| 步骤 | 描述
数据集介绍这个数据集是由清华大学根据新浪新闻RSS订阅频道2005-2011年间的历史数据筛选过滤生成的，数据集包含50000个样本的训练集，5000个样本的验证集，10000个样本的测试集，词汇表5000个字/词，文本内容一共包含十个分类，包括：‘体育’, ‘财经’, ‘房产’, ‘家居’, ‘教育’, ‘科技’, ’ 时尚’, ‘时政’, ‘游戏’, ‘娱乐’数据集我也把它上传了，不需要积分和
转载
2024-02-27 09:38:59
35阅读
文本是不定长度的，文本表示成计算的能够运算的数字或向量的方法称为词嵌入（Word Embedding）。词嵌入是将不定长的文本转换成定长的空间中。为了解决将原始文本转成固定长度的特征向量问题，scikit-learn提供了以下方法：令牌化（tokenizing）：对每个可能的词令牌分成字符串并赋予整数形的id，通过空格和标点符号作为令牌分隔符。统计（counting）每个词令牌在文档中的出现次数。
转载
2024-07-04 21:02:04
117阅读
文章目录基于深度学习的文本分类一、文本表示方法 Part21.现有文本表示方法的缺陷2.FastText二、基于FastText的文本分类三、如何使用验证集调参四、本章小结五、本章作业六、后记 基于深度学习的文本分类与传统机器学习不同，深度学习既提供特征提取功能，也可以完成分类的功能。从本章开始我们将学习如何使用深度学习来完成文本表示。一、文本表示方法 Part21.现有文本表示方法的缺陷在上一
转载
2024-06-12 16:13:33
58阅读
目录代码分解utilstrain_evalmodels.TextCNNmain在GPU下的运行结果代码分解代码包括四个部分，分别是：工具类：utils训练及测试代码：train_eval模型：models.TextCNN主函数：main在notebook中依次运行前三个部分，最后执行main就可以开始训练了colab链接：https://colab.research.google.com/driv
转载
2023-12-26 12:46:21
187阅读
对于实际的文本分类需求，没有标注数据是一件很常见的事情。针对这种情况，有一个最朴素的思路可以做：首先，根据对应的标签名称，使用W2C找到对应的相近词通过相近词，对文本数据做关键词命中，进而映射到对应的类别使用上述的标注数据训练文本分类模型使用3步骤的文本分类模型对新数据预测，获得置信度高的文本，之后做半监督。上面这个思路，非常的简陋，最终的结果也不会很好。实际工作中，需要有大量的规则去补充。今天分
1.基于规则，对于要提取的分类维护一个dict,在dict里面保存需要提取的关键词，存在关键词的对应标记为分类；（缺点，不断的去维护词典） 2.基于机器学习：HMM(分词最常用的)，CRF,SVM,LDA,CNN 3.词袋模型：bag of word :(one hot)一种是统计词频和位置，一种是只存储是否出现；（缺点很明显，只有词出现信息，对于词的重要度完全没有体现） 4.tf-idf：先考虑
转载
2023-11-25 00:04:38
110阅读
目录概述模型架构pytorch实现小结参考概述我们前面介绍的文本分类算法，都是句子级别的分类，用到长文本、篇章级，虽然也是可以的，但速度精度都会下降，于是有研究者提出了层次注意力分类框架，即模型Hierarchical Attention，见论文Hierarchical Attention Networks for Document Classification。这篇论文表示，对文档/较长文本进行
转载
2023-08-15 16:38:00
179阅读
HAN(层叠注意力)神经网络文本分类原理讲解HAN出处：论文Hierarchical Attention Networks for Document Classification可以参见讲解文献阅读笔记：Hierarchical Attention Networks for Document Classification这篇论文表示，对文档/较长文本进行分类的时候，仅仅对word粒度进行Atten
转载
2024-03-14 12:07:14
40阅读
文本聚类文本聚类简单点的来说就是将文本视作一个样本，在其上面进行聚类操作。但是与我们机器学习中常用的聚类操作不同之处在于。我们的聚类对象不是直接的文本本身，而是文本提取出来的特征。因此如何提取特征因而是非常重要的一步。在HanLP中一共有三个文本聚类方法。前两种都基于词袋模式，第一个是最常见的聚类算法：k-means，但HanLP不光实现了k-means，还实现了速度更快效果更好的repeated
转载
2023-11-27 10:48:39
103阅读
以下资源来自国内外选手分享的资源与方案，非常感谢他们的无私分享比赛简介一年一度的jigsaw有毒评论比赛开赛了，这次比赛与前两次举办的比赛不同，以往比赛都是英文训练集和测试集，但是这次的比赛确是训练集是前两次比赛的训练集的一个组合，验证集则是三种语言分别是es(西班牙语)、it(意大利语)、tr(土耳其语)，测试集语言则是六种语言分别是es(西班牙语)、it(意大利语...
原创
2023-05-17 17:16:24
234阅读
背景说起文本分类，也算是一个老掉牙的话题，之前大家都喜欢琢磨模型。最近从工业界的视角看一下文本分类，看一些从0到1做一些和文本分类项目，可能大家都会踩过的坑，以及经验教训，都是一些比较有意思的问题，主要从问题拆解与数据，算法选型与推荐，细节策略与实现补充。目录一、问题拆解和数据Q1 构建文本分类标签体系有哪些坑？Q2 初期监督数据不够怎么办？Q3 如何高效的积累标注数据？Q4 如何发现新的类别？扩
背景在对文本进行处理分析时，大家第一印象就是对句子进行分词，统计词频，看哪些词语出现的词频较高，重点关注这些高频词即可，文章可能就是围绕着这些词展开的。中文的分词工具，大家耳熟能详的可能就是结巴分词，但是结巴分词最近也没有怎么更新，随着技术的不断迭代有一些更优秀的分词工具诞生，比如：LAC(百度)、THULAC(清华大学)、LTP(哈工大)、FoolNLTK等这里主要介绍一下百度的LAC，现在已更
转载
2024-01-13 07:52:55
116阅读
在感谢复旦语料库整理人员辛勤劳动的同时，也要指出其工作上的瑕疵。采用了gbk编码而不是UTF-8，这导致大多Linux用户不能直接使用。语料库包含训练集和测试集，分别包含9000多个文档，却分别有近1500个文档是重复的。训练集和测试集中的C35-Law中的部分文件是已经经过分词处理了的（分词结果很差），且部分又不是采用的GBK编码（这给编码转换工作带来麻烦）。有些文章只有文章头部，而没有实际的内
