一.背景之前在github上看到https://github.com/liuhuanyong/TextGrapher利用pyltp对文章进行分析并图示。所以这两天打算利用java，hanlp进行文章分析并图示，项目在https://github.com/jiangnanboy/text_grapher中。二.简介这里提取文章的关键信息，包括关键词、高频词、实体(地名，人名，机构名)以及依存句法分析
转载
2023-06-27 22:18:40
79阅读
1.基于规则，对于要提取的分类维护一个dict,在dict里面保存需要提取的关键词，存在关键词的对应标记为分类；（缺点，不断的去维护词典） 2.基于机器学习：HMM(分词最常用的)，CRF,SVM,LDA,CNN 3.词袋模型：bag of word :(one hot)一种是统计词频和位置，一种是只存储是否出现；（缺点很明显，只有词出现信息，对于词的重要度完全没有体现） 4.tf-idf：先考虑
转载
2023-11-25 00:04:38
110阅读
如何把词转换为向量给定任何一个或者一组单词，我们都可以通过查询这个excel，实现把单词转换为向量的目的，这个查询和替换过程称之为Embedding Lookup。在实际场景中，我们需要把Embedding Lookup的过程转换为张量计算 如何让向量具有语义信息事实上，在自然语言处理领域，使用上下文描述一个词语或者元素的语义是一个常见且有效的做法。我们可以使用同样的方式训练词向量，让这
1.变量 1.1变量的使用变量声明 int money；变量的赋值 money=80；变量的使用 System.out.println("我有"+money+"元"); 简写： &
转载
2024-10-18 18:42:22
23阅读
一、简介fastText 是 Facebook 于2016年开源的一个词向量训练与文本分类工具，其典型应用场景是“无监督的
转载
2022-07-29 09:08:38
704阅读
2021-4月Python 机器学习——中文新闻文本标题分类(简单容易版)试题说明 任务描述 基于THUCNews数据集的文本分类， THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成，包含74万篇新闻文档，参赛者需要根据新闻标题的内容用算法来判断该新闻属于哪一类别数据说明 THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生
转载
2023-10-20 22:19:25
12阅读
词向量词向量大白话解释：就是一个神经网络。针对一段文本，输入前面几个单词和后面几个单词。输出当前这个单词。然后用神经网络中间层的权重系数来表示输出的这个Y单词。 或者是输入当前这个词，输出它的上下文，我们取出中间层向量即词向量。 词向量是表示文本的一种方式，词汇表中的每个单词由高维空间的实值向量表示。具有相似含义的单词在向量空间中具有相似的表达能力（在向量空间中接近）。 有很多封装好的模块可以帮我
转载
2024-04-15 18:37:57
54阅读
词嵌入要解决什么问题在自然语言系统中，词被看作最为基本的单元，如何将词进行向量化表示是一个很基本的问题，词嵌入（word embedding）就是把词映射为低维实数域向量的技术。下面先介绍几种词的离散表示技术，然后总结其缺点，最后介绍词的分布式表示及其代表技术（word2vec）。词的离散表示One-hot表示根据语料构造一个大小为V的词汇表，并为每一个词分配一个id。每个词都可以表示为一个V维向
转载
2024-03-29 22:29:33
41阅读
Ox00: Motivation最近在研究Yoon Kim的一篇经典之作Convolutional Neural Networks for Sentence Classification，这篇文章可以说是cnn模型用于文本分类的开山之作（其实第一个用的不是他，但是Kim提出了几个variants，并有详细的调参）wildml对这篇paper有一个tensorflow的实现，具体参见here。其实b
转载
2024-08-08 22:02:23
49阅读
前叙利用下面的代码你将可以将任意中文文本生成词云,其分词部分由jieba,NLPIR2016两个部分组成,生成词语由worldcloud负责,默认会自动发现文本中的20个新词并添加到词库中,当然你也可以手动添加或者通过txt添加用户词库.code中已经有十分详细的设置说明与代码解释,如果你想进一步学习其详细内容,你可以参考我在第二部分提供的博客列表想要进一步学习使用的参考博客列表Python词云
转载
2023-08-24 09:13:42
45阅读
1、数据简介本文使用的数据集是著名的”20 Newsgroup dataset”。该数据集共有20种新闻文本数据，我们将实现对该数据集的文本分类任务。数据集的说明和下载请参考（http://www.cs.cmu.edu/afs/cs.cmu.edu/project/theo-20/www/data/news20.html）。本文使用GloVe词向量。GloVe 是 “Global Vectors
转载
2024-04-18 09:50:55
99阅读
1.什么是文本分类在定义文本分类之前，需要理解文本数据的范围，以及分类的真实含义。这里的文本数据可以是短语、句子或者包含文本段落的整篇文档等任何形式，这些数据可以从语料库、博客或互联网的任何地方获得。文本分类也经常成为文档分类，文档这个词概括了任何形式的文本内容。文档这个词可以定义为思想或事件的一些具体的表示，这些标识可以是书面、语言记录、会话或演讲等形式。这里，使用文档这个词来表示文本数据，例如
转载
2023-06-05 19:46:14
343阅读
一、认识fasttext工具作为NLP工程领域常用的工具包, fasttext有两大作用:进行文本分类训练词向量fasttext工具包的优势:正如它的名字, 在保持较高精度的情况下, 快速的进行训练和预测是fasttext的最大优势.fasttext优势的原因:fasttext工具包中内含的fasttext模型具有十分简单的网络结构.使用fasttext模型训练词向量时使用层次softmax结构,
原创
2023-01-25 07:59:44
1028阅读
简介线性支持向量机,并使用线性支持向量机实现文本分类, 输入文本通过词嵌入方法转换成浮点张量,给出torch案例线性支持向量机（Linear Support Vector Machine，简称Linear SVM）是一种常用的分类算法，它通过一个超平面来将数据分成两类。对于线性可分的数据集，线性SVM能够找到一个最优的超平面，使得距离最近的数据点到这个超平面的距离最大化，从而使得分类边界更加稳定。在文本分类任务中，我们可以使用线性SVM来将文本分成两类，比如正面和负面。
原创
2023-04-19 17:21:56
142阅读
基于机器学习的文本分类在对文本进行特征化的时候，最常见的是词袋模型。1. 词袋模型词袋模型(Bag of Words，简称BoW),即将所有词语装进一个袋子里，每个词语都是独立的，把每一个单词都进行统计，同时计算每个单词出现的次数。也就是说，词袋模型不考虑文本中词与词之间的上下文关系，仅仅考虑所有词的权重，而权重与词在文本中出现的频率有关。
一般来说，词袋模型首先会进行分词，在分词之后
转载
2023-11-25 20:38:11
143阅读
整体背景本文实现了在colab环境下基于tf-nightly-gpu的BERT中文多分类，如果你在现阶段有实现类似的功能的需求，相信这篇文章会给你带来一些帮助。准备工作1.环境：硬件环境：直接使用谷歌提供的免费训练环境colab，选择GPU软件环境：tensorflow：tensorflow2.1.0版本对BERT的支持有些问题，现象是可以训练但预测时无法正常加载模型（稍后代码里会详述），因此改为
转载
2023-07-07 11:11:25
171阅读
文本分类1.文本分类简介文本分类问题：将文本按照题材、主题、适用场景等进行分类，并自动生成对应主题和类型标签等，例如新闻文本分类可以将文本分为：时政、国际、财经、金融、港澳、体育、文化等。文本分类应用：文本分类任务大致有政务公文分类、情感分类、新闻分类、垃圾邮件检测、用户意图分类等。文本分类方向：主要有二分类，多标签分类。2. 文本分类算法原理文本分类流程：1.输入文本预处理，2.文本表示及特征提
转载
2023-09-04 18:18:25
245阅读
LDA（Latent Dirichlet Allocation）是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布，主题到词服从多项式分布。
转载
2023-07-02 13:41:12
183阅读
# 文本分类 Java
## 介绍
文本分类是自然语言处理中的一项重要任务，它可以将文本划分到预定义的类别中。在大数据时代，我们面临着大量的文本数据，如何高效地对文本进行分类成为了一个挑战。Java是一门非常流行的编程语言，有着广泛的应用领域。本文将介绍在Java中进行文本分类的方法和实现。
## 文本分类方法
在进行文本分类之前，我们需要先定义好分类的类别。一般来说，文本分类可以分为两个
原创
2023-08-08 08:34:55
168阅读
Bert是去年google发布的新模型，打破了11项纪录，关于模型基础部分就不在这篇文章里多说了。这次想和大家一起读的是huggingface的pytorch-pretrained-BERT代码examples里的文本分类任务run_classifier。关于源代码可以在huggingface的github中找到。 huggingface/pytorch-pretrained-
转载
2023-11-10 11:17:38
107阅读
