朴素贝叶斯朴素贝叶斯算法是基于 贝叶斯原理 与 特征条件 独立假设的分类算法，对于给定的训练数据集，首先基于 特征条件 独立假设学习输入/输出的 联合概率分布 ，然后基于此模型，对给定的输入x，利用 贝叶斯定理 求出 后验概率最大 的输出y，朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常见的方法。 朴素贝叶斯(naive Bayes)算法是有监督的学习算法，解决的是分类问题，如客户是否流失
转载
2024-07-08 10:17:38
35阅读
主要是从算法层面来介绍LDA的由来或者说发展 文本挖掘的研究对象是文本，比如对文本进行分类或者情感分析等。由于文本是一种非结构化的数据，这样就不利于计算机的处理，所以研究者们开始对文本进行数字化处理。(1)没有缩短文档表示的长度;(2)也没有充分利用文档内部或者文档之间的统计结构。利用tf-idf方法进行文档相似性判断的思想基础是：认为文档之间重复的词语越多越相似。虽然这个假设对于一部分文档是适
转载
2024-03-27 06:36:30
165阅读
一、简介文本信息可以说是迄今为止最主要的一种信息交换手段，而作为文本处理中的一个重要领域——字符串匹配，就是我们今天要说的话题。（原文还特意提及文本数据数量每18个月翻一番，以此论证算法必须要是高效的。不过我注意到摩尔定律也是18个月翻番，这正说明数据的增长是紧紧跟随处理速度的，因此越是使用高效的算法，将来待处理的数据就会越多。这也提示屏幕前的各位，代码不要写得太快了……） 字符串匹配指
转载
2024-04-14 11:40:54
50阅读
Bert只能处理长度小于512的序列，算上一些[CLS]，[SEP]，实际的长度要小于512。因此对于超长文本来说，Bert的效果可能一般，尤其是那些更加依赖于文档中后部分内容的下游任务。因此本文尝试使用transformers的XLNet提升超长文本多标签分类的效果。关于XLNet的介绍略。预训练模型下载与加载在官网搜索自己想要的模型并下载对应pytorch版本的文件： 使用的时候可以参照官方文
Lucene 实现全文检索前言：本文是衔接上一篇文章来写的，详情看上一篇 【Lucene】全文检索技术介绍2. Lucene 实现全文检索的流程2.1.索引和搜索流程图绿色表示索引过程，对要搜索的原始内容进行索引构建一个索引库，索引过程包括：确定原始内容即要搜索的内容 -> 采集文档 -> 创建文档 -> 分析文档 ->索引文档红色表示搜索过程，从索引库中搜索内容，搜索过程
转载
2024-06-09 13:46:18
21阅读
上一节详细介绍了什么是LDA，详细讲解了他的原理，大家应该好好理解，如果不理解，这一节就别看了，你是看不懂的，这里我在简单的叙述LDA的算法思想：首先我们只拥有很多篇文本和一个词典，那么我们就可以在此基础上建立基于基于文本和词向量联合概率（也可以理解为基于文本和词向量的矩阵，大家暂且这样理解），我们只知道这么多了，虽然知道了联合概率密度了，但是还是无法计算，因为我们的隐分类或者主题不知道啊，在LS
转载
2024-04-25 10:56:40
51阅读
俗话说“庙小妖风大，水浅王八多”，作为一名自然语言处理的水货研究生，通常只是对论文有着一知半解的了解，然而因为毕竟人老了年纪大容易忘事，有时候还是想把这一知半解的想法用文字写出来，以便之后回顾，看官勿喷，水货要开始动笔了。 文本建模是自然语言处理领域中很基础的内容，而且也已经被研究了千万遍，这个系列我主要的思路是从LSA->pLSA->unigram model ->L
转载
2024-05-09 11:04:22
37阅读
题记： 文章内容输出来源：拉勾教育Java高薪训练营。 本篇文章是 MySQL 学习课程中的一部分笔记。MySQL存储引擎存储引擎在MySQL的体系架构中位于第三层负责MySQL中的数据的存储和提取，是与文件打交道的子系统，它是根据MySQL提供的文件访问层抽象接口定制的一种文件访问机制，这种机制就叫作存储引擎。 使用show engines命令，就可以查看当前数据库支持的引擎信息。InnoDB：
转载
2023-09-27 18:42:24
301阅读
FORM GET_TEXT_BATCH . TYPES: BEGIN OF TY_STXL, "项目
原创
2021-07-12 10:37:12
714阅读
1 文本分类概述 1.1 简介给定文本D，将文本分类为预定义的N个类别中的一个或多个。1.2 任务根据文本的长度，可以分为：短文本分类长文本分类根据标签，可以分为：单标签分类多标签分类层次多标签分类1.3 常用方法可以分为传统机器学习和深度学习方法两类，主要区别在于传统机器学习方法需要额外的特征工程构建特征，深度学习方法直接使用神经网络提取特征。提取特征后把特征输入到
转载
2023-12-07 02:29:32
167阅读
在拿到一个大规模数据集时，我们不可能对这么多的问题进行注意打上标记（label），因为这个是非常耗时的。而且，我们还知道文本问题是一个典型的多标记问题，这个时候打上的标记很多的时候都不会特别的精确，也就是我们通常说的弱标记weak label. 这个时候我们就需要一个聚类的方法，这样可以先把所有的文本集聚类成几个簇，每个簇的标记相似性就比较大，这样以来对打上标记的工作就减轻了许多精力。
转载
2024-03-30 21:04:40
70阅读
按照wiki上的介绍，LDA由Blei, David M.、Ng, Andrew Y.、Jordan于2003年提出，是一种主题模型，它可以将文档集 中每篇文档的主题以概率分布的形式给出，从而通过分析一些文档抽取出它们的主题（分布）出来后，便可以根据主题（分布）进行主题聚类或文本分类。同时，它是一种典型的词袋模型，即一篇文档是由一组词构成，词与词之间没有先后顺序的关系。此外，一篇文档可以包含多个主
转载
2024-05-06 15:37:51
38阅读
序工作中暂时不会用到LDA模型。不过空闲下来，学习学习，自娱自乐。LDA是generative model，这决定了这个模型的“世界观”。从LDA模型看来，文本是通过一种方式“产生”出来的。模型的理论，就是猜测文本产生的方式；模型的训练，就是给定产生方式后，通过样本，估计相关参数；模型的应用过程，就是确定了产生方式，并给定了模型参数，实际运行产生新的文本。Unigram模型最简单的一种模型。就是假
转载
2024-04-10 16:22:49
29阅读
Mysql varchar字段存储长文本报错使用MySQL存储较长文本的时候突然间无法存储varchar存储长文本长度不够事情原因，最近在练习一套基本的增删改查，但是有一个字段需要插入较多的内容，数据库里我这个字段的类型的varchar（255）。报错信息 ：ERROR 1406 (22001): Data too long for column ‘desc’ at row 1，一眼看出表字段设置
转载
2023-06-20 08:28:20
201阅读
第一招、mysql服务的启动和停止net stop mysqlnet start mysql第二招、登陆mysql语法如下： mysql -u用户名 -p用户密码键入命令mysql -uroot -p， 回车后提示你输入密码，输入12345，然后回车即可进入到mysql中了，mysql的提示符是：mysql>注意，如果是连接到另外的机器上，则需要加入一个参数-h机器IP第三招、增加新用户格式
转载
2024-07-22 13:52:45
31阅读
今天线上版本的错误： Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Row size too large (> 8126). Changing some columns to TEXT or BLOB or using ROW_FORMAT=DYNAMIC or ROW_FORMAT=COMP
转载
2023-09-25 13:04:09
91阅读
长短时记忆网络（Long Short-Term Memory，LSTM） 不管是我们还是计算机都很难有过目不忘的记忆，当看到一篇长文时，通常只会几下长文中内句话所讲的核心，而一些不太起眼的词汇将会被忘掉。 LSTM网络就是模仿人的这个特点，在计算机处理很多文字时有侧重点的记住具有重要意义的词汇，忘记一些作用不大的词汇。 长短时记忆网络通过不断地调用同一个cell逐次处理时序信息，每阅读一个词汇xt
转载
2023-12-21 13:34:36
107阅读
写在前面在《一文详解生成式文本摘要经典论文Pointer-Generator》中，我们已经详细地介绍过长文本摘要模型 PGN+Coverage。这个工作小喵20年初的时候不仅研读了，同时也做了相关的复现与优化尝试，没记错的话当时用的是TF框架。碍于年代久远，当时也没有做笔记的习惯，所以没法跟大家分享相关的实践内容。不过，小喵最近发现了一篇与之相关实践类博文，作者将 PGN+Coverag
转载
2024-01-30 20:14:09
94阅读
http://leyew.blog.51cto.com/5043877/860255#559183-tsina-1-46862-ed0973a0c870156ed15f06a6573c8bf0前几天开始学习lda,走了不少弯路，对lda仍然是一头雾水。看了这篇文档以后总算明白lda是干啥的了 LDA（Latent Dirichlet Allocation）学习笔记最近在看LDA算法，经过
转载
2024-06-18 08:59:40
31阅读
5. LDA 文本建模5.1 游戏规则对于上述的 PLSA 模型，贝叶斯学派显然是有意见的，doc-topic 骰子θ→m和 topic-word 骰子φ→k都是模型中的参数，参数都是随机变量，怎么能没有先验分布呢？于是，类似于对 Unigram Model 的贝叶斯改造， 我们也可以如下在两个骰子参数前加上先验分布从而把 PLSA 对应的游戏过程改造为一个贝叶斯的游戏过程。由于&nb
