简述LDA什么是LDA主题模型主题分布与词分布两点分布二项分布多项式分布参数估计极大似然估计贝叶斯估计共轭先验分布形式化LDA简述LDALDA涉及的知识很多，对于作者这样的菜鸟来说想要弄清楚LDA要费一番功夫，想简单说清更是不易，写下此文，也是希望在行文的过程中，把握LDA主要脉络，理顺思路。也希望我理解的方式与顺序，能帮到一部分初学的朋友。如果有不对的地方，也欢迎作出指正。什么是LDA主题模型首
转载
2024-02-11 15:04:41
59阅读
文章目录特征工程什么是特征工程数据预处理缺失值的处理删除法填补法Pandas填充Sklearn填充数据归一化什么是归一化归一化原理为什么要用归一化什么算法需要进行归一化sklearn库归一化处理归一化存在的问题数据标准化什么是标准化标准化原理为什么要用标准化sklearn库标准化处理标准化和归一化对比特征抽取字典特征数据提取文本特征数据提取TF-IDF 做比赛或者做项目的时候，绞尽脑汁考虑到了
转载
2024-06-19 09:01:52
56阅读
纯粹的文本我们也叫作语料 文本数据特点： 非结构化 海量数据 高维稀疏性 语义/情感一句话里面有多少个词就有多少个维度 文本的分析就是他所包含的语义 往往都存在一个倾向性自然语言处理-NLP 机器翻译 自动摘要（当我们在做舆情分析的时候，找到一个文章，能不能自动生成一个文本的摘要） 文本分类（根据文本的关键词进行文本的分类，在自然语言中有一个实体命名，时间，地点等） 信息检索（通过词相互之间的练习
一、前言学习huggingface tokenizers 库。首先介绍三大类分词算法：词级、字符级、子词级算法；然后介绍五种常用的子词级（subword ）算法：BPE、BBPE、WordPiece、Unigram、SentencePiece。二、常用分词算法大类：词级、字符级、子词级词表通常在模型预训练语料库上训练而成，包括不同的分词方式，例如对 “Don’t you love ? Transf
转载
2024-08-09 17:41:54
135阅读
Word2vec是目前最常用的词嵌入模型之一。是一种浅层的神经网络模型，他有2种网络结构，分别是CBOW(continues bag of words)和 skip-gram。Word2vec 其实是对”上下文-单词“矩阵进行学习，其中上下文由周围的几个单词组成，由此得到的词向量表示 更多的融入了上下文共现的特征。 也就是说，如果2个词所对应的Word2vec向量相似度较高，那么他们很可能经常
转载
2024-07-25 13:13:48
105阅读
WML程序在结构上形式上与html程序有很多相似之处。下面我们就根据一个实例来分析一下WML程序的结构及组成。 1、WML的元素和标签 分析实例之前，我们有必要对WML的元素和标签予以简单说明。与HTML类似，WML的主要语法也是元素和标签。元素是符合DTD（文档类似定义）的文档组成部分，如title(文档标题)、IMG（图像）、table(表格)等等，元素名不区分大小写。WML使用标签来规定
当我们要更新IK分词器词库时，都要在扩展词典中手动添加新词，添加完成后都要重启es才能生效。更致命的是，es肯定是分布式的，可能有数百个节点，我们不能每次都一个一个节点上面去修改。所以我们要实现es不停机更新新词，通过修改ik分词器源码，然后手动支持从mysql中每隔一定时间，自动加载新的词库。1、下载源码下载地址：https://github.com/medcl/elasticsearch-an
转载
2023-10-27 09:27:28
48阅读
LDA算法简介：LDA是一种基于贝叶斯思想的无监督的聚类算法，广泛用于文本聚类，文本分析，文本关键词等场景。具体的，算法 的输入是一个文档的集合D={d1, d2, d3, ... , dn}，同时还需要主题Topic的类别数量m；然后会算法会将每一篇文档 di 在 所有Topic上的一个概率值p；这样每篇文档都会得到一个概率的集合di=(dp1，dp2，..., dpm), 表示文档di在m个t
转载
2024-03-19 17:09:32
163阅读
背景： Centos7.3服务器上现有elasticsearch 5.4.0集群，共三台机器。 安装ik插件必须和es版本对应！一、官网下载安装该插件Github官网地址：https://github.com/medcl/elasticsearch-analysis-ik 我们可以清楚地看到： 有两个选项，其中第二个选项是直接通过命令行安装，但是v5.5.1版本之后才支持，哎，我的5.4.0版
转载
2024-08-07 17:37:17
27阅读
就是前面说的中文分词，这里需要介绍的是一个分词效果较好，使用起来像但方便的Python模块：结巴。一、结巴中文分词采用的算法基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图(DAG)采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法二、结巴中文分词支持的分词模式目前结巴分词支持
转载
2024-08-21 20:09:53
31阅读
中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。我们知道，在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，不过在词这一层上，中文比之英文要复杂得多、困难得
转载
2024-10-24 07:01:47
36阅读
LDA：Latent Dirichlet Allocation 是一个很著名的文本模型，最初是在2003年被一群大牛提出的，包括David M.Blei 、Andrew Y.Ng等。和之前的pLSA文本模型相比，LDA算是贝叶斯观点的pLSA,所谓贝叶斯观点，就是什么都是不确定的，不像pLSA中的p(z|d)，虽然是个隐变量，但是还是确定的值，然而对于贝叶斯学派观点，其概率是不确定的，
转载
2024-05-14 06:22:29
35阅读
LDA算是NLP中相对比较难的一个，涉及到诸多统计方面的理论。虽然从开始准备到这篇文章发布，断断续续准备了近一个月，还是只能把其中主干拎出来，很多细节还需要慢慢沉淀，今天先把这篇粗糙的文章发出来，以示对过去一个月零碎时间的交代。LDA(Latent Dirichlet Allocation)是主题模型的一种，它基于词袋模型BOW（Bag of words）, 与BOW相对的是n-gram模型，前者
转载
2024-05-07 17:53:27
43阅读
目录：1、使用场景2、优缺点3、算法原理3.1、传统向量空间模型的缺陷3.2、Latent Semantic Analysis (Latent Semantic Indexing)3.3、算法实例4、文档相似度的计算5、对应的实践Demo 目录：1、使用场景文本挖掘中，主题模型。聚类算法关注于从样本特征的相似度方面将数据聚类。比如通过数据样本之间的欧式距离，曼哈顿距离的大小聚类等。而主题模型，顾
转载
2024-08-11 15:20:31
113阅读
论文看了前三个section, 然后搜资料发现了些不错的。------------------------------------------------------------------------------------------------------------------------------------------一、预备知识：  
===========================================================================前几个星期听创新院的同事分享了LDA（Latent Dirichlet Allocation）模型，便决定把它搞懂。LDA的数学模型还是比较好理解的，但LDA的计算过程涉及到一些比较复杂的统计估算技术，为了快速得到一个直观的理解，我先阅读了LDA的原
转载
2024-05-04 18:51:33
118阅读
TFIDFTF Term Frequency，即词频，它表示一个词在文档中出现的次数。计算公式：某个词出现越多，表示它约重要。 某个词越少见，就越能表达一篇文章的特性，反之则越不能。IDFInverse Document Frequency，即逆文档频率，它是一个表达词语重要性的指标。计算公式：如果所有文章都包涵某个词，该词的，即重要性为零。停用词的IDF约等于0。如果某个词只在很少的文章中出现，
转载
2024-05-15 07:04:24
147阅读
中文分词：原理及分词算法 05 Nov 2014 By DianaCody 词是最小的能够独立活动的有意义的语言成分，英文单词之间是以空格作为自然分界符的，Lucene中对中文的处理是基于自动切分的单字切分，或者二元切分。除此之外，还有最大切分（包括向前、向后、以及前后相结合）、最少切分、全切分等等。 一、中文分词 词是最小的能够独立活动的有意义的语言成分，英文单词之间是以空
转载
2023-11-16 14:48:35
63阅读
据众多用户分享反馈表明利用MySQL优化更有利于快速定位至要访问的数据行，它还可通过延迟关联的方式优化排序操作。这也是那些可靠的MySQL优化之所以快速崛起的重要原因之一，现在就MySQL优化使用分页查询时需要注意哪些问题作简要简述：1.注意LIMIT子句的返回使用据了解MySQL优化在使用分页查询时一般都是采用LIMIT子句。IMIT子句可以被用于指定 SELECT 语句返回的记录数，但在具体使
转载
2024-06-08 17:17:50
30阅读
当特征选择完成后，可以直接训练模型了，但是可能由于特征矩阵过大，导致计算量大，训练时间长的问题，因此降低特征矩阵维度也是必不可少的。常见的降维方法除了以上提到的基于L1惩罚项的模型以外，另外还有主成分分析法（PCA）和线性判别分析（LDA），线性判别分析本身也是一个分类模型。PCA和LDA有很多的相似点，其本质是要将原始的样本映射到维度更低的样本空间中，但是PCA和LDA的映射目标不一样：PC
