mb6300b232419d1的博客_自然语言处理

BeautifulSoup 安装使用

Linux环境1. 安装方法一：下载：http://www.crummy.com/software/BeautifulSoup/bs

python

html

linux环境

原创 2022-08-21 00:40:18 133 阅读

古德-图灵估计

古德-图灵估计可以解决n元语法模型(n-gram)中的数据的稀疏问题。主

未登录词

元语法

元组

转载 2022-08-21 00:40:11 253 阅读

TF-IDF与余弦相似性的应用

阮一峰老师的博客写的相当详细了，非常佩服，在这里记录一下链接一）：自动提取关键词

html

解决方法

未登录词

原创 2022-08-21 00:39:06 162 阅读

权重

python

词频

原创 2022-08-21 00:37:31 52 阅读

WordNet::Similarity的安装和使用

perl

相似度

edn

原创 2022-08-21 00:37:17 88 阅读

python-Levenshtein几个计算字串相似度的函数解析

linux环境下，没有首先安装python_Levenshtein，用法如下：重点介绍几个该包中的几个计算字串相似度的几个

jar

编辑距离

javascript

原创 2022-08-21 00:33:31 129 阅读

Wordnet 与 Hownet 比较

近年来，随着计算机本身以及信息高速公路的飞速发展，人们开始更加重视语义的研究。各国都致力于可用于自然语言处理的大规模语义词典或大规模知识库的建设。例如：普林斯顿大学的英语Wordnet,微软的Mindnet，欧洲有基于Wordnet的Eurowordnet，日本的日语和英语的概念词典，韩国的Koreanwordnet，中国有以Wordnet为框架而研制的现代汉语概念词典――中文概念辞书（CCD）和

理论基础

自然语言处理

数据库

转载 2022-08-21 00:22:18 368 阅读

隐马尔可夫模型（七）——隐马尔可夫模型的学习问题(前向后向算法）

隐马尔可夫模型的学习问题：给定一个输出序列O=O1O2...OT,如何调节模型μ=(A,B,π）的参数，使得P(O|M)最大。最大似然估计是一种解决方法，如果产生的状态序列为Q=q1q2...qT,根据最大似然估计，可以通过以下公式推算： πi‘ = δ（q1,si) aij...

最大似然估计

迭代

初始化

原创 2022-08-21 00:18:24 173 阅读

train,dev,test数据集作用

train为训练语料，用于模型训练； dev为开发集，用于模型参数调优； test用于测试

调优

原创 2022-08-21 00:18:14 277 阅读

隐马尔可夫模型（六）——隐马尔可夫模型的评估问题(前向后向相结合算法）

重新回顾：前向变量αt(i):在时刻t,在已知模型μ=（A,B,π）的条件下，状态处于si,输出序列为O102...Ot,前向变量为αt(i) 后向变量βt(i):在时刻t,在已知模型μ=（A,B,π）和状态处于si的条件下，输出序列为Ot+1Ot+2...OT,后向变量为βt(i) 公式推导：

i++

#include

公式推导

原创 2022-08-21 00:18:11 302 阅读

python 中文分词：结巴分词

中文分词是中文文本处理的一个基础性工作，结巴分词利用进行中文分词。其基本实现原理有

字符串

实现原理

中文分词

原创 2022-08-21 00:10:01 151 阅读

NLTK之WordNet 接口

WordNet是面向语义的英语词典，类似于传统字典。它是NLTK语料库的一部分,可以被这样调用：更简洁的写法:1．单词查看一个单词的同义词集用

词性

python

svn

原创 2022-08-21 00:08:13 89 阅读

分类和回归区别

分类和回归区别在于输出变量的类型。定量输出称为回归，或者说是连续变量预测；定性输出称为分类，或着说是离散变量

定性描述

原创 2022-08-21 00:07:46 85 阅读

分词错误重点分析这几项

1. 字典（依赖文件）2. 可执行文件名字

可执行文件

原创 2022-08-21 00:07:39 29 阅读

自然语言处理处理常用写法备忘

s = "[零|一|二|三|四|五|六|七|八|九|0|1|2|3|4|5|6|7|8|9]"s = "[零|一|二|三|四|五|六|七|八|九|十|百|千|万|亿]"

前端

原创 2022-08-21 00:07:33 47 阅读

python实现全角半角的相互转换

缘起在自然语言处理过程中，全角、半角的的不一致会导致信息抽取不一致，因此需要统一。转换说明全角半角转换说明有规律（不含空格）

ide

全角

半角

原创 2022-08-21 00:00:46 262 阅读

隐马尔可夫模型（四）——隐马尔可夫模型的评估问题(后向算法）

对于HMM的评估问题，利用动态规划可以用前向算法，从前到后算出前向变量；也可以

时间复杂度

#include

初始化

原创 2022-08-20 22:43:01 194 阅读

隐马尔可夫模型（五）——隐马尔可夫模型的解码问题(维特比算法）

给定一个观察序列O=O1O2...OT,和模型μ=（A,B,π），如何快速有效地选择在一定意义下“

时间复杂度

#include

i++

原创 2022-08-20 22:42:54 238 阅读

基于统计语言模型的分词方法

20世纪80年代更早提出的分词方法大部分是基于词表进行的，称为基于词表分词方法。

归一化

贝叶斯公式

统计模型

原创 2022-08-20 22:42:34 351 阅读

隐马尔可夫模型（一）——马尔可夫模型

简介马尔可夫模型（Markov Model)描述了一类随机变量随时间而变化的随机函数。考察一个状

状态转移

应用领域

词性标注

原创 2022-08-20 22:42:15 309 阅读

隐马尔可夫模型（二）——隐马尔可夫模型的构成

在马尔可夫模型中，每一个状态都是可观察的序列，是状态关于时间的随机过程，也成为可视马尔可夫

随机过程

概率分布

初始状态

原创 2022-08-20 22:42:05 480 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

mb6300b232419d1的博客

BeautifulSoup 安装使用

古德-图灵估计

TF-IDF与余弦相似性的应用

如何确定网页和查询的相关性

WordNet::Similarity的安装和使用

python-Levenshtein几个计算字串相似度的函数解析

Wordnet 与 Hownet 比较

隐马尔可夫模型（七）——隐马尔可夫模型的学习问题(前向后向算法）

train,dev,test数据集作用

隐马尔可夫模型（六）——隐马尔可夫模型的评估问题(前向后向相结合算法）

python 中文分词：结巴分词

NLTK之WordNet 接口

分类和回归区别

分词错误重点分析这几项

自然语言处理处理常用写法备忘

python实现全角半角的相互转换

隐马尔可夫模型（四）——隐马尔可夫模型的评估问题(后向算法）

隐马尔可夫模型（五）——隐马尔可夫模型的解码问题(维特比算法）

基于统计语言模型的分词方法

隐马尔可夫模型（一）——马尔可夫模型

隐马尔可夫模型（二）——隐马尔可夫模型的构成