IK Analysis for Elasticsearch
The IK Analysis plugin integrates Lucene IK analyzer (http://code.google.com/p/ik-analyzer/) into elasticsearch, support customized dictionary.
Analyzer: ik_smart , ik_ma
基于词表的中文分词一、实验目的了解并掌握基于匹配的分词方法，以及分词效果的评价方法。二、实验要求实现正向最大匹配、逆向最大匹配以及双向最大匹配等三种分词方法，记录并分析三种方法的准确率以及分词速度。思考并分析哪些因素可能会影响分词的准确性。三、实验准备1. 词典准备在GitHub（https://github.com/fxsjy/jieba）开源的一个中文词表数据，下载地址：
原创
2023-03-09 11:16:45
1375阅读
点赞
文章目录NLP基础——词表示和文本特征1. Word Representation: 独热编码，tf-idf2. Word2Vec2.1 Word Embedding2.2 Gaussian Embedding2.3 Contextual Embedding3. 文本特征工程 NLP基础——词表示和文本特征1. Word Representation: 独热编码，tf-idf词表示：0-1 on
转载
2024-05-16 10:15:52
88阅读
# 使用Python进行关键词分词的指南
在今天的这篇文章中，我们将学习如何使用Python对句子进行分词，尤其是根据给定的关键词表进行分词。整个流程大致分为几个步骤。我会用一个表格来展示这些步骤，并逐步解释每一步需要执行的操作和相关的代码。
## 整体流程
| 步骤 | 描述 |
|------|------------------
一、什么是停用词？在汉语中，有一类没有实际意义的词语，比如组词“的”，连词“以及”，副词“甚至”，语气词“吧”，被称为停用词。一个句子去掉这些停用词，并不影响理解。所以，进行自然语言处理时，一般将停用词过滤掉。一般词表文件中每一行存储一个停用词，行数就是停用词个数。目前一些业界公开的中文停用词表如下表所示。当然，也可以根据任务的需求完全可以自我定制停用词表。词表名词表文件地址四川大学机器智能实验室
转载
2024-07-12 16:22:04
57阅读
在业务开发中，有一些面向C端的搜索接口。比如根据商品名搜索，之前也提过通过ES解决，但这次主要以一种较为简单快捷的方式优化搜索速度。
原创
2023-05-12 15:48:35
82阅读
在使用bert_wwm的时候 要基于句子的分词 结巴的分词是 有一些的问题的因为不是针对某一领域的 所以要制作某一领域内的词表。
原创
2022-12-28 14:38:03
206阅读
（第一版，创建时间2014-11-12）这篇文档内容主要从官方文档中获取而来，对API进行了翻译，并依据个人使用经验进行了一些补充，鉴于能力有限、水平较低，文档中肯定存在有很多不足之处，还请见谅。下载地址：http://ictclas.nlpir.org/downloads， NLPIR是用C/C++编写的，如果要用JAVA来使用NLPIR，需要通过JNA调用NLPIR的函数来实现。下面
转载
2024-03-14 12:05:51
48阅读
中文分词的原理1、中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程2、现有的分词算法可分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法基于字符串匹配的分词方法：这种方法又叫做机械分词方法，它是按照一定的策略将待分析的汉字串与一个“充分大的”机器
转载
2024-04-28 16:36:57
36阅读
在使用bert_wwm的时候 要基于句子的分词 结巴的分词是 有一些的问题的因为不是针对某一领域的 所以要制作某一领域内的词表。先来一个示例：import jieba print("|".join(jieba.lcut("滴滴代驾不靠谱，在司机端总是接不到单子。"))) print("|".join(jieba.lcut("今天空车返回，在路上遇到行政执法，平台不派单"))) jieba.lo
原创
2021-12-01 11:40:53
837阅读
还是接着Itenyh版-用HMM做中文分词四：A Pure-HMM 分词器文章中讲解的理论还实践。理论已经讲解得非常细致了，但是纸上得来终觉浅，自己动手的话感悟肯定又不一样。 继自己写中文分词之（二）的状态转移矩阵训练出来后，接着需要训练混淆矩阵了。具体的实现可以参考代码。 这里我重点说一下Jahmm这个工具的使用。
原创
2013-07-20 00:01:09
5949阅读
点赞
8评论
Python 使用习惯是指那些经常被使用的语法、语义和结构，这样写更加符合 Python 风格，看起来更像一个地道的 Pythoner.本系列目的，分类整理 Python 使用习惯。1. if not x直接使用 x 和 not x 判断 x 是否为 None 或空x = [1,3,5]
if x:
print('x is not empty ')
if not x:
prin
jieba分词jieba分词支持三种分词模式：精确模式, 试图将句子最精确地切开，适合文本分析全模式，把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义搜索引擎模式，在精确模式的基础上，对长词再词切分，提高召回率，适合用于搜索引擎分词jiaba分词还支持繁体分词和支持自定义分词1.jieba分词器的安装在python2.x和python3.x均兼容，有以下三种：全自动安装：eas
转载
2024-02-26 07:01:09
102阅读
目前我常常使用的分词有结巴分词、NLPIR分词等等最近是在使用结巴分词，稍微做一下推荐，还是蛮好用的。 一、结巴分词简介利用结巴分词进行中文分词，基本实现原理有三：基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi
转载
2024-08-13 10:55:56
26阅读
我们以英文文本处理为例。大致分为以下几个步骤：NormalizationTokenizationStop wordsPart-of-Speech TaggingNamed Entity RecognitionStemming and LemmatizationNormalization得到纯文本文件后，第一步通常做的就是 Normalization。在英语语言中，所有句子第一个词的首字母一般是大写
转载
2024-09-06 10:35:40
107阅读
"
#
$
&
'
(
)
*
+
,
-
.
/
0
1
2
3
4
5
6
7
8
9
:
;
<
=
>
?
@
[
]
_
}
·
×
Δ
Ψ
γ
μ
φ
В
—
‘
’
“
”
℃
Ⅲ
↑
→
≈
①
②
③
④
⑤
⑥
⑦
⑧
⑨
⑩
■
▲
、
。
〉
《
》
」
『
』
【
】
〔
〕
㈧
一
上
下
不
与
且
个
临
为
乃
么
之
乎
乘
也
了
于
些
转载
2023-06-06 16:03:33
177阅读
# Python停词表下载
在自然语言处理（NLP）中，停词（Stop words）是一类常见但无实际含义的词语，如“的”、“是”、“在”等。这些词语频繁出现，但对于文本的含义理解很少有贡献。因此，在文本处理任务中，我们通常会将这些停词从文本中去除，以提高模型的性能和准确度。
Python提供了许多工具和库来处理停词，其中一个重要的工具是停词表（Stop words list）。这是一个包含常
原创
2023-07-15 10:43:40
529阅读
# Python 停词表使用指南
在自然语言处理（NLP）的工作中，停词表是一个重要的概念。停词是指在处理文本时，会被过滤掉的一些常见词汇，如“的”、“了”、“在”等。使用停词表可以提高文本分析的效率。今天，我会带你一步一步实现 Python 停词表的使用。
## 整体流程
下面的表格展示了整个实现停词表的流程。
| 步骤 | 描述 | 所需工具
原创
2024-10-09 04:10:53
51阅读
# Python停用词表及其应用
## 什么是停用词？
在自然语言处理（NLP）中，停用词（Stop Words）是指那些在文本处理过程中被忽略的常见词语。这些词语通常是一些出现频率非常高，但对于文本内容表达没有太多意义的词汇，例如英语中的“the”、“and”、“is”等。这些词汇对于文本的处理和分析并没有太多帮助，因此在文本处理的过程中可以将它们过滤掉，以提高处理效率和准确性。
## 停
原创
2023-08-10 18:22:06
677阅读
## 停用词表Python实现流程
### 流程图：
```mermaid
flowchart TD
A[加载停用词表] --> B[读取文件]
B --> C[生成停用词列表]
C --> D[移除停用词]
D --> E[返回处理结果]
```
### 详细步骤：
1. 加载停用词表：停用词表是一个包含常见无意义词语的文本文件，我们首先需要加载这个停用词
原创
2023-08-30 10:05:50
563阅读
