最近在看一些NLP相关的内容，用博客记录整理一下。无论是CV还是NLP，说到底是将图像和文本转化为数据的方式，在计算机中进行用不同算法进行处理。对文本处理的第一步一般都是分词。现在有很多现成的分词工具：Jieba分词、SnowNLP、哈工大LTP、HanNLP等。具体算法方面主要是最大匹配（Max Matching）和考虑语义（lncorporate Semantic）。1. 前向最大匹配算法1.
转载
2024-02-02 19:42:08
105阅读
# 实现 Java NLP 分词器
## 介绍
在自然语言处理（NLP）中，分词是一个重要的任务，它将文本划分为有意义的单词或词组。Java 提供了许多库和工具来实现 NLP 分词器，本文将介绍如何使用 Java 实现一个基本的 NLP 分词器。
## 流程图
```mermaid
flowchart TD
A[了解需求] --> B[选择合适的库]
B --> C[导入库]
C
原创
2023-11-06 04:36:50
72阅读
# 理解NLP分词器及其Java实现
在自然语言处理（NLP）领域，分词器是一个至关重要的工具。它能够将连续的文本拆分成独立的词汇，从而为后续的分析和处理奠定基础。本文将探讨分词器的原理，并展示如何在Java中实现一个简单的分词器。
## 什么是分词器？
分词器的主要功能是将一段文本转化为一个个词汇或词组。例如，对于字符串"我爱自然语言处理"，分词器会将其分为["我", "爱", "自然",
中文分词工具简介0. 引言1. jieba分词1. jieba分词的基本用法2. jieba分词的进阶版用法1. 全模式的分词2. 自定义领域词表加入3. 使用jieba进行关键词抽取1. tf-idf关键词抽取2. TextRank关键词抽取2. pyltp分词1. 分词模块调用方法2. pos模块调用方法3. ner模块调用方法4. dp模块调用方法5. srl模块调用方法3. sentenc
转载
2023-08-02 07:59:20
101阅读
NLP-统计分词一、统计分词综述1.概念2.步骤二、语言模型1.概念2.语言模型中的概率产生三、n元模型1.马尔可夫假设2.n元模型3.缺陷4.解决方法四、神经网络模型-NNLM 一、统计分词综述1.概念基于统计的分词算法的主要核心是词是稳定的组合，因此在上下文中，相邻的字同时出现的次数越多，就越有可能构成一个词。因此字与字相邻出现的概率或频率能较好地反映成词的可信度。可以对训练文本中相邻出现的
转载
2023-08-10 13:22:22
136阅读
文章目录一、jieba简介二、jieba的使用1. 精确模式分词2. 全模式分词3. 搜索引擎模式分词4. 使用用户自定义分词三、hanlp简介四、hanlp的使用1. 使用hanlp进行中文分词2. 使用hanlp进行英文分词五、命名实体识别六、词性标注 一、jieba简介jieba是一个常用的中文分词python库#安装jieba库
pip install jieba#使用jieba库
im
转载
2023-08-02 13:26:05
294阅读
继续中文分词在线PK之旅，上文《五款中文分词工具在线PK: Jieba, SnowNLP, PkuSeg, THULAC, HanLP》我们选择了5个中文分词开源工具，这次再追加3个，分别是FoolNLTK、哈工大LTP(pyltp, ltp的python封装)、斯坦福大学的CoreNLP(stanfordcorenlp is a Python wrapper for Stanford CoreN
# 分词器Stanford NLP
在自然语言处理（NLP）领域，分词是将连续的文本字符串切分成单独词语的过程，它是文本处理的基础。Stanford NLP是由斯坦福大学开发的一套强大的自然语言处理工具包，其中包含了一个高效的分词器。本文将介绍Stanford NLP的分词器的基本原理、使用方法以及代码示例，以帮助读者更好地进行文本处理。
## Stanford NLP的简介
Stanfor
Ansj
分词器导入jar包ansj_seg-5.1.6.jarnlp-lang-1.7.8.jar maven配置<dependency><groupId>org.ansj</groupId><artifactId>ansj_seg</artifactId> <version>5.1.1</versi
转载
2023-06-28 15:53:36
426阅读
中文分词是将一段文本拆分为一系列单词的过程，这些单词顺序拼接后等于原文本。词典分词是最简单、最为常见的分词算法，仅需一部词典和一套查询词典规则即可。常用的规则词典有正向最长匹配、逆向最长匹配和双向最长匹配，它们都基于完全切分过程。1.完全切分 完全切分指的是，找出一段文本中所有单词。这并不是标准意义上的分词，有些人将这个过程称为分词，其实并不准确。 不考虑效率的话，朴素的完全切分算法其实非
转载
2023-07-31 17:31:44
64阅读
去年对于自然语言处理（NLP）来说是巨大的。就改进而言，现在可以通过使用优化的库和高性能硬件来更快地实现神经网络。但是，基于深度学习的现代NLP管道中的瓶颈之一是tokenization，尤其是通用性强且独立于框架的实现。为了提供对现代NLP管道良好配合的快速，最先进且易于使用的令牌化的访问，Hugging Face贡献者已开发并开源了Tokenizers.。顾名思义，令牌生成器是当今使用最广泛的
转载
2023-12-22 21:12:20
63阅读
分词器作用 在创建索引的时候需要用法哦分词器，在使用字符串搜索的时候也会用到分词器，并且这两个地方要使用同一个分词器，否则可能会搜索不出来结果； 分词器的作用是把一段文本中的词按规则取出所包含的所有词，对应的是Analyzer类，这是一个抽象类，切分词的具体规则是由子类实现的，所有对于不同语言的规则，要有不同的分词器；分词器原理 分词器为中文分词器和英文分词器： 英文分词器是按照词
转载
2023-10-22 18:28:05
57阅读
IK分词器结合NLP的应用在自然语言处理领域中扮演着越来越重要的角色，今天我们来详细探讨如何将IK分词器与NLP技术结合，并高效地解决相关问题。
### 环境配置
在开始之前，我们需要确保环境的配置是正确的。下面是我们进行IK分词器与NLP结合的必需组件：
1. JDK 1.8+
2. Maven 3.5+
3. Elasticsearch 7.0+
4. ik-analyzer 7.0+
一、分词的困难- 分词规范化的的问题 1. 单字词与词素主机的划界 2. 短语划界 3. “二字词或三字词”，以及结合紧密，使稳定的二字次或三字词一律划分为词单位- 歧义切分问题 1. 交集型切分歧义 2. 组合型切分歧义 3. 多义组合型切分歧义- 未登录词的问题 1. 人名、地名、组织名 2. 新出的词汇 3. 术语、俗语、命名体识别二、 分词的方法1. 正向最大匹配（FMM
转载
2024-03-14 12:18:48
43阅读
例子：“经常有意见分歧”词典：["经常","有","意见","意","见","有意见","分歧","分","歧"]
概率P(x)：{"经常":0.08,"有":0.04,"意见":0.08,"意":0.01,"见":0.005,"有意见":0.002,"分歧":0.04,"分":0.02, "歧":0.005}概率P(x)代表的是该词x在我们日常生活所见的文本中出现的概率。step1：根据词典，利
转载
2024-09-04 14:45:08
58阅读
# IK分词器和NLP
## 什么是IK分词器？
IK分词器是一个开源的中文分词工具，它是对Lucene的一个扩展，专门用于中文文本的分词处理。IK分词器支持细粒度和智能分词两种分词模式，能够有效地将中文文本进行分词处理，提高了文本处理的准确性和效率。
## NLP是什么？
NLP，即自然语言处理（Natural Language Processing），是人工智能领域的一个重要分支，旨在
原创
2024-04-27 06:14:30
98阅读
目录 1、实例理解2、添加自定义词典3、关键词抽取4、分词-词云展示Python中分分词工具很多，包括盘古分词、Yaha分词、Jieba分词、清华THULAC等。它们的基本用法都大同小异，使用的比较广泛的是结巴分词。 Jieba分词结合了基于规则和基于统计这两类方法：基于前缀词典实现词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG），采用动态规划查找最大概率路
转载
2024-04-12 08:15:43
55阅读
在实现了.Net版分词器之后，一直想进一步提升搜索速度和体验。最近又学习全切分分词以及IK分词原理，在理解其理念再加上结合本公司业务需求，决定改进分词器算法，宗旨为提升性能，提高体验。 对比原有分词： 基于词典的最长匹配： 基于词典分词的一种方法是将词典构建成一个Trie搜索树，每个节点放一个字，同时将词的信息放在Node中,如词性，权重等。
中文分词—Jieba 是一款Python 中文分词组件“Jieba” (Chinese for “to stutter”) Chinese text segmentation: built to be the best Python Chinese word segmentation module.特点支持三种分词模式：精确模式，试图将句子最精确地切开，适合文本分析；全模式，把句子中所有的可以成词
转载
2024-07-16 13:04:06
56阅读
中文分词是中文文本处理的一个基础步骤，也是中文人机自然语言交互的基础模块，在进行中文自然语言处理时，通常需要先进行分词。本文详细介绍现在非常流行的且开源的分词器结巴jieba分词器，并使用python实战介绍。jieba分词算法使用了基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能生成词情况所构成的有向无环图(DAG), 再采用了动态规划查找最大概率路径，找出基于词频的最大切分组
转载
2023-10-29 23:42:11
192阅读
