就加了个数据集合就政治了吗
原创
2021-10-08 10:12:56
10000+阅读
就加了个数据集合就政治了吗
原创
2022-01-26 11:17:02
393阅读
分词是自然语言处理的一个基本工作，中文分词和英文不同，字词之间没有空格。中文分词是文本挖掘的基础，对于输入的一段中文，成功的进行中文分词，可以达到电脑自动识别语句含义的效果。中文分词技术属于自然语言处理技术范畴，对于一句话，人可以通过自己的知识来明白哪些是词，哪些不是词，但如何让计算机也能理解？其处理过程就是分词算法。文件：url80.ctfile.com/f/25127180-560486350
转载
2023-07-25 13:26:53
110阅读
汉语中句子以字为单位的，但语义理解仍是以词为单位，所以也就存在中文分词问题。主要的技术可以分为：规则分词、统计分词以及混合分词（规则+统计）。基于规则的分词是一种机械分词，主要依赖于维护词典，在切分时将与剧中的字符串与词典中的词进行匹配。主要包括正向最大匹配法、逆向最大匹配法以及双向最大匹配法。统计分词主要思想是将每个词视作由字组成，如果相连的字在不同文本中出现次数越多，就越可能是一个词。（隐马尔
转载
2024-01-26 22:39:47
177阅读
前几天因为好久没发blog了，就拿我毕设中的一段算法凑数，没想到引起很多人的兴趣。因此就把我的分词算法单独拎出来做了一个项目叫作DartSplitter。暂时把分词算法的名称叫做树状词库分词法。 刚刚统计了一下源代码，一共也就950多行代码，加上测试用例共1200行代码。看来确实还是想法比实现重要。说明如下：1、由于不能用原来的专业词库，因此我特地去网上找了个Access的词库，一共有一
转载
2024-09-29 00:32:52
26阅读
# 基于HMM模型实现中文分词
在自然语言处理中，中文分词是一个重要的任务。在这篇文章中，我们将介绍如何基于隐马尔可夫模型（HMM）实现中文分词。整个过程分为几个基本步骤，下面将用表格展示每个步骤。
| 步骤 | 描述 |
|------|-------------------------------
还是接着Itenyh版-用HMM做中文分词四：A Pure-HMM 分词器文章中讲解的理论还实践。理论已经讲解得非常细致了，但是纸上得来终觉浅，自己动手的话感悟肯定又不一样。 继自己写中文分词之（二）的状态转移矩阵训练出来后，接着需要训练混淆矩阵了。具体的实现可以参考代码。 这里我重点说一下Jahmm这个工具的使用。
转载
2024-06-21 09:22:25
20阅读
关于HMM分词的理论基础就不说了，第一，自己能力尚浅，说不好。第二，已经有说得很好的了。参考：Itenyh版-用HMM做中文分词四：A Pure-HMM 分词器 我这里自己实现了用msr_training.utf8 用以训练HMM的转移矩阵。代码贴出来吧：package com.xh.training;
import java.i
原创
2013-07-17 23:56:28
6441阅读
最近我在学习自然语言处理，相信大家都知道NLP的第一步就是学分词，但分词≠自然语言处理。现如今分词工具及如何使用网上一大堆。我想和大家分享的是结巴分词核心内容，一起探究分词的本质。(1)、基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图什么是DAG(有向无环图)？例如，句子“去北京大学玩”对应的DAG为{0:[0], 1:[1,2,4], 2:[2], 3:[3,4
转载
2023-08-08 13:58:17
54阅读
1. 首先来说一下马尔科夫链。一个事件序列发生的概率可以用下面的概率论里面的乘法公式展开P(w1,w2,…wn) = P(w1)P(w2|w1)P(w3| w1 w2)…P(wn|w1 w2…wn-1)乘法公式的证明非常有意思，它本身就是一个递推的过程，根据条件概率的定义：P(A|B) = P(AB)/ P(B)那么 P(AB) = P(A|B) X P(B)，由此可得：P(w1,w2
转载
2015-01-04 14:46:00
110阅读
2评论
1. 赛题理解：1.1 赛题理解：（1）赛题名称： 零基础入门NLP之新闻文本分类（2） 赛题目标： 通过这道赛题可以引导大家走入自然语言处理的世界，带大家接触NLP的预处理、模型构建 和 模型训练等知识点；（3） 赛题任务： 赛题以自然语言处理为背景、要求选手对新闻文本进行分类，这是一个典型的字符识别问题；1.1.1 学习目标：（1） 理解赛题背景 与 赛题数据；（2） 完成赛题报名 与 数据下
还是接着Itenyh版-用HMM做中文分词四：A Pure-HMM 分词器文章中讲解的理论还实践。理论已经讲解得非常细致了，但是纸上得来终觉浅，自己动手的话感悟肯定又不一样。 继自己写中文分词之（二）的状态转移矩阵训练出来后，接着需要训练混淆矩阵了。具体的实现可以参考代码。 这里我重点说一下Jahmm这个工具的使用。
原创
2013-07-20 00:01:09
5949阅读
点赞
8评论
本文并非原创算法，但是经过我的改进已将原创改为Java实现， 目前比较流行的几大分词算法有：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。本文采用的是基于字符串匹配法。 正向最大匹配分词： 该算法是基于分词词典实现，从字符串左侧
转载
2024-03-11 22:40:04
55阅读
前言： Java有11大开源中文分词器，分别是word分词器，Ansj分词器，Stanford分词器，FudanNLP分词器，Jieba分词器，Jcseg分词器，MMSeg4j分词器，IKAnalyzer分词器，Paoding分词器，smartcn分词器，HanLP分词器。不同的分词器有不同的用法，定义的接口也不一样，至于效果哪个好，那要结合自己的应用场景自己来判断。这里我就主要介绍Ansj中文分
转载
2023-07-14 21:18:35
343阅读
Java有11大开源中文分词器，分别是word分词器，Ansj分词器，Stanford分词器，FudanNLP分词器，Jieba分词器，Jcseg分词器，MMSeg4j分词器，IKAnalyzer分词器，Paoding分词器，smartcn分词器，HanLP分词器。不同的分词器有不同的用法，定义的接口也不一样，至于效果哪个好，那要结合自己的应用场景自己来判断。这里我就主要介绍Ansj中文分词器，它
转载
2023-08-29 22:33:54
330阅读
Java中文分词器AnsjAnsj 是一个开源的 Java 中文分词工具，基于中科院的 ictclas 中文分词算法，比其他常用的开源分词工具（如mmseg4j）的分词准确率更高。介绍一下Ansj！ Ansj中文分词是一款纯Java的、主要应用于自然语言处理的、高精度的中文分词工具，目标是“准确、高效、自由地进行中文分词”，可用于人名识别、地名识别、组织机构名识别、多级词性标注、关键词提取、指纹提
转载
2023-08-30 13:05:05
152阅读
Jcseg分词器官方版是一款简单且超级好用的轻量级Java分词工具，它可以帮助用户轻松提取关键词和关键词，并为Java的使用提供帮助，该软件还提供了一个基于Jetty的Web服务器，可以满足用户的各种Java编程功能要求并支持自定义同义词库，在lexicon文件夹中，您可以随意添加/删除/更改词库和词库的内容，并对词库进行分类，支持词库的多目录加载，在配置lexicon.path中，使用';'分离
转载
2023-09-18 16:59:54
134阅读
要求使用Java，输入中文语句，分解为词语并输出。思路将词库读入list数组，读入语句，分割语句，和字典的词进行比对，使用逆向检索的方法。（使用逆向的方法是因为逆向更符合中文语句的组词方式）代码第一部分读入词库定义字符串ss，将字符串使用split方法来进行分割，split的使用方法：如果每个，分割一次，则表达式为split(","),如果语句之件为空格，则表达式为split(" ")public
转载
2023-05-25 14:22:34
363阅读
## Java中文分词
在处理中文文本时，一个重要的步骤就是对文本进行分词。分词是将连续的文本序列切分成有意义的词汇序列的过程。在Java中，有许多开源的中文分词工具可供使用，本文将介绍其中一种常用的中文分词工具——HanLP，并演示如何在Java程序中使用它进行中文分词。
### HanLP简介
HanLP是由一系列模型与算法组成的自然语言处理工具包，支持中文词法分析、词性标注、命名实体识
原创
2024-04-04 04:39:20
53阅读
前言 在浅谈分词算法（1）分词中的基本问题我们讨论过基于词典的分词和基于字的分词两大类，在浅谈分词算法（2
原创
2022-11-14 18:04:58
135阅读
