本人菜鸟，很多地方都是看其他的博客学到的，自己也说不清楚，就贴出来供大家学习，写的不好大家包涵！之前做过HMM进行中文分词，这次使用BiLSTM加CRF(条件随机场)进行中文分词。HMM中文分词：本文代码github地址：https://github.com/WhiteGive-Boy/CWS-Hmm_BiLSTM-CRF biLSTM，指的是双向LSTM；CRF指的是条件
与基于隐马尔可夫模型的最短路径分词、N-最短路径分词相比，基于条件随机场（CRF）的分词对未登录词有更好的支持。本文（HanLP）使用纯Java实现CRF模型的读取与维特比后向解码，内部特征函数采用 双数组Trie树(DoubleArrayTrie)储存，得到了一个高性能的中文分词器。
原创
2018-10-19 09:18:30
1069阅读
CRF：条件随机场，一种机器学习技术。给定一组输入随机变量条件下，另一组输出随机变量的条件概率分布模型。以一组词性标注为例，给定输入X={我，喜欢，学习}，那么输出为Y={名词，动词，名词}的概率应该为最大。输入序列X又称为观测序列，输出序列Y又称为状态序列。这个状态序列构成马尔可夫随机场，所以根据观测序列，得出状态序列的概率就包括，前一个状态转化为后一状态的概率（即转移概率）和状态变量到观测变量
转载
2023-08-29 16:08:20
112阅读
这是另一套基于CRF的词法分析系统，类似感知机词法分析器，提供了完善的训练与分析接口。
原创
2019-02-18 14:31:17
842阅读
本文旨在介绍如何利用HanLP训练分词模型，包括语料格式、语料预处理、训练接口、输出格式等。 目前HanLP内置的训练接口是针对一阶HMM-NGram设计的，另外附带了通用的语料加载工具，可以通过少量代码导出供其他训练工具使用的特定格式（如CRF++）。语料格式输入语料格式为人民日报分词语料库格式。该格式并没有明确的规范，但总体满足以下几点：1、单词与词性之间使用“/”分割，如华尔街/nsf，且任
词性标注在HanLP的readme中有这样的一段话词性标注
HMM词性标注（速度快）
感知机词性标注、CRF词性标注（精度高）在之前的分词部分，我们已经发现了，在分词器中，默认是开启词性标注的，甚至想要获得没有词性标注的list还需要使用， HanLP.Config.ShowTermNature = False语句或者想办法从term_list中获取term.word。但是在HanLP中
转载
2023-07-21 15:10:41
294阅读
预训练1.ERNIE-Doc: A Retrospective Long-Document Modeling Transformer1.1. ERNIE-Doc简介经典的Transformer在处理数据时，会将文本数据按照固定长度进行截断，这个看起来比较”武断”的操作会造成上下文碎片化以及无法建模更长的序列依赖关系。基于此项考虑，ERNIE-Doc提出了一种文档层级的预训练语言模型方法：ERNIE
将HanLP的data(包含词典和模型)放到hdfs上，然后在项目配置文件hanlp.properties中配置root的路径，比
原创
2023-05-06 15:11:14
115阅读
pyhanlp的github：https://github.com/hankcs/pyhanlppyhanlp官方文档:https://pypi.org/project/pyhanlp/HanLP主文档目录：https://github.com/hankcs/HanLP/blob/1.x/README.mdpyhanlp案例：https://github.com/hankcs/pyhanlp/tr
词典分词中文分词算法大致分为基于词典规则与基于机器学习两个大学派，词典分词是最简单、最常见的分词算法。 基于词典的分词首先要准备一份充分大的词典，然后依据一定的策略扫描句子，若句子中的某个子串与词典中的某个词匹配，则分词成功。常见的扫描策略有：正向最大匹配、逆向最大匹配、双向最大匹配和最少词数分词。切分算法1.正向最长匹配考虑越长的单词表达的意义越丰富，于是定义单词越长优先级越高，具体来说就是在以
转载
2023-09-04 15:10:49
285阅读
流行中英文分词工具hanlp:
中英文NLP处理工具包, 基于tensorflow2.0, 使用在学术界和行业中推广最先进的深度学习技术.使用hanlp进行中文分词：>>> import hanlp
# 加载CTB_CONVSEG预训练模型进行分词任务
>>> tokenizer = hanlp.load('CTB6_CONVSEG')
>>&
转载
2023-07-12 15:38:42
418阅读
# 如何实现“pyhanlp crf 分词”
## 基本信息
- 角色：经验丰富的开发者
- 任务：教导新手如何实现“pyhanlp crf 分词”
### 步骤表格
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 安装pyhanlp库 |
| 2 | 下载CRF模型文件 |
| 3 | 加载CRF模型 |
| 4 | 进行分词操作 |
### 操作描述
1. *
使用jieba库分词一.什么是jieba库 jieba库概述 jieba是优秀的中文分词第三方库，中文文本需要通过分词获得单个词语。2.jieba库的使用：（jieba库支持3种分词模式）通过中文词库的方式识别精确模式：把文本精确的切分开，不存在冗余单词全模式：把文本所有可能的词语都描述出来，有冗余搜索引擎模式：在精确模式的基础上，对长词进行切分3.jieba库是属
转载
2023-07-25 07:10:30
90阅读
# CRF分词与Python实现
在自然语言处理（NLP）领域，中文分词是一个重要的任务。由于中文文本中没有明显的单词边界，因此需要有效的分词算法来提取词语。条件随机场（CRF，Conditional Random Field）是一种强大的统计建模方法，广泛应用于序列标注问题，比如分词。
## 什么是CRF？
CRF是一种判别式模型，用于标记和分割序列数据。与传统的隐马尔可夫模型（HMM）不
条件随机场跟隐式马可夫模型常被一起提及，条件随机场对于输入和输出的机率分布，没有如隐式马可夫模型那般强烈的假设存在。条件随机域（场）（conditional random fields，简称 CRF，或CRFs），是一种判别式概率模型，是随机场的一种，常用于标注或分析序列资料，如自然语言文字或是生物序列。如同马尔可夫随机场，条件随机场为具有无向的图模型，图中的顶点代表随机变量，顶点间的连线代表随机
HanLP是由一系列模型与算法组成的工具包，目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点；提供词法分析（中文分词、词性标注、命名实体识别）、句法分析、文本分类和情感分析等功能。官方文档：https://github.com/hankcs/HanLPJava1.X官方文档：https://github.com/hankcs/HanLP
HanLP（Han Language Processing）是由一系列模型与算法组成的Java工具包，目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。环境搭建1.创建java项目，导入HanLP必要的包2.把对应的配置文件放置在src下3.修改hanlp.properties配置文件，使其指向data（data中包含词典和模型）的
文章目录前言一、java版实战二、Python版实战总结 前言其实，单纯从我们的实用来看，前面的所有章节都无需理解，本节才是关键，就像绝大部分人不会去追究1+1为什么等于2，我们只需要知道它等于2即可hanlp分词主要有两个，对应前面章节学习的双数组字典树和基于双数组的AC树。 类名分别为：DoubleArrayTireSegment和AhoCorasickDoubleArrayTireSegm
转载
2023-07-12 15:44:54
170阅读
hanlp是一套中文的NLP处理库，里面提供了分词、拼音、摘要等很多实用功能，本文我们只看分词能力。分词原理先根据核心词典（CoreNatureDictionary.txt）粗分，例如“话统计算”，粗分成：[[ ], [话], [统, 统计], [计, 计算], [算], [ ]]该步骤类似于结巴的全模式分词。然后结合二元概率词典（CoreNatureDictionary.ngram.mini.t
转载
2023-07-29 16:09:50
141阅读
这篇文章主要是记录HanLP标准分词算法整个实现流程。HanLP的核心词典训练自人民日报2014语料，语料不是完美的，总会存在一些错误。这些错误可能会导致分词出现奇怪的结果，这时请打开调试模式排查问题:HanLP.Config.enableDebug();那什么是语料呢？通俗的理解，就是HanLP里面的二个核心词典。假设收集了人民日报若干篇文档，通过人工手工分词，统计人工分词后的词频：①统计分词后
