adnb34g的博客_自然语言处理(2)

欢迎

HanLP-停用词表的使用示例

停用词表的修改停用词表在“pyhanlp\static\data\dictionary”路径下的“stopwords.txt”文件中，CoreStopWordDictionary.apply方法支持去除停用词。如果需要修改停用词表，则直接编辑文件“stopwords.txt”，之后删除路径下的“stopwords.txt.bin”，运行CoreStopWordDictionary.apply后即可

hanlp分词

停用词

转载 2019-05-22 08:57:40 2011 阅读

自然语言处理工具hanlp定制用户词条

作者：baiziyu关于hanlp的文章已经分享过很多，似乎好像大部分以理论性的居多。最近有在整理一些hanlp应用项目中的文章，待整理完成后会陆续分享出来。本篇分享的依然是由baiziyu 分享的一篇文章，感兴趣的可以在知乎上关注下他的专栏，写的还是挺好的！以下为文章的主要内容：自定义词表的修改自定义词表在“pyhanlp\static\data\dictionary\custom”路径下的“C

词法分析

转载 2019-05-20 09:03:32 499 阅读

自然语言处理工具pyhanlp分词与词性标注

文本分类

文本挖掘

计算语言学

原创 2019-05-18 09:43:51 2382 阅读

自然语言处理工具HanLP-N最短路径分词

本篇给大家分享baiziyu 写的HanLP 中的N-最短路径分词。以为下分享的原文，部分地方有稍作修改，内容仅供大家学习交流！首先说明在HanLP对外提供的接口中没有使用N-最短路径分词器的，作者在官网中写到这个分词器对于实体识别来说会比最短路径分词稍好，但是它的速度会很慢。对此我有点个人看法，N-最短路径分词相较于最短路径分词来说只是考虑了每个节点下的N种最佳路径，在最后选出的至少N条路径中，

自然语言处理工具

hanlp

N最短路径分词

转载 2019-05-17 09:03:02 506 阅读

中文分词

hanlp

哈工大分词器

转载 2019-05-13 09:40:23 1013 阅读

自然语言处理工具hanlp 1.7.3版本更新内容一览

HanLP 1.7.3 发布了。HanLP 是由一系列模型与算法组成的 Java 工具包，目标是普及自然语言处理在生产环境中的应用。HanLP 具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。在提供丰富功能的同时，HanLP 内部模块坚持低耦合、模型坚持惰性加载、服务坚持静态提供、词典坚持明文发布，使用非常方便，同时自带一些语料处理工具，帮助用户训练自己的模型。新版更新内容： 1

自然

语言

处理

工具

hanlp

原创 2019-05-10 09:21:14 818 阅读

Spark中分布式使用HanLP（1.7.0)分词示例

HanLP分词，如README中所说，如果没有特殊需求，可以通过maven配置，如果要添加自定义词典，需要下载“依赖jar包和用户字典".分享某大神的示例经验:是直接"java xf hanlp-1.6.8-sources.jar" 解压源码，把源码加入工程（依赖本地jar包，有些麻烦，有时候到服务器有找不到jar包的情况)按照文档操作，在Spark中分词，默认找的是本地目录，所以如果是在driv

spark分布式

hanlp分词

转载 2019-05-08 08:59:34 392 阅读

HanLP中文分词Lucene插件

基于HanLP，支持包括Solr（7.x）在内的任何基于Lucene（7.x）的系统。

hanlp中文分词

Lucene插件

转载 2019-04-15 09:36:59 602 阅读

pyhanlp:hanlp的python接口

HanLP的Python接口，支持自动下载与升级HanLP，兼容py2、py3。安装pip install pyhanlp使用命令hanlp来验证安装，如因网络等原因自动安装失败，可参考手动配置或Windows指南。命令行中文分词使用命令hanlp segment进入交互分词模式，输入一个句子并回车，HanLP会输出分词结果： $ hanlp segment商品和服务商品/n 和/cc 服务/v

pyhanlp

python接口

转载 2019-04-12 10:14:23 428 阅读

Hanlp自然语言处理工具之词法分析器

本章是接前两篇《分词工具Hanlp基于感知机的中文分词框架》和《基于结构化感知机的词性标注与命名实体识别框架》的。本系统将同时进行中文分词、词性标注与命名实体识别3个任务的子系统称为“词法分析器”。

词法分析器

汉语言处理包

原创 2019-04-10 09:50:15 687 阅读

分词工具Hanlp基于感知机的中文分词框架

结构化感知机标注框架是一套利用感知机做序列标注任务，并且应用到中文分词、词性标注与命名实体识别这三个问题的完整在线学习框架，该框架利用1个算法解决3个问题，时自治同意的系统，同时三个任务顺序渐进，构成流水线式的系统。本文先介绍中文分词框架部分内容。中文分词训练只需指定输入语料的路径（单文档时为文件路径，多文档时为文件夹路径，灵活处理），以及模型保存位置即可：命令行java

hanlp

中文分词

结构化感知机

原创 2019-04-03 10:18:37 515 阅读

分词工具Hanlp基于感知机的中文分词框架

结构化感知机标注框架是一套利用感知机做序列标注任务，并且应用到中文分词、词性标注与命名实体识别这三个问题的完整在线学习框架，该框架利用1个算法解决3个问题，时自治同意的系统，同时三个任务顺序渐进，构成流水线式的系统。本文先介绍中文分词框架部分内容。中文分词训练只需指定输入语料的路径（单文档时为文件路径，多文档时为文件夹路径，灵活处理），以及模型保存位置即可：命令行java

hanlp

中文分词

结构化感知机

原创 2019-04-03 10:18:30 485 阅读

Android环境下hanlp汉字转拼音功能的使用介绍

由于项目需要在Android手机设备上实现汉字转拼音功能（支持多音字），于是首先想到了Pinyin4j+多音字映射对照表的实现方案，并在项目中试用了一段时间，发现数据量大时，其耗时非常严重。后来寻找其他方案，在github上找到了HanLP开源库，其多音字转换速度非常快，但是没有针对Android平台进行适配，于是对代码进行了一些修改，终于可以在Android手机上运行。修改后的工程已上传至git

自然语言处理

Hadoop

安卓平台

转载 2019-04-01 13:32:09 340 阅读

汉语言处理工具pyhanlp的拼音转换与字符正则化

汉字转拼音HanLP中的汉字转拼音功能也十分的强大。说明：HanLP不仅支持基础的汉字转拼音，还支持声母、韵母、音调、音标和输入法首字母首声母功能。HanLP能够识别多音字，也能给繁体中文注拼音。最重要的是，HanLP采用的模式匹配升级到AhoCorasickDoubleArrayTrie，性能大幅提升，能够提供毫秒级的响应速度！算法详解：《汉字转拼音与简繁转换的Java实现》1.#汉字转

hanlp

拼音转换

转载 2019-03-29 11:41:23 260 阅读

汉语言处理工具pyhanlp的简繁转换

HanLP几乎实现了所有我们需要的繁简转换方式，并且已经封装到了HanLP中，使得我们可以轻松的使用，而分词器中已经默认支持多种繁简格式或者混合。这里我们不再做过多描述。

自然语言处理

hanlp简繁转换

转载 2019-03-29 10:12:24 288 阅读

Hanlp中N最短路径分词详细介绍

N-最短路径是中科院分词工具NLPIR进行分词用到的一个重要算法，张华平、刘群老师在论文《基于N-最短路径方法的中文词语粗分模型》中做了比较详细的介绍。该算法算法基本思想很简单，就是给定一待处理字串，根据词典，找出词典中所有可能的词，构造出字串的一个有向无环图，算出从开始到结束所有路径中最短的前N条路径。因为允许相等长度的路径并列，故最终的结果集合会大于或等于N。

hanlp分词

N最短路径分词

转载 2019-03-25 11:37:42 426 阅读

Hanlp1.7版本的新增功能一览

Hanlp1.7版本在去年下半年的时候就随大快的DKH1.6版本同时发布了，截至目前1.7大版本也更新到了1.7.1了。本篇分别就1.7.0和1.7.1中新增的功能做一个简单的汇总介绍。

hanlp

版本

原创 2019-03-22 09:18:31 307 阅读

Hanlp汉字转拼音使用python调用详解

1、hanlp简介HanLP是一系列模型与算法组成的NLP工具包，由大快搜索主导并完全开源，目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。开源网址：HanLP: Han Language Processing但由于hanlp是用java来实现的，要在python中使用hanlp，只能通过调用pyhanlp这个包来。但是pyhanlp

hanlp分词

汉字转拼音

python

转载 2019-03-20 10:09:30 272 阅读

如何在hanlp词典中手动添加未登录词

我们在使用hanlp词典进行分词的时候，难免会出现分词不准确的情况，原因是由于内置词典中并没有收录当前的这个词，也就是我们所说的未登录词，只要把这个词加入到内置词典中就可以解决类似问题，如何操作，下面我们就看一下具体的步骤

hanlp词典

转载 2019-03-18 13:49:47 253 阅读

Hanlp自然语言处理中的词典格式说明

使用过hanlp的都知道hanlp中有许多词典，它们的格式都是非常相似的，形式都是文本文档，随时可以修改。本篇文章详细介绍了hanlp中的词典格式，以满足用户自定义的需要。

hanlp

词典格式

自然语言处理工具

原创 2019-03-15 10:39:02 846 阅读

中文分词算法工具hanlp源码解析

词图指的是句子中所有词可能构成的图。如果一个词A的下一个词可能是B的话，那么A和B之间具有一条路径E(A,B)。一个词可能有多个后续，同时也可能有多个前驱，它们构成的图我称作词图。需要稀疏2维矩阵模型，以一个词的起始位置作为行，终止位置作为列，可以得到一个二维矩阵。例如：“他说的确实在理”这句话

自然语言处理工具

hanlp源码分析

中文分词算法

转载 2019-03-13 10:30:55 468 阅读

Hanlp分词1.7版本在Spark中分布式使用记录

新发布1.7.0版本的hanlp自然语言处理工具包差不多已经有半年时间了，最近也是一直在整理这个新版本hanlp分词工具的相关内容。不过按照当前的整理进度，还需要一段时间再给大家详细分享整理的内容。昨天正好看到的这篇关于关于1.7.0版本hanlp分词在spark中的使用介绍的文章，顺便分享给大家一起学习一下！

spark分布式

hanlp分词

转载 2019-03-11 11:50:22 245 阅读

Window离线环境下如何安装pyhanlp

HanLP是一款优秀的中文自然语言处理工具，可以实现包括分词、词性标注、实体识别在内容诸多功能，详情见其项目主页。另外，该工具包还提供了python3的接口，在线安装很方便，但有时需要部署在内网机等没有网络环境的机器上，比较繁琐，

window

hanlp安装

转载 2019-03-08 09:52:35 646 阅读

如何编译运行HanLP自然语言处理包

master分支对于master分支，编译方法如下:git clone https://github.com/hankcs/HanLP.gitmvn install -DskipTests ·由于目前一些test不够规范，使用了硬编码路径下的资源，所以暂时跳过单元测试。·该方法不会将src/main/resources目录下的任何资源（包括hanlp.properties）打

hanlp

自然语言

处理包

原创 2019-03-06 11:26:40 298 阅读

如何在linux服务器上使用hanlp

关于如何在linux服务器上使用hanlp也有分享过一篇，但分享的内容与湘笑的这篇还是不同的。此处分享一下湘笑的这篇hanlp在linux服务器上使用的文章，供新手朋友学习之用。本文主要工作是在linux服务器上使用hanlp，测试源码主要是hanlp源码中的HanLP-1.3.1\src\test\java\com\hankcs\demo\DemoKeyword.java （hanl

linux服务器

hanlp

转载 2019-03-04 08:55:59 204 阅读

如何在linux服务器上使用hanlp

关于如何在linux服务器上使用hanlp也有分享过一篇，但分享的内容与湘笑的这篇还是不同的。此处分享一下湘笑的这篇hanlp在linux服务器上使用的文章，供新手朋友学习之用。本文主要工作是在linux服务器上使用hanlp，测试源码主要是hanlp源码中的HanLP-1.3.1\src\test\java\com\hankcs\demo\DemoKeyword.java （hanl

linux服务器

hanlp

转载 2019-03-04 08:55:53 270 阅读

hanlp提取文本关键词的使用方法记录

如何在一段文本之中提取出相应的关键词呢？之前有想过用机器学习的方法来进行词法分析，但是在项目中测试时正确率不够。于是这时候便有了 HanLP-汉语言处理包来进行提取关键词的想法。

hanlp分词

文本关键词提取

转载 2019-03-01 08:54:12 294 阅读

hanlp提取文本关键词的使用方法记录

如何在一段文本之中提取出相应的关键词呢？之前有想过用机器学习的方法来进行词法分析，但是在项目中测试时正确率不够。于是这时候便有了 HanLP-汉语言处理包来进行提取关键词的想法。

hanlp分词

文本关键词提取

转载 2019-03-01 08:54:04 539 阅读

开源自然语言处理工具包hanlp中CRF分词实现详解

CRF简介CRF是序列标注场景中常用的模型，比HMM能利用更多的特征，比MEMM更能抵抗标记偏置的问题。[gerative-discriminative.png] CRF训练这类耗时的任务，还是交给了用C++实现的CRF++。关于CRF++输出的CRF模型，请参考《CRF++模型格式说明》。 CRF解码解码采用维特比算法实现。并且稍有改进，用中文伪码与白

CRF分词

hanlp

自然语言处理工具包

转载 2019-02-27 09:27:52 848 阅读

hanlp和jieba等六大中文分工具的测试对比

本篇文章测试的哈工大LTP、中科院计算所NLPIR、清华大学THULAC和jieba、FoolNLTK、HanLP这六大中文分词工具是由水...琥珀完成的。相关测试的文章之前也看到过一些，但本篇阐述的可以说是比较详细的了。这里就分享一下给各位朋友！安装调用jieba“结巴”中文分词：做最好的 Python 中文分词组件THULAC清华大学：一个高效的中文词法分析

jieba分词

hanlp分词

thulac 中文分词

转载 2019-02-25 10:47:54 544 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

adnb34g的博客

欢迎

HanLP-停用词表的使用示例

自然语言处理工具hanlp定制用户词条

自然语言处理工具pyhanlp分词与词性标注

自然语言处理工具HanLP-N最短路径分词

比较好的中文分词方案汇总推荐

自然语言处理工具hanlp 1.7.3版本更新内容一览

Spark中分布式使用HanLP（1.7.0)分词示例

HanLP中文分词Lucene插件

pyhanlp:hanlp的python接口

Hanlp自然语言处理工具之词法分析器

分词工具Hanlp基于感知机的中文分词框架

分词工具Hanlp基于感知机的中文分词框架

Android环境下hanlp汉字转拼音功能的使用介绍

汉语言处理工具pyhanlp的拼音转换与字符正则化

汉语言处理工具pyhanlp的简繁转换

Hanlp中N最短路径分词详细介绍

Hanlp1.7版本的新增功能一览

Hanlp汉字转拼音使用python调用详解

如何在hanlp词典中手动添加未登录词

Hanlp自然语言处理中的词典格式说明

中文分词算法工具hanlp源码解析

Hanlp分词1.7版本在Spark中分布式使用记录

Window离线环境下如何安装pyhanlp

如何编译运行HanLP自然语言处理包

如何在linux服务器上使用hanlp

如何在linux服务器上使用hanlp

hanlp提取文本关键词的使用方法记录

hanlp提取文本关键词的使用方法记录

开源自然语言处理工具包hanlp中CRF分词实现详解

hanlp和jieba等六大中文分工具的测试对比