adnb34g的博客_自然语言处理(3)

Java利用hanlp完成语句相似度分析的案例详解

在做考试系统需求时，后台题库系统提供录入题目的功能。在录入题目的时候，由于题目来源广泛，且参与录入题目的人有多位，因此容易出现录入重复题目的情况。所以需要实现语句相似度分析功能，从而筛选出重复的题目并人工处理之。下面介绍如何使用Java实现上述想法，完成语句相似度分析：

java

hanlp分词

语句相似度分析

转载 2019-02-22 08:49:36 368 阅读 1收藏

pyhanlp文本分类与情感分析

语料库本文语料库特指文本分类语料库，对应IDataSet接口。而文本分类语料库包含两个概念：文档和类目。一个文档只属于一个类目，一个类目可能含有多个文档。比如搜狗文本分类语料库迷你版.zip，下载前请先阅读搜狗实验室数据使用许可协议。用Map描述这种关系可以用Java的Map<String, String[]>来描述，其key代表类目，value代表该类目下的所有文档。用户可以利用自己

hanlp

文本分类

情感分析

转载 2019-02-20 14:01:13 997 阅读

自然语言处理工具hanlp关键词提取图解TextRank算法

TextRank是在Google的PageRank算法启发下，针对文本里的句子设计的权重算法，目标是自动摘要。它利用投票的原理，让每一个单词给它的邻居（术语称窗口）投赞成票，票的权重取决于自己的票数。这是一个“先有鸡还是先有蛋”的悖论，PageRank采用矩阵迭代收敛的方式解决了这个悖论。本博文通过hanlp关键词提取的一个Demo，并通过图解的方式来讲解TextRank的算法。

hanlp关键词提取

TextRank算法

转载 2019-02-20 09:23:54 622 阅读

Hanlp分词之CRF中文词法分析详解

这是另一套基于CRF的词法分析系统，类似感知机词法分析器，提供了完善的训练与分析接口。

CRF分词

中文识别

原创 2019-02-18 14:31:17 842 阅读

NLP自然语言处理中的hanlp分词实例

本篇分享的依然是关于hanlp的分词使用，文章内容分享自 gladosAI 的博客，本篇文章中提出了一个问题，hanlp分词影响了实验判断结果。为何会如此，不妨一起学习一下 gladosAI 的这篇文章。

NLP

hanlp分词

jieba分词

转载 2019-02-18 08:46:16 2178 阅读

Pyhanlp自然语言处理中的新词识别

本“新词发现”模块基于信息熵和互信息两种算法，可以在无语料的情况下提取一段长文本中的词语，并支持过滤掉系统中已存在的“旧词”，得到新词列表。

pyhanlp

新词识别

原创 2019-02-15 14:55:06 702 阅读

中文自然语言处理工具HanLP源码包的下载使用记录

这篇文章主要分享的是hanlp自然语言处理源码的下载，数据集的下载，以及将让源代码中的demo能够跑通。Hanlp安装包的下载以及安装其实之前就已经有过分享了。本篇文章主要还是备忘之用，同时算是给新手朋友的一些参考吧！不过在此之前先推荐两本书给想要学习中文自然语言处理的朋友，分别是《NLP汉语自然语言处理原理与实战》，里面介绍了汉语自然语言处理的相关技术，还有一些源码的解读；另一本是《python自然语言处理》。

自然语言处理

hanlp下载

原创 2019-02-15 09:31:10 519 阅读

中文自然语言处理工具hanlp隐马角色标注详解

本文旨在介绍如何利用HanLP训练分词模型，包括语料格式、语料预处理、训练接口、输出格式等。目前HanLP内置的训练接口是针对一阶HMM-NGram设计的，另外附带了通用的语料加载工具，可以通过少量代码导出供其他训练工具使用的特定格式（如CRF++）。

HanLP

训练

分词模型

原创 2019-02-13 14:47:16 458 阅读

自然语言处理工具python调用hanlp中文实体识别

Hanlp作为一款重要的中文分词工具，在GitHub的用户量已经非常之高，应该可以看得出来大家对于hanlp这款分词工具还是很认可的。本篇继续分享一篇关于hanlp的使用实例即Python调用hanlp进行中文实体识别。

自然

语言

处理工具

原创 2019-02-13 09:02:07 855 阅读

自然语言处理工具hanlp自定义词汇添加图解

过程分析1.添加新词需要确定无缓存文件，否则无法使用成功，因为词典会优先加载缓存文件2.再确认缓存文件不在时，打开本地词典按照格式添加自定义词汇。3.调用分词函数重新生成缓存文件，这时会报一个找不到缓存文件的异常，不用管，因为加载词典进入内存是会优先加载缓存，缓存不在当然会报异常，然后加载词典生成缓存文件，最后处理字符进行分词就会发现新添加的词汇可以进行分词了。操作过程图解：1、有缓存文件的情况下

自然语言处理工具

hanlp

原创 2019-01-27 09:50:08 623 阅读

在Hanlp词典手动添加未登录词的方式介绍

在使用Hanlp词典进行分词的时候，会出现分词不准的情况，原因是内置词典中并没有收录当前这个词，也就是我们所说的未登录词，只要把这个词加入到内置词典中就可以解决类似问题，如何操作呢，

hanlp分词

转载 2019-01-25 09:38:07 295 阅读

如何使用Hanlp加载大字典

问题因为需要加载一个近1G的字典到Hanlp中，一开始使用了CustomDictionay.add()方法来一条条的加载，果然到了中间，维护DoubleArraTre的成本太高，添加一个节点，都会很长时间，本来时间长一点没有关系，只要训练出.bin的文件，第二次加载就会很快，然而作为以空间换时间的DAT结构，内存消耗很大，预料之内的出现了1outofmemory:heapsize的问题。后来尝试直

hanlp分词

自定义词典

转载 2019-01-23 09:47:03 289 阅读

spark集群使用hanlp进行分布式分词操作说明

本篇分享一个使用hanlp分词的操作小案例，即在spark集群中使用hanlp完成分布式分词的操作

spark

hanlp分词

转载 2019-01-21 09:50:13 532 阅读

自然语言处理hanlp的入门基础

此文整理的基础是建立在hanlp较早版本的基础上的，虽然hanlp的最新1.7版本已经发布，但对于入门来说差别不大！分享一篇比较早的“旧文”给需要的朋友！

hanlp

转载 2019-01-18 10:00:59 588 阅读

基于CRF序列标注的中文依存句法分析器的Java实现

这是一个基于CRF的中文依存句法分析器，内部CRF模型的特征函数采用双数组Trie树(DoubleArrayTrie)储存，解码采用特化的维特比后向算法。相较于《最大熵依存句法分析器的实现》，分析速度翻了一倍，达到了1262.8655 sent/s

java

依存句法

转载 2019-01-16 11:13:48 483 阅读

基于结构化平均感知机的分词器Java实现

最近高产似母猪，写了个基于AP的中文分词器，在Bakeoff-05的MSR语料上F值有96.11%。最重要的是，只训练了5个迭代；包含语料加载等IO操作在内，整个训练一共才花费23秒。应用裁剪算法去掉模型中80%的特征后，F值才下降不到0.1个百分点，体积控制在11兆。如果训练一百个迭代，F值可达到96.31%，训练时间两分多钟。

hnalp

中文分词

java

转载 2019-01-14 09:30:58 612 阅读

HanLP分词命名实体提取详解

文本挖掘是抽取有效、新颖、有用、可理解的、散布在文本文件中的有价值知识，并且利用这些知识更好地组织信息的过程。对于文本来说，由于语言组织形式各异，表达方式多样，文本里面提到的很多要素，如人名、手机号、组织名、地名等都称之为实体。在工程领域，招投标文件里的这些实体信息至关重要。利用自然语言处理技术从形式各异的文件中提取出这些实体，能有效提高工作效率和挖掘实体之间的潜在联系。

hanlp分词

命名实体

转载 2019-01-11 11:05:50 1635 阅读

pyhanlp 中文词性标注与分词简介

如果想要只获取词性也是可以的，因为原分词器返回的是Java中的ArrayList属性，list中的每个单元都是一个term类，因此我们也可以通过获取term中的word字段来直接获取词语，或者nature属性，直接获取词性。这一特征，我们在之后也会用到。

pyhanlp

中文词性标注

分词

转载 2019-01-07 10:10:18 1260 阅读

pyhanlp 共性分析与短语提取内容详解

HanLP中的词语提取是基于互信息与信息熵。想要计算互信息与信息熵有限要做的是文本分词进行共性分析。在作者的原文中，有几个问题，为了便于说明，这里首先给出短语提取的原理。在文末在给出pyhanlp的调用代码。

hanlp

共性分析

短语提取

转载 2019-01-04 09:26:57 521 阅读

HanLP的自定义词典使用方式与注意事项介绍

【环境】python 2.7 方法一：使用pyhanlp，具体方法如下：pip install pyhanlp # 安装pyhanlp进入python安装包路径，如/usr/lib/python2.7/site-packages/pyhanlp/static/将http://hanlp.properties.in改名为备份文件。 mv hanlp.pro

hanlp

自定义词典

转载 2019-01-02 09:43:16 727 阅读

简单有效的多标准中文分词详解

这是一种简单的多标注中文分词解决方案，可以在不增加模型复杂度的情况下联合多个语料库训练单个模型。该方案虽然简单，但的确带来了显著的性能提升（特别是对于小数据集如WTB）。同时我们也注意到特别大的数据集受益很小或无法从中受益（MSR），留作未来研究。我们希望该方法成为多标准中文分词的一个baseline，或生产系统中的一个物美价廉的拓展。

hanlp

中文分词

转载 2018-12-28 11:18:44 422 阅读

python调用hanlp分词包手记

Hanlp作为一款重要的分词工具，本月初的时候看到大快搜索发布了hanlp的1.7版本，新增了文本聚类、流水线分词等功能。关于hanlp1.7版本的新功能，后面有使用的到时候在给大家分享。

python

hanlp分词

自然语言处理工具

转载 2018-12-26 09:35:03 688 阅读

自然语言处理工具HanLP被收录中国大数据产业发展的创新技术新书《数据之翼》

在12月20日由中国电子信息产业发展研究院主办的2018中国软件大会上，大快搜索获评“2018中国大数据基础软件领域领军企业”，并成功入选中国数字化转型TOP100服务商。图：大快搜索获评“2018中国大数据基础软件领域领军企业”在本届2018中国软件大会上，不仅宣传并成立了数字转型促进会，还发布了由中国大数据产业生态联盟副秘书长、《软件和集成电路》杂志社总编辑郭嘉凯编辑的新书——《数据之翼-引领

hanlp

数据之翼

自然语言处理工具

转载 2018-12-24 09:39:20 376 阅读

pyhanlp 两种依存句法分类器

依存句法分析器在HanLP中一共有两种句法分析器·依存句法分析（1）基于神经网络的高性能依存句法分析器（2）MaxEnt依存句法分析基于神经网络的高性能依存句法分析器HanLP中的基于神经网络的高性能依存句法分析器参考的是14年Chen&Manning的论文（A Fast and Accurate Dependency Parser using Neural Networks），这里还有一

pyhanlp

依存句法

转载 2018-12-21 10:25:06 281 阅读

pyhanlp 两种依存句法分类器

依存句法分析器在HanLP中一共有两种句法分析器·依存句法分析（1）基于神经网络的高性能依存句法分析器（2）MaxEnt依存句法分析基于神经网络的高性能依存句法分析器HanLP中的基于神经网络的高性能依存句法分析器参考的是14年Chen&Manning的论文（A Fast and Accurate Dependency Parser using Neural Networks），这里还有一

pyhanlp

依存句法

转载 2018-12-21 10:25:02 680 阅读

hanlp在Python环境中的安装失败后的解决方法

Hanlp是由一系列模型与算法组成的javag工具包，目标是普及自然语言处理再生环境中的应用。有很多人在安装hanlp的时候会遇到安装失败的情况，下面就是某大神的分享的在python环境中安装失败的解决方法，大家可以借鉴学习以下！

hanlp

python

转载 2018-12-19 09:28:31 712 阅读

pyhanlp用户自定义词典添加实例说明

经过测试，HanLP比nltk在中文分词和实体识别方面都更好用.

pyhanlp

用户自定义词典

转载 2018-12-17 10:40:37 759 阅读

ubuntu下pycharm调用Hanlp实践分享

前几天看了大快的举办的大数据论坛峰会的现场直播，惊喜的是hanlp2.0版本发布。Hanlp2.0版本将会支持任意多的语种，感觉还是挺好的！不过更多关于hanlp2.0的信息，可能还需要过一段时间才能看到，只能等一下了！下面分享一篇大神的文章，是关于在ubuntu下使用pycharm调用hanlp的实验。

pycharm调用Hanlp

中文分词

转载 2018-12-14 09:05:19 424 阅读

在Python中调用Java扩展包HanLP测试记录

Python

java扩展包

hanlp分词

转载 2018-12-12 15:44:57 270 阅读

Hanlp在ubuntu中的使用方法介绍

HanLP的一个很大的好处是离线开源工具包，换而言之，它不仅提供免费的代码免费下载，而且将辛苦收集的词典也对外公开啦，此诚乃一大无私之举．我在安装的时候，主要参照这份博客： http://blog.51cto.com/13636660/2287803不过该博客主要介绍的是windows如何使用hanlp,而ubuntu是linux的，所以会有所区别．下面我主要介绍的是在unbuntu的安

hanlp

ubuntu

转载 2018-12-10 09:49:59 354 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

adnb34g的博客