随着互联网和移动设备的普及，短文本数据的处理和分析变得越来越重要。自然语言处理（NLP）是处理和理解自然语言的一种技术，近年来在短文本分类、情感分析、机器翻译等领域得到广泛应用。本文将介绍如何使用 NLP 技术，实现一个中文短文本分类项目的实践。一、项目介绍本项目是一个中文短文本分类器，可以将输入的短文本分为多个类别。本文将使用 Python 语言和相关的 NLP 库，搭建一个基于机器学习的分类器
转载
2024-06-08 13:41:28
51阅读
目录 前言BERT模型概览Seq2SeqAttentionTransformerencoder部分Decoder部分BERTEmbedding预训练文本分类试验参考文献 前言在18年末时，NLP各大公众号、新闻媒体都被BERT（《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》）
转载
2024-02-04 22:27:48
70阅读
在日常应用中，文本比较是一个比较常见的问题。文本比较算法也是一个老生常谈的话题。 文本比较的核心就是比较两个给定的文本（可以是字节流等）之间的差异。目前，主流的比较文本之间的差异主要有两大类。一类是基于编辑距离（Edit Distance）的，例如LD算法。一类是基于最长公共子串的（Longest Common Subsequence），例如Needleman/Wunsch算法等。 LD
hanlp拥有：中文分词、命名实体识别、摘要关键字、依存句法分析、简繁拼音转换、智能推荐。这里主要介绍一下hanlp的中文分词、命名实体识别、依存句法分析，这里就不介绍具体的hanlp的安装了，百度教程很多，可以看这里：http://www.hankcs.com/nlp/python-calls-hanlp.html，里面也有相关的一些介绍。我以前还使用过jieba分词和LTP，综合来
转载
2023-06-27 10:28:21
293阅读
背景文章板块是汽车之家海外站(yesauto.com)的重要组成部分，在产生自发流量和整站SEO方面作用明显。为方便读者，提升阅读体验，同时让汽车内容与汽车销售产生更直接的关联，即提升留资转化率，需要更有效的方式将文章内容与经销商库存直接关联起来。因为汽车评测文章内容中包含很多品牌、车系等信息，直接把品牌、车系变成热点，配置相关超链接，这样用户点击时，能直接跳转到该品牌的库存列表页面。将直接产生导
转载
2023-07-21 15:12:28
185阅读
# NLP领域的长文本与短文本对比
自然语言处理（Natural Language Processing, NLP）是人工智能的一个重要研究领域，广泛应用于智能客服、信息检索、文本生成等多个行业。文本的长度是理解和处理文本时的重要考虑因素之一。在NLP中，长文本和短文本的比较可以帮助我们更好地理解其特点及应用场景。
## 长文本与短文本的定义
**短文本**一般是指字数较少，通常在几句话到几
# 教你如何实现hanlp语义对比
## 流程图
```mermaid
flowchart TD;
A[下载hanlp库] --> B[导入HanLP];
B --> C[分词];
C --> D[词性标注];
D --> E[命名实体识别];
E --> F[依存句法分析];
F --> G[语义角色标注];
```
## 状态图
```m
原创
2024-04-13 04:50:06
47阅读
# 使用 HanLP 和 IK Analyzer 进行文本对比
在自然语言处理领域，分词是一个基础而重要的任务。HanLP 和 IK Analyzer 是两种流行的中文分词工具。本篇文章将引导你通过简单的步骤来对比这两者的分词效果。
## 流程概述
首先，我们来看看实现这个对比的整体流程。以下是你需要执行的步骤：
| 步骤 | 描述
原创
2024-09-03 05:20:03
72阅读
哈希表是一种搜索结构，当数据量大时，哈希搜索的效率高，平均时间复杂度O(1)。【哈希查找】： （1）在插入时，根据待插入元素的关键码，以此函数计算出该元素的存储位置并按此位置进行存放。 （2）在搜索时，对元素的关键码进行同样的计算，把求得的函数值当作元素的存储位置，在结构中按此位置取元素比较，若关键码相等，则搜索成功。 该方式即散列方法（Hash Method），在散列方法中使用的转换函数叫着
此文整理的基础是建立在hanlp较早版本的基础上的，虽然hanlp的最新1.7版本已经发布，但对于入门来说差别不大！分享一篇比较早的“旧文”给需要的朋友！安装HanLPHanLP将数据与程序分离，给予用户自定义的自由。 HanLP由三部分组成：HanLP = .jar + data + .properties ，请前往 项目主页 下载这三个部分。1、下载jar放入classpath并添
转载
2023-12-21 13:12:13
274阅读
阅读理解任务一般形式完形填空：给定一篇文章，将文章部分内容mask 掉，然后让模型根据上下文进行填充
阅读理解的形式与预训练非常类似，所以对预训练模型非常适配完形填空模型，可以看做是最大化条件概率 P(a|C-a)，其中 a 是被移出的内容，C 是上下文通常是对候选字典进行概率分布输出（注意力值），进行归一化后得到最大的作为结果应用场景有限多项选择：给定一篇文章、一个问题和多个备选答案，
转载
2024-06-08 13:38:00
29阅读
Hanlp框架对比
在自然语言处理（NLP）领域，Hanlp作为一个开源框架，近年来受到了广大开发者的青睐。随着对NLP需求的持续增长，各种不同的处理框架如雨后春笋般涌现，选择合适的框架成为了一个重要的问题。在本文中，我将对Hanlp框架进行全面的对比分析，以帮助大家更好地理解其优势与不足。
```mermaid
quadrantChart
title Hanlp框架场景匹配度
文本摘要提取之前写过一版 文本摘要提取，但那版并不完美。有所缺陷（但也获得几十次收藏）。今天写改进版的文本摘要提取。文本摘要旨在将文本或文本集合转换为包含关键信息的简短摘要。文本摘要按照输入类型可分为单文档摘要和多文档摘要。单文档摘要从给定的一个文档中生成摘要，多文档摘要从给定的一组主题相关的文档中生成摘要。按照输出类型可分为抽取式摘要和生成式摘要。 摘要：意思就是从一段文本 用几句话来概括这段话
转载
2023-09-28 21:57:30
144阅读
# 使用 HanLP 实现文本向量化
在自然语言处理（NLP）中，文本向量化是一个重要的步骤，它将文本转换为机器能够理解的数值形式。HanLP是一个强大的自然语言处理工具库，提供了丰富的功能，包括文本向量化。本文将指导你如何使用HanLP实现文本向量化，从基础的安装到具体的代码实现。
## 流程概述
在开始之前，让我们先看一下实现文本向量化的整体流程。以下是流程步骤：
| 步骤
我是目录摘要CERT，2020CLEAR，2020DeCLUTR，2021 ACLConSERT：ACL 2021Self-Guided Contrastive Learning for BERT Sentence Representations, ACL 2021SimCSE：EMNLP2021Pairwise Supervised Contrastive Learning of Senten
# HanLP：文本长度分析及其应用
## 引言
在自然语言处理（NLP）的领域中，文本长度是一个重要的特征。文本长度不仅能够帮助我们理解文本的复杂性，还能够为文本分类、情感分析等任务提供重要信息。在这篇文章中，我们将重点介绍如何使用 HanLP 进行文本长度的分析，并展示相关的代码示例。同时，我们还将通过可视化的方式展示项目的进度和数据分布。
## HanLP 简介
HanLP 是一个开
文章目录引言1. 文本向量化2. one-hot编码3. 词向量-word2vec3.1 词向量-基于语言模型4 词向量 - word2vec基于窗口4.1 词向量-如何训练5. Huffman树6. 负采样-negative sampling7. Glove基于共现矩阵7.1 Glove词向量7.2 Glove对比word2vec8. 词向量训练总结9. 词向量应用9.1词向量应用-寻找近义词
转载
2024-09-24 18:10:47
50阅读
# 如何实现文本摘要 hanlp
## 一、流程概述
为了帮助你理解如何使用hanlp实现文本摘要，以下是整个流程的步骤概览：
```mermaid
gantt
title 文本摘要 hanlp 实现流程
section 操作步骤
准备数据 :a1, 2022-01-01, 1d
分词处理 :a2, after a1, 2d
原创
2024-05-04 04:20:04
50阅读
使用过hanlp的都知道hanlp中有许多词典，它们的格式都是非常相似的，形式都是文本文档，随时可以修改。本篇文章详细介绍了hanlp中的词典格式，以满足用户自定义的需要。基本格式词典分为词频词性词典和词频词典。1、词频词性词典（如CoreNatureDictionary.txt）（1）每一行代表一个单词，格式遵从[单词] [词性A] [A的频次] [词性B] [B的频次] ...。（2）支
在 Word 里打字谁都会，可是看似简单的 Word 也有让人发狂的时候。究其原因，还是因为对它的脾气不够了解。 今天分享 7 个 Word 小技巧，能够让你在制作和排版文档时如有神助，效率百倍。01 万能的 F4 键 经常留意秋叶 PPT 公众号的朋友们，对这个按键一定不陌生。F4 键的功能是重复上一步操作，这意味着，你上一步做完什么操作，按 F4 键，它会自动帮你再来一次。 比如，合并单元格，
