作者：思源、刘晓坤在过去的 2018 年中，自然语言处理出现了很多令人激动的新想法与新工具。从概念观点到实战训练，它们为 NLP 注入了新鲜的活力。在这一年中，清华大学副教授刘知远和他所在的清华自然语言处理实验室同样在这个领域做出了很多成果，他们关注如何结合深度神经网络与大型知识库，并期望构建更多鲁棒及可解释性的自然语言理解系统。在这一篇文章中，机器之心采访了刘知远教授，他向我们介绍了 NLP 在
目前，我国信息化程度不断提高，各类数据中心如雨后春笋般涌现。相应的，IT运维的数据量也成几何速度上升。一方面，运维人员的增长远远跟不上服务器、数据量的增长;另一方面，公司对于提高IT系统稳定性，降低成本的需求却越来越高。这就要求不断的提高运维的自动化水平。现在市场上和业界，监控、程序部署的自动化产品比较丰富，但是对运维数据利用不足。由于开发人员缺乏运维经验，不了解运维数据挖掘的算法;而运维人员
转载
2024-08-27 14:06:08
26阅读
事件语法篇事件•语法篇C#入门详解 为什么人们会认为：事件就是一种特殊形式的委托？ 委托和事件的关系究竟是什么？完整和简略的声明格式[声明自定义事件]本文内容 复习[事件模型]的5个部分 介绍声明自定义事件的完整以及简略的声明格式 优化脚本 总结复习与回顾什么是事件：C#语言中，事件是一种类型成员。但凡是事件，必须隶属于某一个主体。事件的核心是通知事件是一种使对象或者类，能够提供通知的成员。事件发
本文作为笔者NLP入门系列文章第一篇，以后我们就要步入NLP时代。 本文将会介绍NLP中常见的词袋模型（Bag of Words）以及如何利用词袋模型来计算句子间的相似度（余弦相似度，cosine similarity）。 首先，让我们来看一下，什么是词袋模型。我们以下面两个简单句子为例：sent1 = "I love sky, I love sea."
sent2 = "I like
转载
2024-07-18 09:48:01
80阅读
句向量应用 语义搜索，通过句向量相似性，检索语料库中与query最匹配的文本 文本聚类，文本转为定长向量，通过聚类模型可无监督聚集相似文本 文本分类，表示成句向量，直接用简单分类器即训练文本分类器句向量模型： 文档向量构建方法优缺点：bag of words而言，有如下缺点：1.没有考虑到单词的顺序，2.忽略了单词的语义信息。因此这种方法对于短文本效果很差，对于长文本效果一般，通常在科研中用来做b
转载
2024-02-05 11:53:03
127阅读
相较于前两节介绍的词法分析（分词、词性标注或命名实体识别等），句法分析属于NLP较为高阶的问题。本节着重介绍基于统计的句法分析方法，主要介绍基于上下文无关文法的句法分析。在自然语言学习过程中，每个人一定都学过语法，例如句子可以用主语、谓语、宾语来表示。在自然语言的处理过程中，有许多应用场景都需要考虑句子的语法，因此研究语法解析变得非常重要。 我们可以用树状结构图来表示，S表示句子；NP、VP、PP
转载
2023-10-15 07:04:29
116阅读
# NLP句间关系分析
自然语言处理（NLP）是利用计算机科学与语言学相结合的技术，帮助计算机理解、分析和生成人类语言。而句间关系分析（Inter-Sentence Relationship Analysis）则是指在文本中识别以及分析不同句子之间的相互关系，能够帮助我们更好地理解文本中的逻辑关系、因果关系、对比关系等。
## 句间关系的类型
在进行句间关系分析时，常见的关系类型包括但不限于
# LLM 和 NLP 同义句改写的探索
在自然语言处理（NLP）领域，同义句改写是一个重要的任务。它主要指的是生成与原句具有相同或相似意思的不同表述。此技术对于机器翻译、文本摘要和问答系统等应用都有着重要的作用。近年来，随着大型语言模型（LLM）的崛起，同义句改写的效果得到了显著提升。本文将深入探讨这一主题，并提供一些代码示例来帮助您理解基本原理。
## 同义句改写的基本概念
同义句改写通
# Python NLP 中文切句的简单介绍
在自然语言处理(NLP)中，切句是一项重要的预处理任务。对于中文文本而言，由于其没有明显的单词边界，因此实现准确的切句显得尤为复杂。本文将介绍如何使用Python进行中文切句，并提供相关代码示例。
## 为什么切句？
切句的目的是将一段连续的文本划分为多个句子。句子是文本的基本单位，句子的切分可以帮助我们更好地理解文本的结构和含义。在情感分析、信
原创
2024-08-01 12:26:24
101阅读
NLP教程笔记TF_IDF词向量句向量目录NLP教程笔记句向量怎么理解生成对话任务句向量使用深度学习的计算机在理解任何事物之前，都是将这件事物转换成一种数学的表达形式。在AI从业人员看来，AI技术，都是将这些以数字记录的数据，通过AI模型将其转化成一串数字。我们看到的图片就是原始的数据存储在计算机中的样子，中间的模型将图片当做输入，然后输出成右边的数字，我们称其为向量。这个向量，就是模型对于这张图片的理解。你可能会在想，我们不是在说人类的语言吗？这和图片有什么关系？当然是有关系的，机器学习
原创
2021-07-09 14:52:17
631阅读
今天尝试了用张华平博士打造的汉语分词系统进行分词测试，遇到了一些问题，最终还是分词成功，首先感谢NLPIR提供的源码及资料，现将使用过程中遇到的问题及解决方法分享出来，仅供参考。NLPIR提供了多种开发接口，包括c，c#，java，python等，可用于windows和linux平台。本次使用的语言为Java，平台为windows10一、下载源码及资料可以去官网下载最新的源码及开发文档，下载地址为
转载
2023-11-20 11:05:57
56阅读
常用语料资源 下面提供一些网上能下载到的中文的好语料，供研究人员学习使用。(1).中科院自动化所的中英文新闻语料库 http://www.datatang.com/data/13484中文新闻分类语料库从凤凰、新浪、网易、腾讯等版面搜集。英语新闻分类语料库为Reuters-21578的ModApte版本。(2).搜狗的中文新闻语料库 http://www.sogou.com/labs/d
转载
2024-01-22 22:09:06
39阅读
词词是自然语言处理的基本单位，自动词法分析就是利用计算机对词的形态进行分析，判断词的结构和类别。 词性（Part of Speech）是词汇最重要的特性，链接词汇和句法词的分类屈折语：形态分析 分析语：分词 黏着语：分词+形态分析基本任务单词识别&形态还原 考虑特殊的单词：prof. 缩写 不规则变形 形态还原：时态 年代 序数词 货币符号 百分号 合成词还原 seven-year-old
转载
2024-08-02 08:35:10
29阅读
在谓词逻辑中，有下述定义： 原子（atom）谓词公式是一个不能再分解的命题。 原子谓词公式及其否定，统称为文字（literal）。称为正文字，称为负文字。与为互补文字。任何文字的析取式称为子句（clause）。任何文字本身也是子句。 由子句构成的集合称为子句集。 不包含任何文字的子句称为空子句，表示为NIL。由于空子句不含有文字，它不能被任何解释满足，所以，空子句是永假的、不可满足的。 在谓词逻
前言句向量：能够表征整个句子语义的向量，目前效果比较好的方法还是通过bert模型结构来实现，也是本文的主题。有了句向量，我们可以用来进行聚类，处理大规模的文本相似度比较，或者基于语义搜索的信息检索。例如搜索系统中的输入query和匹配文档document、Q&A任务的问题和答案等等，都可以转化为计算两个句子的语义相似/相关度，相关度最高的n个作为模型的返回结果。题外话这种类似的模型一般称为
转载
2023-12-07 06:28:32
46阅读
9. 信息抽取信息抽取是一个宽泛的概念，指的是从非结构化文本中提取结构化信息的一类技术。这类技术依然分为基于规则的正则匹配、有监督学习和无监督学习等各种实现方法。我们将使用一些简单实用的无监督学习方法。由于不需要标注语料库，所以可以利用海量的非结构化文本。本章按照颗粒度从小到大的顺序，介绍抽取新词、关键词、关键短语和关键句的无监督学习方法。9.1 新词提取概述新词是一个相对的概念，每个人的标准都不
转载
2024-07-03 20:43:52
53阅读
倒装完全倒装定义完全倒装是把句子的主谓语序完全颠倒过来，把谓语移到主语前面。主要用法1. 在存现句中，谓语是be, exist, appear, come, happen, lie, live, occur, remain, seem, stand, used to 等动词时，要用完全倒装。
There are some books and a pen on the desk.
桌子上有几本书和一
转载
2024-06-21 14:55:33
61阅读
文章目录Word VectorSkip-grams model with negative samplingContinuous Bag of WordsDocument Vector Word Vector词向量模型可表示为含有一层隐藏层的前向神经网络，词向量为输入层到隐藏层的参数，即参数矩阵的行向量.语料库总词数为|V|embedding后的单词维度为n输入层为n维向量输入层到隐藏层参数矩阵
转载
2024-08-13 11:06:37
50阅读
句向量 Sentence Embedding摘要本文主要对句向量的发展和relate work介绍一下，可以看作一个简单的综述内容，句向量在NLP中有着很重要的作用，同时在许多NLP实际任务中会类似得到word embedding一样得到中间产物句向量 sentence embedding。下面将从最开始的dec2vec，以及word embedding组合的到的句向量分析，到sentence b
转载
2023-09-14 12:28:12
436阅读
NLP自然语言处理系列——LDA主题词模型探析
（一）LDA作用 传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少，如TF-IDF等，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但两个文档是相似的。 举个例子，有两个句子分别如下： “乔布斯离我们而去了。” “苹果价格会不会降？” 可以看到上面这两个句子没有共同出现的单词，但这两个句
转载
2023-12-20 21:28:15
57阅读
