自然语言处理技术是所有与自然语言的计算机处理有关的技术的统称，其目的是使计算机理解和接受人类用自然语言输入的指令，完成从一种语言到另一种语言的翻译功能。自然语言处理技术的研究，可以丰富计算机知识处理的研究内容，推动人工智能技术的发展。下面我们就来了解和分析自然语言处理的关键技术。 一、 常用技术分类 1、 模式匹配技术模式匹配技术
转载
2023-08-13 15:20:41
146阅读
世界文本检索大会TREC (http://trec.nist.gov/) 的最大特点是通过提供大规模训练语 料和统一评测方法来支持IR技术的研发。研究团队必须通过大会的统一评测并名列前茅， 才能获准到会上来做报告。1992年起TREC每年举办一届大会，并得到美国国防部（DARPA） 和国家标准技术局（NIST）的资助。会议对包括中文、日文在内的多文种文档库开展了IR 评测。结果表明，中文IR并没有
转载
2023-11-04 13:35:24
61阅读
引言随着自然语言处理的不断发展和机器学习的分支的完善，在自然语言处理的应用方面和心理语言学领域方面出现了很多新的方法和突破，这篇文章将介绍三篇这方面的论文，其中两篇专注于nlp的应用，另外一篇和心理语言学有关，来深入了解nlp的实际运用，计算机处理人类语言的一些障碍，还有一些未来的可研究的方向。文章概览Select, Extract and Generate: Neural Keyphrase G
转载
2023-11-21 20:04:07
15阅读
自然语言处理技术的一些应用 自然语言处理（NLP）是现代计算机科学和人工智能领域的一个重要分支，是一门融合了语言学、数学、计算机科学的科学。这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。近段时间
转载
2023-10-03 19:43:50
167阅读
题目：有一座高度是10级台阶的楼梯，从下往上走，每跨一步只能向上1级或者2级台阶。要求用程序来求出一共有多少种走法。比如，每次走1级台阶，一共走10步，这是其中一种走法。我们可以简写成 1,1,1,1,1,1,1,1,1,1。再比如，每次走2级台阶，一共走5步，这是另一种走法。我们可以简写成 2,2,2,2,2。当然，除此之外，还有很多很多种走法。第一种情况：第二种情况：把思路画出来，就是这样子：
转载
2023-09-29 12:55:47
9阅读
本文整理了 GitHub 上 11 个 NLP 相关项目。包含 NLP 的最近前沿进展、学习路径、基准语料库、面试必备理论知识等。无论是入门，还是精进 NLP ，这些项目足以满足你的需求！收藏本文慢慢学习吧。最近进展梳理：NLP-progresshttps://github.com/sebastianruder/NLP-progress跟踪 NLP 最新进展。整理常见 NLP 任务的 SOTA 模
转载
2024-05-22 16:42:06
44阅读
0. NLP自然语言处理简史1950 年代Computing Machinery and Intelligence（计算机器与智能）, Alan Turing
Turing test（图灵测试）：通过一个对话测试来测量机器智能Syntactic Structures（句法结构）, Noam Chomsky
Formal language theory（形式语言理论）：使用代数和集合论将
转载
2023-11-19 19:39:10
18阅读
# NLP相关研究
## 引言
自然语言处理（NLP）是计算机科学和人工智能领域的一个重要研究方向。它致力于使计算机能够理解、解释和生成自然语言文本，以便有效地与人类进行交互。NLP的发展已经取得了显著的进展，包括语音识别、机器翻译、情感分析和问答系统等方面。本文将介绍NLP的相关研究，包括常用的技术和算法，并提供一些示例代码进行演示。
## NLP技术和算法
### 1. 语音识别
语音识别
原创
2023-09-23 01:11:34
43阅读
一、赛题背景 在NLP任务中，经常会出现Multi-Task Learning(多任务学习)这一问题。多任务学习是一种联合学习，多个任务并行学习，结果相互影响。在实际问题中，就是将多个学习任务融合到一个模型中完成。不同的任务会关注到不同的文本分析特征，将多任务联合起来有利于进行模型泛化，缓解深度学习模型容易过拟合的现象。 多任务学习的出发点是多种多样的： （1）从生物学来看，我们将多任务学习
ChatGPT 火遍了全网，多个话题频频登上热搜。见证了自然语言处理（NLP）技术的重大突破，体验到通用技术的无限魅力。GPT 模型是一种 NLP 模型，使用多层变换器（Transformer）来预测下一个单词的概率分布，通过训练在大型文本语料库上学习到的语言模式来生成自然语言文本。而 NLP 技术是人工智能领域的重要研究分支，被视为人工智能皇冠上的明珠。图灵测试的假设就是针对自然语言处理技术而设
转载
2023-11-11 21:11:44
146阅读
改变世界的七大NLP技术，你了解多少？（上）在第1部分中，我介绍了自然语言处理（NLP）领域以及为其提供支持的深度学习。我还介绍了NLP中的3个关键概念：文本嵌入（字符串的矢量表示），机器翻译（使用神经网络翻译语言），以及Dialogue和Conversations（可以实时与人进行对话的技术）。在第2部分中，我将介绍另外4项重要的NLP技术，你应该关注这些技术，以跟上这一研究领域快速增长的步伐。
转载
2024-05-22 16:43:38
124阅读
自然语言处理（Natural Language Processing, NLP）是人工智能领域的一个分支，它的目的是让计算机能够理解、分析、生成自然语言文本。NLP技术已经广泛应用于各个领域，例如机器翻译、语音识别、情感分析等。其中，基于大规模预训练模型的自然语言生成技术在近几年得到了极大的发展，ChatGPT就是其中的代表。ChatGPT是一种基于Transformer架构的大规模预训练语言模型
转载
2023-08-08 21:23:57
178阅读
一直在做文本处理，但感觉做的很分散 没有系统，也没有发现很好的关于NLP的书籍。如果有，请推荐。 现在尝试着总结自己遇到的文本处理技术。1、工具linux 文本处理工具 awk sed 比较常用
推荐两篇左耳朵耗子的博客。我很喜欢的大牛，还有幸和他聊了20分钟，O(∩_∩)O哈哈~
AWK 简明教程
sed 简明教程
python 文本处理 这个也是文本处理的常
转载
2024-05-14 21:09:36
45阅读
一、文本分类简介在nlp中，文本分类是一个非常常见的任务，它将一个文本归结于特定的标签。目标：基于训练数据，训练分类模型。使用训练好的模型，预测新数据类型。典型应用场景：垃圾邮件识别情感分析意图识别技术演化：规则机器学习：lr，svm，集成学习传统深度学习：fastrnn、textcnn、bilistm前沿：transformer、bert任务拓展序列标注任务句子对分类任务多标签任务二、机器学习技
转载
2024-01-28 07:42:13
69阅读
本文是基于寒小阳博主中的NLP系列所记录下的笔记，非常感谢有那么优质的博客，很受用！1.NLP的常见领域：分词，词性标注，命名实体识别，句法分析，语义识别，垃圾邮件识别，拼写纠错，词义消歧，语音识别，音字转换,机器翻译，自动问答……如果对自然语言处理的应用场景不太了解，可以去腾讯的中文语义平台简单玩几个例子就熟悉了。2.NLP的发展现状根据stafford教授Dan Jurafsky的介绍：有些问
转载
2024-03-14 11:38:05
40阅读
问答机器人排序模型目标知道模型中排序中的概念和目的知道模型中排序的实现方法1. 排序模型的介绍前面的课程中为了完成一个问答机器人，我们先进行了召回，相当于是通过海选的方法找到呢大致相似的问题。通过现在的排序模型，我们需要精选出最相似的哪一个问题，返回对应的答案2. 排序模型的实现思路我们需要实现的排序模型是两个输入，即两个问题，输出的是一个相似度。所以和之前的深度学习模型一样，我们需要实现的步骤如
转载
2024-03-03 22:44:04
39阅读
项目作者：Tae-Hwan Jung
编辑：机器之心
自然语言处理很多时候都是一门综合性的学问，它远远不止机器学习算法。相比图像或语音，文本的变化更加复杂，例如从预处理来看，NLP 就要求我们根据对数据的理解定制一种流程。而且相比图像等更偏向感知的智能，自然语言包含更高一级的智能能力，不论是承载思想、情感还是推理。
那么我们该
转载
2024-05-11 13:42:49
57阅读
PaddleNLP是飞桨生态文本领域核心库，具备易用的文本领域API、中文预训练模型集、多场景的应用示例、高性能分布式训练和预测部署能力，旨在提升开发者文本领域的开发效率，并提供基于飞桨开源框架v2.x的NLP任务最佳实践。PaddleNLP 链接：https://github.com/PaddlePaddle/PaddleNLP本项目主要是NLP 核心技术中的文本匹配 （Text M
转载
2023-12-04 15:01:39
48阅读
# 国内NLP相关会议及其在自然语言处理中的应用
自然语言处理（NLP）是人工智能领域的一个重要分支，专注于让计算机理解和生成自然语言。随着技术的不断进步，国内外举行了许多与NLP相关的会议。本文将介绍一些主要的国内NLP会议，并用代码示例和图示来展示NLP中的基本概念。
## 主要会议
在中国，相关的NLP会议有以下几个：
1. **CCF NLP大会**：中国计算机学会（CCF）主办的
一、Transformer简介 Transformer是google团队在2017年提出来的，它的问世刷新了一系列NLP竞赛的结果，现在也成为各大NLP爱好者的首选结构，诸如ELMO、Bert等超牛的model都是在transform的思想上实现的。
转载
2023-12-24 18:44:59
106阅读
