一、分词1.1 规则分词目的：按照最大匹配法（最长字数）分词 参考网址：中文分词时遇到数字、英文、标点等干扰项移除参考地址： 分词有3种方法，前向最大匹配算法、后向最大匹配算法、双向最大匹配，他们的共同目的是将一句中文分为若干个词，这些词必须是词典里有的，并且要事先规定一个词包含的最大字数，在此我们规定max_len=5。
转载
2024-03-12 10:38:48
22阅读
自然语言处理知识太庞大了，网上也都是一些零零散散的知识，比如单独讲某些模型，也没有来龙去脉，学习起来较为困难，于是我自己总结了一份知识体系结构，内容来源主要参考黄志洪老师的自然语言处理课程，主要参考书为宗成庆老师的《统计自然语言处理》，可能很多内容写的不清楚，但好像中文NLP书籍就这一本全一些，如果想看好的英文资料，可以到我的GitHub上下载：
http://github.com
转载
2018-08-23 16:40:00
644阅读
自然语言处理（NLP）资源总结
原创
2022-07-09 00:11:20
197阅读
文章目录一、什么是NLP二、NLP任务类型三、NLP的预处理英文 NLP 语料预处理的 6 个步骤中文 NLP 语料预处理的 4 个步骤第1步：收集您的数据---语料库第2步：清理数据 --- 文本清洗第3步：分词第4步：标准化第5步：特征提取四、NLP表示方式离散式表示（Discrete Representation）分布式表示（Distributed Representation五、NLP的
转载
2024-03-14 11:36:12
1105阅读
1.自然语言概念自然语言，即我们人类日常所使用的语言，是人类交际的重要方式，也是人类区别于其他动物的本质特征。 我们只能使用自然语言与人进行交流，而无法与计算机进行交流。自然语言处理自然语言处理（NLP Natural Language Processing），是人工智能（AI Artificial Intelligence）的一部分，实现人与计算机之间的有效通信。 自然语言处理属于计算
转载
2024-01-12 02:05:03
100阅读
目录一、词向量表示方法1. 独热编码（One-Hot Encoding）2. 词 - 词共现矩阵（Word-Word Co-occurrence Matrix）3. 静态词嵌入（以 word2vec 为例）总结：三种词表示技巧对比二、word2vec 之 skip-gram 模型1. 模型目标与核心逻辑2. 条件概率计算3. 优化：负采样（Negative Sampling）4. 似然计算三、TF
1. 什么是自然语言处理 个人认为，自然语言处理（Natural language processing，NLP）是将自然语言处理为计算机所能理解的东西，并利用计算机做一些进一步的处理以达到某些目的的方法。 那么问题来了，自然语言是什么？ 自然语言，指人们平时用于交流的语言，例如英语、法语、汉语等等，也包括手语、旗语等，其标准定义为：人类社会发展过程中自然产生的、约定俗成的人类语言。
转载
2023-08-30 20:49:54
159阅读
自然语言处理（NLP）和应用 1. 自然语言处理 2. NLP的应用1、自然语言处理 自然语言处理是研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法，也是人工智能领域中一个最重要、最艰难的方向。自然语言的理解（two definitions） 第一种是计算机能够将所说的语言映射到计算机内部表示；另一种是基于行为的，你说了一句话
转载
2023-09-22 18:03:21
93阅读
文章目录一、自然语言处理概述二、基本文本处理操作1、清理与替换2、截取3、连接与分割4、比较与排序5、查找与包含6、大小写变换7、搜索查找更多的字符串相关操作三、python正则表达式1、学习与验证工具2、正则表达式的进阶练习3、python通过re模块提供对正则表达式的支持compilematchpatternpattern.match()方法：pattern. search()方法split
转载
2023-08-31 20:34:04
271阅读
什么是自然语言处理(NLP)？你有没有和聊天机器人互动过？或者你是否向虚拟助手，例如Siri、Alexa或你车上的车载娱乐系统发出过某些请求？你使用过在线翻译吗？相信我们绝大多数人都与这些人工智能互动过，人类不断思考到底用哪种方式可以得到我们最想要的答案呢？仔细想想人类语言和情绪上的复杂和不可捉摸性，机器能够和人类交流已经够神奇了吧？而这神奇的源头要归功于一个叫：自然语言处理(NLP)的东西。 那
转载
2023-10-03 14:45:08
108阅读
学习目标了解什么是自然语言处理.了解自然语言处理的发展简史.了解自然语言处理的应用场景.了解本教程中的自然语言处理.什么是自然语言处理每种动物都有自己的语言，机器也是！自然语言处理（NLP）就是在机器语言和人类语言之间沟通的桥梁，以实现人机交流的目的。人类通过语言来交流，狗通过汪汪叫来交流。机器也有自己的交流方式，那就是数字信息。 自然语言处理（Natural Language Processi
转载
2024-03-13 23:12:14
137阅读
为什么需要语言模型？想象“语音识别”这样的场景，机器通过一定的算法将语音转换为文字，显然这个过程是及其容易出错的。例如，用户发音“Recognize Speech”，机器可能会正确地识别文字为“Recognize speech”，但是也可以不小心错误地识别为“Wrench a nice beach"。简单地从词法上进行分析，我们无法得到正确的识别，但是计算机也不懂语法，那么我们应该如果处
转载
2017-12-16 14:04:00
0阅读
自然语言处理(NLP)是指使用诸如英语之类的自然语言与智能系统进行通信的AI方法。 如果您希望智能系统(如机器人)按照您的指示执行操作，希望听取基于对话的临床专家系统的决策时，则需要处理自然语言。 NLP领域涉及使计算机用人类使用的自然语言执行有用的任务。 NLP系统的输入和输出可以是 -言语(说话)书面文字 NLP的组成部分在本节中，我们将了解NLP的不同组件。 NLP有两个组件。 这些组件如下
转载
2023-09-04 19:36:12
222阅读
一、分布式词表示（直接使用低维、稠密、连续的向量表示词）（静态的表示）1、Word2Vec训练方法：用中心词预测周围词。局限性：Word2Vec产生的词向量只有每个单词独立的信息，而没有上下文的信息。 2、GloveGlobal Vector for Word Representation 利用全局统计信息，即共现频次。构建共现矩阵：共现强度按照距离进行衰减。二、词向量（动态的表示）1、
转载
2024-04-30 21:03:57
63阅读
文章目录一、 概述二、 重点内容三、 思维导图四、 重点知识笔记NLP的两个核心任务NLP处理的三个分析层面NLP的主要流程语音识别机器翻译 一、 概述人类利用语言进行交流、思想表达和文化传承是人类智能的重要体现。 自然语言处理(NLP)是指用计算机来处理、理解以及运用人类语言，实现人机交流的目的。本文将人工智能"自然语言处理"基础知识整理为思维导图，便于回顾和记忆。二、 重点内容简介NLP核心
转载
2023-08-17 09:05:26
353阅读
自然语言处理(计算机语言学、自然语言理解)涉及：字处理，词处理，语句处理，篇章处理词处理分词、词性标注、实体识别、词义消歧语句处理句法分析(SyntacticAnalysis)、语义分析(SenmanticAnalysis)等。其中，重点有：1.句法语义分析：分词，词性标记，命名实体识别。2.信息抽取3.文本挖掘：文...
转载
2018-11-08 15:18:08
814阅读
本文系统介绍了NLP中的三项基础技术：1）正则表达式作为文本模式匹配工具，重点解析字符类、量词等核心语法；2）BPE分词算法通过子词合并解决词表膨胀问题，分析其词表构建和分词逻辑；3）文本预处理技术（词干还原、词目还原、大小写折叠）的对比与应用场景。文章通过典型示例和习题解析，阐明各项技术的核心原理与适用条件，构建了从文本清洗到模型输入的完整技术链条。这些基础技术直接影响NLP任务的输入质量与模型性能，是深入理解复杂NLP系统的前提。
# 入门指南：实现自然语言理解（NLP）
## 概述
自然语言理解（Natural Language Understanding，NLU）是自然语言处理（Natural Language Processing，NLP）中的一个重要领域，旨在使计算机能够理解和解释人类的语言。作为一名刚入行的小白，掌握自然语言理解的基本流程和实现方法是非常重要的。接下来，我将为你介绍实现 NLP 的步骤、所需代码
# 自然语言处理（NLP）与开源项目
随着人工智能技术的飞速发展，自然语言处理（NLP）作为AI的重要分支，已经逐渐渗透进我们的生活。NLP旨在使计算机能够理解和生成自然语言，广泛应用于文本分析、机器翻译、情感分析等领域。与此同时，开源项目的兴起，为NLP的发展提供了丰富的工具和资源，极大地推动了相关技术的普及与探索。
在本文中，我们将介绍一些流行的NLP开源工具，并通过代码示例来演示它们的基
自然语言处理（Natural Language Processing, NLP）是人工智能的一个重要分支，旨在使计算机能够理解、解释和生成人类语言。它结合了计算机科学、语言学和统计学等多个领域的技术，广泛应用于各种实际问题中，如自动翻译、情感分析、问答系统和文本生成等。1. 自然语言处理的基本任务NLP的任务可以分为几个主要类别，包括：文本分类：将文本分配到预定义的类别中，例如垃圾邮件检测和情感分
原创
2024-10-10 22:40:53
146阅读
