信息熵 条件熵 联合熵 左右熵 互信息 最近用到信息论的知识表较多，自己也总结下。 1 信息熵（entropy） 定义式： 其中P(x)是变量出现的概率。从直观上，信息熵越大，变量包含的信息量越大，变量的不确定性也越大。一个事物内部会存在随机性，也就是不确定性，而从外部消除这个不确定性唯一的办法是引入信息。如果没有信息，任何公式或者数字的游戏都无法排除不确定性。几乎所有的自然语言处理，信息与信号
转载
2024-06-03 08:01:40
21阅读
# NLP词法分析：科普与实践
自然语言处理（NLP，Natural Language Processing）是研究如何让计算机理解、分析和生成自然语言的技术。在NLP的众多任务中，词法分析是分析自然语言文本的一个重要步骤，主要涉及将输入的文本分解为其构成部分，如单词、短语和符号等。本文将深入了解词法分析的概念、流程及其在实际编程中的应用。
## 词法分析的基本概念
词法分析是文本处理中用于
原创
2024-10-19 06:58:54
149阅读
编译原理实验：词法分析1. 实验题目：词法分析实验目的实验内容实验要求输入输出2. 设计思想3.算法流程4. 源程序5. 调试数据1. 实验题目：词法分析实验目的根据PL/0语言的文法规范，编写PL/0语言的词法分析程序；或者调研词法分析程序的自动生成工具LEX或FLEX，设计并实现一个能够输出单词序列的词法分析器。通过设计调试词法分析程序，实现从源程序中分出各种单词的方法；加深对课堂教学的理解；
LAC是什么LAC全称Lexical Analysis of Chinese，是百度NLP（自然语言处理部）研发的一款词法分析工具，可实现中文分词、词性标注、专名识别等功能。LAC在分词、词性、专名识别的整体准确率超过90%，以专名识别为例，其效果要比同类词法分析工具提升10%以上。例如：我知道你不知道，百度开源词法LAC帮你更懂中文！LAC 2.0可以从语义合理性角度精确完成分词、词性标注和专名
在上一部分中，我们介绍了NLP领域中的一个基本问题：序列标注问题，并对解决该问题的三种方法：HMM、CRF、RNN+CRF进行了介绍。 在这一部分中，我们将在语言结构层面对词法分析进行介绍。 现在，我们已经了解了自然语言研究层面的基本概念：语言模型、序列标注，下一步就是对“词”的分析和处理。还是那句话，规则法、概率统计法、深度学习法都只是处理NLP问题的方法，归根结底最重要的还是NLP问题。【一】
转载
2023-08-11 16:50:28
190阅读
文章目录词干提取 & 词形还原词干提取 stemming自己设计 Porter 词干提取器词形还原（lemmatization）词干提取 & 词形还原相关资料停用词、罕见次过滤停用词 stopwords1、查看停用词停用词过滤罕见词分词jieba关于 jieba特点安装使用分词工具添加自定义词典关键词抽取词性标注相似性度量文本相似字面相似编辑距离1、编辑距离 edit-dista
转载
2024-03-14 11:43:33
68阅读
关于js基本的包括词法作用域和模块基础的总结。 1 编译器---作用域---引擎 编译器负责分析及代码生成，作用域负责维护好所有的标识符（变量）组成的一系列查询，引擎负责按照作用域规定的规则执行代码。 所以，作用域相当于中介，先是编译器编译，作用域维护，然后引擎按照作用域来执行。所以虽然js是解释型语言，但实际上仍然是先编译再执行。 引擎在执行时采取LHS查
转载
2023-06-28 23:45:28
85阅读
句法分析是自然语言处理（natural language processing, NLP）中的关键底层技术之一，其基本任务是确定句子的句法结构或者句子中词汇之间的依存关系。 句法分析分为句法结构分析（syntactic structure parsing）和依存关系分析(dependency parsing)。以获取整个句子的句法结构或者完全短语结构为目的的句法分析，被称为成分结构
转载
2023-11-11 15:10:52
77阅读
自然语言处理主要步骤包括： 1. 分词（只针对中文，英文等西方字母语言已经用空格做好分词了）：将文章按词组分开 2. 词法分析：对于英文，有词头、词根、词尾的拆分，名词、动词、形容词、副词、介词的定性，多种词意的选择。比如DIAMOND，有菱形、棒球场、钻石3个含义，要根据应用选择正确的意思。 &
转载
2024-06-08 13:34:40
50阅读
句法分析是在计算机系统的基础上进行发展的，常见的句法分析应用有: 计算机的翻译、文字的注释、一对一的问答系统、信息的自然摘录以及自动搜索等。如果对句法分析这一词不了解，那么一定知道文法分析，这是该定义不同的两个说法。句法分析说白了就是在一定规则的语法中，进行句子以及句法单位的自动识别，并按照规定输出识别。常见的汉语理解是分几个步骤的，一般都会包含待翻译文章的输入、文章词句的切分、词语属性分析标注、
转载
2024-03-13 19:33:21
356阅读
基础知识部分词法分析包括分词、词性标注、命名实体识别和词义消歧。使用词性标注便于判定每个词的语法范畴。词义标注、词义消歧主要解决多语境下的词义问题，因为在多语境下一个词可能会拥有很多含义，但在固定情境下意思往往是确定的。在中文情境下词法分析是最核心的一部分，只有做好分词工作，剩下的工作才能顺利进行。词法分析的实现主要通过基于规则、基于统计、基于机器学习的方法。lexical analysis是计算
转载
2023-11-12 19:51:42
73阅读
文章目录NLP 打卡Day2Lesson 3 理论课：词法分析及其应用 学习笔记1. 词法分析概念2. 词法分析技术的发展2.1 字符串匹配3. 实践案例LAC写在最后 本文基于百度飞浆Paddle平台项目地址：『NLP打卡营』实践课1：词向量应用演示VisualDL官方说明文档Embedding源码地址NLP 打卡Day2Lesson 3 理论课：词法分析及其应用 学习笔记1. 词法分析概念词
转载
2024-04-28 19:35:59
67阅读
在上一部分中，我们介绍了NLP领域中的一个基本问题：序列标注问题，并对解决该问题的三种方法：HMM、CRF、RNN+CRF进行了介绍。 在这一部分中，我们将在语言结构层面对词法分析进行介绍。 在了解了NLP架构之后，一定还记得这样一张图： 现在，我们已经了解了自然语言研究层面的基本概念：语言模型、序列标注，下一步就是对“词”的分析和处理。 还是那句话，规则法、概率统计法、深度学习法都只
转载
2023-07-27 21:30:24
121阅读
LAC全称Lexical Analysis of Chinese，是百度自然语言处理部研发的一款制：实现简单可控的干预机制，精准匹配用户
原创
2022-12-04 00:26:46
580阅读
什么是“欺骗”词法作用域？
转载
2021-07-02 14:52:12
105阅读
1、概念 词法作用域：定义在词法阶段的作用域，即书写代码时函数声明的位置决定的。词法分析器处理代码时会保持作用域不变（大部分是这样
转载
2018-01-18 09:49:00
73阅读
2评论
上一节我们介绍了复制—修改机制，示例中给出了触发该机制的两种情况。当一个对象有多个名称或作为参数传递给函数时，修改这个对象会先复制它，然后再修改它的副本。对于在函数外修改对象，我们介绍了<<- 的用法，首先找到函数外的变量，然后修改该对象而不是局部复制。这就引出了一个重要的概念，即函数有内部和外部之
原创
2019-02-11 10:11:00
98阅读
简介作用域共有两种主要的工作模型。动态作用域，仍有一些编程语言在使用（比如Bash脚本、Perl中的一些模式等）。词法作用域，是最为普遍的，被大多数编程语言所采用的词法作用域。词法作用域就是定义在词法阶段的作用域。换句话说，词法作用域是由你在写代码时将变量和块作用域写在哪里来决定的。但是JavaScript中存在两个机制可以“欺骗”词法作用域：eval(…)和with。eval(…)可以对一段包含
转载
2021-01-21 09:48:48
301阅读
2评论
在上一部分中，我们介绍了NLP领域最基本的问题：词法分析，现阶段解决该问题最常用的方法就是将其转化为序列标注问题，根据解决序列标注问题的方法对其进行解决。 词的问题解决了，那么下一步，就是句法分析。 在这一部分中，我们介绍完全句法分析的基础——Chomsky形式文法。 句法分析的任务是确定句子的句法结构或句子中词汇之间的依存关系，主要包括三种：完全句法分析、局部句法分析、依存关系分析
转载
2023-10-26 12:22:09
112阅读
说明《你不知道的JavaScript》学习笔记。作用域的工作模型第一种是最为普遍的，
原创
2022-08-18 02:55:11
72阅读
