概念token的引入：token是在客户端频繁向服务器端请求数据，服务器端频繁的去数据库查询用户名和密码并进行对比。由此，token出现了。token的定义：token是服务器端生成的一串字符串，作为客户端请求的一个令牌，当第一次登录后，服务器生成一个token并返回给客户端，客户端带着这个token前来发送请求，无需带上用户名和密码。使用token的目的：token的目的是为了减轻服务器的压力
转载
2024-01-11 22:37:56
27阅读
文章目录一、前言二、详细介绍2.1 token2.2 embedding2.3 encoding 一、前言token：模型输入基本单元。比如中文BERT中，token可以是一个字，也可以是等标识符。embedding：一个用来表示token的稠密的向量。token本身不可计算，需要将其映射到一个连续向量空间，才可以进行后续运算，这个映射的结果就是该token对应的embedding。encodi
转载
2023-10-17 14:05:41
245阅读
文章目录一 NLP介绍1. 文本的`tokenization`1.1 概念和工具的介绍1.2 中英文分词的方法2. `N-gram`表示方法3. 向量化3.1 one-hot 编码3.2 word embedding3.3 word embedding API3.4 数据的形状变化二 文本情感分类1. 案例介绍2. 思路分析3. 准备数据集3.1 基础Dataset的准备3.2 文本序列化4.
转载
2023-10-20 11:29:52
273阅读
NLP数据预处理前言常见的数据预处理Tokenisationlowercase and true-casingstopwords removalStemming and Lemmatisation 前言如何成为一个优秀的NLP工程师，it’s not all about training! 很多小伙伴的模型在训练集上表现良好，却在测试集上表现欠佳，有的小伙伴甚至连训练集都拟合不了。一个优秀的NL
转载
2023-12-27 15:09:32
79阅读
目录前言字粒度词粒度Subword粒度(1) BPE(2) Unigram LM(3)WordPiece(4) Sentencepiece总结前言当前最火的预训练模型大放异彩，但是在进行输入模型前，我们都需要将纯文本数学化，比如bert的tokenization，它就是将文本分割成token，然后量化成id。今天就来说说tokenization，目前关于这方面的研究已经有很多了，本质上
转载
2023-10-15 00:48:53
120阅读
文章目录1. 语音识别概述1.1 Token的表示1.2 Acoustic Feature2. 语音识别深度学习模型2.1 Listen，Attend，and Spell（LAS）2.2 CTC2.3 RNN-T2.4 Neural Transducer2.5 MoChA3. 语音识别传统模型3.1 隐马尔可夫模型3.2 Tandem3.3 DNN-HMM Hybrid4. Alignment和
转载
2024-01-12 11:23:46
132阅读
句法（Syntactic）分析是NLP的经典任务Syntactic tasks: Word levelWord level的句法分析任务有：形态分析、分词、序列标注形态分析：Morphological analysis，指将一个词的词根（stem）和词缀（prefix & suffix）提取出来的任务分词：Word segmentation or Tokenization，不同的语言分词方
转载
2023-10-20 13:45:46
196阅读
3、契约式设计 Design by Contract
可信软件设计的基础思想
谚语: When ideas fail, words come in very handy !
他人译文“殚思竭虑之时，文字将成为利器” 本人认为“当想法失败时，总会出来许多理由辩解”
3.1 问题的引入 由谁负责系统的可靠性？
3.2 Contract (契约) History Ton
# NLP中的Token：基础与实践
在自然语言处理（NLP）领域，Tokenization（分词）是一个非常重要的步骤。Token通常指的是文本中具有独立意义的最小单位，常见的Token包括单词、字符或句子等。通过Tokenization，原始文本可以被转换为更便于分析和处理的结构。在这篇文章中，我们将深入探讨Token的概念、重要性以及如何在Python中实现Tokenization。
#
自从开始使用Python做深度学习的相关项目时，大部分时候或者说基本都是在研究图像处理与分析方面，但是找工作反而碰到了很多关于自然语言处理（natural language processing： NLP）的问题，所以决定花点时间学习并且写下来，希望那些跟我一样同时在学习NLP的朋友能有一些帮助，学习过程中以英文为文本标准，后期会尝试用中文，并且将相关的信息补进来博客文章中。刚开始学习哪里讲得不好
转载
2023-10-19 22:51:43
69阅读
基于深度学习的文本分类3 文章目录基于深度学习的文本分类3part1:文本表示方法4 — 编码器:Transformer(1)位置编码(2)自注意力机制(3)残差连接(4)feed forwardpart2:两种预训练的方式(1)Masked LM (masked language model)(2)Next Sentence Predictionpart3:微调使用方法（1）模型训练（2）微调这
转载
2023-10-02 20:54:01
172阅读
作为一个一直使用tf1.x版本的人，为了继续使用google强大的开源技术，同时也为了适配高级的3090系列显卡，还是学习了一下tf2.x版本，并重构了一些nlp相关任务的代码，将其全部用tf2.0版本替换。
转载
2023-11-06 17:49:01
72阅读
一、目的前一篇博文中我们提到语音交互框架设计，那我们如何设计一个语音SDK呢？本篇博文会给出一些建设性意见和参考设计。二、框架上图中每个实心圆代表每个线程，完成对应的功能；需要特别说明的是信号处理与唤醒，有些厂商这两个模块可能已经做好集成，呈现给开发者的接口封装了内部逻辑，对话只需要关心语音输出和相关事件。上图中调度器也就是本文的核心，在实现方式上可以是行为树也可以是状态机，本文着重介绍状态机的实
转载
2024-06-24 21:22:29
65阅读
这个代码的问题何在？下面代码是君士坦丁堡硬分叉之前没有可重入漏洞的一个代码段，它会在分叉后导致可重入性。我们的Github页面（https://github.com/ChainSecurity/constantinople-reentrancy）展示了包括攻击合约在内的完整源代码。这个代码会被一种意想不到的方式攻击：它模拟了一个安全的资金共享服务。双方可以共同接收资金，决定如何分成，如果他们达成一
# 实现NLP中的Soft Token
在自然语言处理（NLP）领域，处理文本的方式多种多样，其中“Soft Token”是一种相对较新的方法，旨在提高文本的处理效率与表达能力。对于刚入行的小白来说，理解如何实现Soft Token尤为重要。接下来，我将分步骤指导你如何实现Soft Token，并提供相应的代码示例。
## 流程概览
在实现Soft Token的过程中，我们可以遵循以下几个步
NLP任务根据判断主题的级别, 将所有的NLP任务分为两种类型:token-level task: token级别的任务. 如完形填空(Cloze), 预测句子中某个位置的单词; 或者实体识别; 或是词性标注; SQuAD等.sequence-level task: 序列级别的任务, 也可以理解为句子级别的任务. 如情感分类等各种句子分类问题; 推断两个句子的是否是同义等.token-l
转载
2024-09-19 13:54:34
38阅读
已迁移到我新博客,阅读体验更佳token:NLP之词形还原 完整代码实现放在我的github上:click me一、任务描述形态还原算法：
输入一个单词如果词典里有该词，输出该词及其属性，转4，否则，转3如果有该词的还原规则，并且，词典里有还原后的词，则输出还原后的词及其属性，转4，否则，调用如果输入中还有单词，转(1)，否则，结束。二、技术路线加载dic_ec.txt词典，词典存储着英到
转载
2024-09-21 22:12:10
10阅读
# 理解NLP中的Token
Natural Language Processing（自然语言处理，NLP）是计算机科学与人工智能领域的一个重要研究方向，它涉及到计算机如何理解、处理和生成自然语言。在NLP中，“token”是一个非常基础而重要的概念。本文将全面讲解什么是token、如何实现tokenization（分词），并用代码示例说明每一个步骤，以帮助你更好地理解。
## 什么是Toke
# NLP中Token是什么？带你了解文本处理的基础
自然语言处理（Natural Language Processing，NLP）是人工智能的重要分支，致力于研究计算机和人类语言之间的相互作用。在NLP中，有一个非常重要的概念，那就是“Token”。
## 什么是Token？
在NLP中，Token指的是将文本分割成的基本单位，通常是一个单词、符号或者短语。通过将文本转换为Token，计算
NLP-Tokenization BOW TF-IDF 学习笔记标识化 Tokenization基础概念One-hot encoding 独热编码N-grams 标识Stopwords 停顿词Normalization 标准化处理CASE Folding 大小写还原Stemming 提取词干Lemmatization 词形还原文本向量化和词袋模型词袋模型Bag of WordsTF-IDF与主题
转载
2023-10-23 23:22:05
117阅读
