[1] 什么是 NLP(自然语言处理)[2] 为什么要写博客 入手差不多有一个月，算是有点了解。前期总想着把自己一步步获取的知识写下来，用以作为知识路线为以后的深造指明方向。先，把前期做的几个小实验总结一下[3] 内容摘要 这里只有简单的几个小实验，如果你想入门 NLP。建议看一下去搜一下，CSDN 中就有好多资料。这里可以帮你在刚刚入门后，自己动动手。当然，有一定基础的可以根据这几个实验入门 N
转载
2023-08-17 08:59:32
64阅读
GLUE通常来说，NLP可以分为自然语言理解（NLU）和自然语言生成（NLG）。在NLU方面，我们拿时下最流行的GLUE(General Language Understanding Evaluation)排行榜举例，其上集合了九项NLU的任务，分别是CoLA(The Corpus of Linguistic Acceptability):纽约大学发布的有关语法的数据集，该任务主要是对一个给定句子
转载
2023-11-27 16:50:29
89阅读
NLP中的Attention机制一 Attention机制1 Why Attention2 Attention理解二 Attention分类1 soft Attention（1）普通模式 ==（Key=Value=X）==（2）键值对模式 ==（Key!=Value）==2 hard Attention3 self-Attention4 multi-head attentionReference
转载
2024-06-23 06:19:19
121阅读
模型：将比较抽象的事物用比较形象的方式表现出来。 传统的瀑布模型V模型W模型敏捷测试模型传统的瀑布模型： > 最大的问题是测试工作后置，导致整个项目开发完成之后入如果发现比较重要的问题，修改的成本是非常巨大的。V模型: > 主要特点是将测试过程细化，分为了单元测试、集成测试、系统测试和验收测试四个不同的阶段、但是仍然是测试后置、没有解决风险问题。 
转载
2024-07-14 17:00:18
24阅读
一、NLP是什么自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语
转载
2023-05-24 14:53:53
213阅读
有用的资源下面的资源有助于你对 NLP 有一个更深入的了解。自然语言处理简单学——通过 SpaCy ( Python)：https://www.analyticsvidhya.com/blog/2017/04/natural-language-processing-made-easy-using-spacy-%E2%80%8Bin-python/ 终极指南：自然语言处理的理解与实现（附 Pytho
转载
2024-01-11 07:50:17
90阅读
BERT大火却不懂Transformer？读这一篇就够了一、Transformer（code）1.1 句子的 representation embedding with position = word embedding + Positional Embedding处理 nn.Embedding 权重矩阵有两种选择：使用 pre-trained 的 embeddings 并固化
转载
2023-12-07 07:26:27
138阅读
作者：Jeremy Howard、Sebastian Ruder可以这样说，迁移学习已经促使计算机视觉领域发生了具有革命性的变化，但对于自然语言处理（NLP）中的现有方法来说，仍然需要从零开始对其进行针对于特定任务的修改和训练。我们提出了微调语言模型（Fine-tuned Language Models，FitLaM），这是一种有效的迁移学习方法，可以应用于NLP中的任何任务，并且引入一些关键技术
转载
2023-10-25 17:32:25
442阅读
这一章节提出了33个问题，不是很难，可以当做休闲读一下：目录1.下列哪些技术能被用于关键词归一化（keyword normalization），即把关键词转化为其基本形式？2. 下列哪些技术能被用于计算两个词向量之间的距离？3. 文本语料库的可能特征是什么？4.你在20K文档的输入数据上为机器学习模型创建了文档-词矩阵（document-term matrix）。以下哪项可用于减少数据维度？5.哪
转载
2023-10-13 16:20:00
190阅读
今天给大家介绍3篇EMNLP 2022中语言模型训练方法优化的工作，这3篇工作分别是：针对检索优化语言模型：优化语言模型训练过程，使能够生成更合适的句子表示用于检索——RetroMAE: Pre-training Retrieval-oriented Transformers via Masked Auto-Encoder；针对事实知识提取优化语言模型：在语言模型训练过程中引入知识库，提升语言模型
转载
2024-01-13 08:03:08
86阅读
（封面图由ERNIE-ViLG AI 作画大模型生成） 【NLP相关】attention的代码实现Attention模型是现今机器学习领域中非常热门的模型之一，它可以用于自然语言处理、计算机视觉、语音识别等领域。本文将介绍Attention模型的代码实现。1. attention机制的原理首先，我们需要了解Attention模型的基本概念。Attention是一种机制，它可以用于选择和加权输入
转载
2023-10-18 18:37:08
98阅读
本篇主要介绍TextCnn针对中文的分本分类的代码实现。下一篇计划讲模型训练及线上文本分类。代码基于开源代码 https://github.com/dennybritz/cnn-text-classification-tf 建议对NLP文本分类或CNN不了解的先阅读我的上一篇blog及以下的大神blog ：NLP文本分类入门学习及TextCnn实践笔记（一）参考的大神
转载
2024-04-26 14:50:41
32阅读
文章目录前言一、目标文本是什么？二、模型调用步骤1.引入库2.导入模型，本文使用 t5-base3.使用分词器对目标文本进行分词4.对刚刚生成的分词结果进行目标语言的生成工作5.对生成的目标语言进行解码工作，就可得到目标语言的文本，并打印 前言Google的T5模型从2019年发布到今天雄风依旧；在翻译，文本分类，智能问答，文章摘要等方面都取得SOTA地位；本文使用T5的翻译功能完成 文本从一种
转载
2024-03-05 09:14:56
34阅读
本文介绍X-CTR100控制器如何开启STM32F4的硬件FPU，并对比使用硬件FPU和不使用硬件FPU的速度差别。
原理
FPU即浮点运算单元（Float Point Unit），浮点运算，对于定点CPU（没有FPU的CPU）来说必须要按照IEEE-754标准的算法来完成运算，是相当耗费时间的。而对于有FPU的CPU来说，浮点运算则只是几条指令的
转载
2023-12-13 22:24:48
90阅读
赛题理解赛题名称：零基础入门NLP之新闻文本分类赛题目标：通过这道赛题可以引导大家走入自然语言处理的世界，带大家接触NLP的预处理、模型构建和模型训练等知识点。赛题任务：赛题以自然语言处理为背景，要求选手对新闻文本进行分类，这是一个典型的字符识别问题。赛题数据赛题以新闻数据为赛题数据，数据集报名后可见并可下载。赛题数据为新闻文本，并按照字符级别进行匿名处理。整合划分出14个候选分类类别：财经、彩票
转载
2024-05-10 18:40:20
14阅读
一、线性回归与逻辑回归的联系与区别什么是机器学习利用大量的数据样本，使得计算机通过不断的学习获得一个模型，用来对新的未知数据做预测。- 有监督学习（分类、回归）同时将数据样本和标签输入给模型，模型学习到数据和标签的映射关系，从而对新数据进行预测。- 无监督学习（聚类）只有数据，没有标签，模型通过总结规律，从数据中挖掘出信息强化学习强化学习会在没有任何标签的情况下，通过先尝试做出一些行为得到一个结果
转载
2023-12-29 17:00:27
43阅读
小白一枚，看了很多天的NLP，也没看出什么头绪。代码不代码的我感觉只要用心去看，即使看不懂，一点一点的去啃，也能看个大概。最重要的是思想。1、首先介绍一下NLP的基础知识①分词1）nltk安装（pip install nltk）nltk就是一个工具包，里面有很多语料，很多模型。可以用来分词。import nltk
sentence = “hello, world"
tokens = nltk.wo
转载
2024-04-09 19:33:53
188阅读
NLP位置编码Learned Positional EmbeddingSinusoidal Position EmbeddingRelative Position Representations实验结果Transfomer-XL中的相对位置编码实验结果Complex Embeddings实验结果位置特征与内容特征间的关系去掉内容特征将embedding相加改为拼接拆分位置特征和内容特征在测试时分
转载
2023-10-11 22:41:12
130阅读
nlp常见的逻辑处理代码传参问题ocr会话形式把相同角色，相邻的话拼接在一起，形成纯对话形式。逐对去合并文本，目标是让信息的杂质更少，样本纯度更高依存关系抽取正则查询两个关键字质检的内容sub消歧实体消歧(Disambiguation)实体统一(Entity Resolution)指代消解(Co-reference Resolution)多目标学习 传参问题如果之后的代码都依赖某一个相同的输入，
转载
2023-10-15 07:59:47
76阅读
一 、什么是自然语言处理(NLP)？1.NLP是一门横跨了计算机科学、人工智能以及语言学的学科，是人工智能的核心技术之一。目标是让计算机处理和理解自然语言从而可以处理一些实际任务。2.对语言层次的传统描述：重点放在句法分析（syntactic analysis）和语义理解（semantic interpretation）方面，简要描述左上角的语音信号分析。3.NLP的应用简单的说，拼写检查、关键字
转载
2023-11-10 06:29:15
52阅读
