内置AI NLP365(INSIDE AI NLP365)Project #NLP365 (+1) is where I document my NLP learning journey every single day in 2020. Feel free to check out what I have been learning over the last 257 days here. A
转载
2024-01-15 09:43:52
38阅读
# NLP预设前提入门指南
在自然语言处理（NLP）领域，“预设前提”通常涉及提取某一文本片段所蕴含的隐含假设或条件。对于初学者来说，可能会觉得这个任务有些复杂，但只要掌握了基础流程，就能够轻松上手。本文将为你详细介绍实现NLP预设前提的步骤以及所需的代码。
## 流程概述
以下是实现NLP预设前提的基本步骤：
| 步骤 | 描述
NLP的几个概念从技术研究的角度，简单介绍自然语言处理的几个概念1. 对抗学习主要指对抗生成网络。2个主要构成：判别器、生成器判别模型尽可能提取特征正确率增加的模型，生成模型尽可能“伪造”让判别模型以为是真的结果。2. 强化学习来源于“heterostatic theory of adaptive systems”不同于监督学习和非监督学习，强化学习不要求预先给定任何数据，而是通过接收环境对动作的
转载
2023-12-18 23:28:04
35阅读
文章目录1. 背景介绍2. Transformer原理(2017-06)1) 编码器-解码器2) 输入输出流程3) 多头注意力（multi-head attention）4) 位置编码（position embedding）5) 残差连接与层-归一化6) 编码-解码注意力层3. BERT4. BERT系列1) RoBERTa2) Albert3) ERNIE & Bert-WWM &am
转载
2024-03-14 12:27:42
38阅读
1 引言17年transformer被提出，18年迎来了ELMo和BERT的横空出世，19年预训练模型不出意外地开始了全面的爆发。所以，预训练模型也成为了NLPer绕不过去的一个技术栈，这篇文章将会梳理一下我学习过的12个预训练模型。这是一篇review性质的文章，跳过了一些基础的知识，可能会对一些没用过预训练模型的读者不大友好。预训练模型，在我看来，相对传统模型做的革新，主要体现在以下
转载
2023-08-30 17:54:56
133阅读
声明介绍在大语料上训练的预训练模型可以学习得到通用的语言表达知识，对很多下游任务表现有帮助。随着算力的提升、训练方法越来越强，这些模型也越来越深。第一代预训练模型学习词嵌入模型，由于模型本身不会用在后面的任务中，因此大多比较浅；第二代预训练模型关注结合上下文语境的词嵌入，这一些模型一般仍然需要在后续的任务中继续学习具体的单词表达。背景自然语言表示一个好的表达应该表达通用先验，这些先验不是特定于任务
转载
2023-11-22 18:44:06
117阅读
没有两个人是一样的No two persons are the same一个人不能控制另外一个人One person can not change another person有效果比有道理更重要Usefulness is more important只有由感官经验塑造出来的世界，没有绝对的真实世界The map is not territory沟通的意义在于对方的回应The meaning of
转载
2023-07-10 22:15:24
88阅读
【NLP十二条前提假设 2(Presupposition)】
另外,我认识一些培训师,多年来,培训师技巧一直没有显著的提升,原因是他们并没有建立有效的响应环路.事实上,培训师与学员之间的沟通就是一个系统.他们其实可以在每次培训完结后,邀学员把培训师效果,可以改善的地方写下来,以作为一种响应环路.
NLP的发展深受神经机械学的影响。所有NLP的技巧都是建基于十二条前提假设(Pre
转载
精选
2008-08-19 16:40:51
1548阅读
预训练一般要从图像处理领域说起：可以先用某个训练集合比如训练集合A或者训练集合B对这个网络进行预先训练，在A任务上或者B任务上学会网络参数，然后存起来以备后用。假设我们面临第三个任务C，网络结构采取相同的网络结构，在比较浅的几层CNN结构，网络参数初始化的时候可以加载A任务或者B任务学习好的参数，其它CNN高层的参数仍然需要随机初始化。之后我们用C任务的训练数据来训练网络，此时有两种做法，一种是浅
转载
2023-08-21 16:44:52
77阅读
作者 | 周俊贤 最近整理预训练模型，又复习看了几篇BERT变体的论文，无外乎都是从「模型架构、MASK方式、预训练目标」入手，实话实说，感觉没有太大的创新。而且这类模型大部分只发布了英文版本，市面上也没有可用的中文版本，在中文上的效果不得而知。不过思考一下作者们基于BERT作各种优化背后的原因和动机，是件十分有趣的事情，也当开拓一下思路。所以
转载
2024-07-01 20:21:33
155阅读
01研究动机对齐不同模态的语义是多模态预训练 (VLP) 模型的一个重要能力。然而，VLP模型的内部对齐机制是不可知的。许多研究已经关注到这个问题，其中一个主流方法是通过精心设计的分类探针实验来探究模型的对齐能力[1, 2]。但是我们认为简单的分类任务不能准确地探究的这个问题：第一，这些分类任务仍然将VLP模型当作黑盒子，只能从分类任务的指标上分析模型在某一个方面的对齐效果；第
转载
2024-03-01 08:50:50
55阅读
写在前面昨天看完NoisyTune论文，做好实验就来了。一篇ACL2022通过微调前给预训练模型参数增加噪音提高预训练语言模型在下游任务的效果方法-NoisyTune，论文全称《NoisyTune: A Little Noise Can Help You Finetune Pretrained Language Models Better》。paper地址：https://aclanthology
转载
2024-08-07 13:29:37
31阅读
NLP的12条前提假设这部分内容有点多，稍微有点枯燥，但是很重要，请务必耐心读完，细细回味~强调一下，这不是鸡汤，而是一种理解世界的角度。 1. 没有两个人是一样的每一个人都有自己的性格、能力、特点，你们在不同的环境里长大，经历了不同的人生，形成了不同的价值观和信念系统，因此对待同一个问题，你们会有不同的看法，你要学会接受和欣赏。你只有尊重别人的不同之处，别人才会尊重你独特的地方。&nb
转载
2023-06-22 22:53:57
110阅读
喽，大家好我是甘超波，一名NLP爱好者，每天一篇文章，分享我的NLP实战经验和案例，希望给你些启发和帮助不知道你在生活中是否留意到1：不知你留意过没有，很多父母为孩子上不上补习班，意见不统一而发生争吵？2：不知你留意过没有，很多人在公司开会，在某一个点与同事看法不一致，而发生争吵？......这样的事情，我相信你或多或少都听过和看过，但是你有没有想过1：为什么我们这么容易与别人发生争吵？2：为什么当别人和我们观念不一致，我就喜欢和别人争吵呢？是什么原因造成的？
原创
2021-09-29 09:12:35
535阅读
论文题目：Differentiable Prompt Makes Pre-trained Language Models Better Few-shot Learners本文作者：张宁豫（浙江大学）、李泺秋（浙江大学）、陈想（浙江大学）、邓淑敏（浙江大学）、毕祯（浙江大学）、谭传奇（阿里巴巴）、黄非（阿里巴巴）、陈华钧（浙江大学）发表会议：ICLR 2022论文链接：https://arxiv.o
喽，大家好我是甘超波，一名NLP爱好者，每天一篇文章，分享我的NLP实战经验和案例，希望给你些启发和帮助不知道你在生活中是否留意到1：不知你留意过没有，很多人懂很多NLP知识，但是就是在生活中运用不出呢？2：不知道你留意过没有，很多人知道打骂是不对的，但是看到孩子不听话，还是忍不住要打骂孩子呢？3：不知道你留意过没有，很多人都懂很多人生的大道理，但是就过不好自己生活呢？.....这样的事情，我相信你或多或少都听过和看过，你知道什么原因呢？原因非常简单：1:我们知道
原创
2021-09-29 09:10:09
178阅读
喽，大家好我是甘超波，一名NLP爱好者，每天一篇文章，分享我的NLP实战经验和案例，希望给你些启发和帮助今天主要分享NLP中非常重要一条心法：意志所在，能量即来，他也叫聚焦管理，他也是贯穿NLP目标管理中最核心原理。我们在学习之前先做2个练习。一：练习1把我们的眼睛往自己前方四周看，看那些东西是白色，5秒钟之后把看到白色东西写到纸上。做完这个练习说明我们能够看到红色、白色的东西吗？当然是看不到的，因为我们注意力焦点都聚集在白色上，红色和黄色的东西自然会被过滤掉。
原创
2021-09-29 09:12:31
265阅读
喽，大家好我是甘超波，一名NLP爱好者，每天一篇文章，分享我的NLP实战经验和案例，希望给你些启发和帮助前面我们分享12条前提假设中第一条地图非地域，这是NLP中最核心的一条心法，是情绪管理和沟通管理最基本和最核心的原则。可以这样说这条心法贯穿NLP中所有一切。今天我们接着分享12条前提假设中的第2条心法：没有失败，只有反馈。先讲一个小故事，相信大家都看过王宝强演的人在囧途吧。春节回家过年，王宝强第一次准备坐飞机回老家过春节，结果飞机飞到一半就返航了。然后也坐火车回家，结果火
原创
2021-09-29 09:12:34
266阅读
# Windows Docker前提
Docker是一种容器化技术，可以用来打包应用程序及其所有依赖项，确保代码在不同环境中的一致性运行。在Windows系统上使用Docker，需要满足一些前提条件。本文将介绍Windows上使用Docker的前提条件，并给出相应的代码示例。
## Windows Docker前提条件
### Windows版本
首先，你需要使用Windows 10专业版
原创
2024-06-23 04:04:35
22阅读
# 如何实现“前提醒”功能：Java开发初学者指南
在现代软件开发中，“前提醒”功能是一种很有用的用户交互，它可以帮助用户在进行操作之前进行确认或预警。对于刚入行的开发者而言，实现这一功能并不复杂，但需要理解整个流程以及每一步所需的代码。本文将分步进行讲解，并附上相关的示例代码和甘特图。
## 整体流程
下表概述了实现“前提醒”功能的主要流程：
| 步骤 | 说明
