前言这些知识点基本是本人在准备春招和秋招时做的笔记，东西比较杂，有的是自己总结，有的是参考网上博客，可能不是很准确，还望各位批评指正，多多交流。问-1：L1和L2正则化的联系和区别？答： 相同点： 1：都可以用来防止过拟合 2：其主要思想都是结构风险最小化：在经验风险最小化的基础上（也就是训练误差最小化，原有的损失），尽可能采用简单的模型，以此提高泛化预测精度。 不同点： 1：L1正则化(L1范数
转载
2024-08-05 09:11:56
80阅读
第二章:迁移学习2.1 迁移学习理论学习目标:了解迁移学习中的有关概念.掌握迁移学习的两种迁移方式.迁移学习中的有关概念:
预训练模型微调微调预训练模型(Pretrained model):
一般情况下预训练模型都是大型模型，具备复杂的网络结构，众多的参数量，以及在足够大的数据集下进行训练而产生的模型. 在NLP领域，预训练模型往往是语言模型，因为语言模型的训练是无监督的，可以获得
转载
2024-08-01 07:48:44
57阅读
自然语言处理主要步骤包括： 1.分词（只针对中文，英文等西方字母语言已经用空格做好分词了）：将文章按词组分开 2.词法分析：对于英文，有词头、词根、词尾的拆分，名词、动词、形容词、副词、介词的定性，多种词意的选择。比如DIAMOND，有菱形、棒球场、钻石3个含义，要根据应用选择正确的意思。 3.语法分析：通过语法树或其他算法，分析主语、谓语、宾语、定语、状语、补语等句子元素。 4.语义分析：通过选
转载
2024-08-28 18:33:05
3阅读
编者按：NLG——自然语言生成，是近年AI领域最受关注的前沿方向之一，也是争议和论辩最激烈的领域之一，甚至去年还引发过2位AI大神的隔空激辩。但对于更多关注者来说，可能首要任务还是在于追本溯源，知道NLG究竟是什么？原理如何？能做及不能做什么？所以我们推荐这篇不错的专家专栏，原作者是AI创业公司百炼智能——或者说他们就是NLG领域的纵深前行者，核心创始团队源自北大天网实验室，在AI领域从业多年，而
转载
2023-12-01 12:31:17
59阅读
【笔记】GPT 文章目录【笔记】GPT介绍原理预训练过程fine-tuning GPT和ELMO非常相似，把语言模型直接迁移到具体的NLP任务中，因此，更容易迁移学习；不过也有弊端，这种将结构带入下游任务中的模式，不一定对每个任务都适用，GPT主要还是针对分类任务和标注性任务，对于生成任务，比如机器翻译，则它的结构也没办法进行很好的迁移； 介绍GPT在2018年由OpenAI提出，通过在大量的语
转载
2023-12-27 09:26:53
142阅读
文章目录bert的优势bert的结构bert的输入bert的预训练任务bert的微调工作 bert的优势bert是Word2Vec的替代，Word2Vec文章一写过，是词嵌入的一种方法，作用是将自然语言转化为词向量。bert使用transformer为主要框架，transformer可以准确把握语句的双向关系。bert是通过自监督学习方法，自监督学习方法指在没有标签的数据集上进行监督学习，学习结
转载
2023-11-27 19:51:18
0阅读
智能电话机器人公司在介绍电话机器人技术的时候，都会提到三大核心技术：ASR、NLP、TTS，也都会说是公司自主研发的技术。然而，市场上大多数电话机器人公司的这三大核心技术都不是自己的，都是租用或者免费接入阿里、百度、科大讯飞的开放版引擎系统。今天，我们来了解一下智能电话机器人的其中一个技术：自然语言处理，简称为NLP。什么是自然语言处理？自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。
转载
2023-12-09 12:57:41
69阅读
本文，具体介绍了下面5大方面的行业实战评价指标：一、语音识别二、自然语言处理三、语音合成四、对话系统五、整体用户数据指标 一、语音识别ASR语音识别（Automatic Speech Recognition），一般简称ASR，是将声音转化为文字的过程，相当于人类的耳朵。 1、识别率看纯引擎的识别率，以及不同信噪比状态下的识别率（信噪比模拟不同车速、车窗、空调状态等），还有在线/
转载
2024-01-05 15:39:48
459阅读
认知计算部作为中科闻歌的基础研究部门，认知计算部依托于中科闻歌多年来积累的媒体大数据、高性能云计算平台以及高素质技术人才，致力于将认知计算技术应用到广泛的业务场景中并推动前沿技术发展，研究方向包括但不限于自然语言处理、计算机视觉、认知心理学、数据挖掘等。前言近期，量子技术的发展受到了广泛关注。量子技术是一项革命性的技术，将会深入影响人们的生活，也将会是未来多年重要的发展方向。所谓量子自然语言处理(
转载
2024-06-04 08:23:01
67阅读
随着深度学习的发展，自然语言处理领域的难题也得到了不断突破，AlphaGo项目的主要负责人David Silver曾说“深度学习 (DL)+ 强化学习 (RL) = 人工智能 (AI)”。目前深度学习在自然语言处理上主要有哪些应用？在工程实践中是否会有哪些瓶颈？以下内容是根据达观数据联合创始人高翔在《深度学习与文本智能处理》直播的总结。 一、为什么做文本挖掘 什么是
转载
2023-12-18 16:09:09
71阅读
【pre】在看一篇推文的时候，里面有这么一句话： 诶，看这意思，CV，NLP，RL，GNN是DL的纵向领域？其他三个尚且眼熟，但RL是什么呢？于是我去阅读了1、2，把我觉得有用的简单整理一下。【content】1、AI、ML、RL、DL的关系（1）AI：人工智能（Artificial Intelligence, AI）是研发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新
转载
2024-01-19 16:53:51
188阅读
目录BERT和GPT简介BERT和GPT核心差异GPT的优势GPT的劣势总结随着近期ChatGPT的火热，引发各行各业都开始讨论AI，以及AI可以如何应用到各个细分场景。为了不被时代“抛弃”，我也投入了相当的精力用于研究和探索。但在试验的过程中，我的直观感受是，NLP很厉害，但GPT并不好用，反倒是BERT更加顺手，如臂使指。同样是大语言模型，那引爆AI浪潮的，为什么是GPT，而不是BERT呢？尝
转载
2024-05-24 15:47:04
42阅读
从这个意义上讲，我们可以说GPT-2本质上是键盘应用程序的下一个单词预测功能，但是它比您的手机具有更大，更复杂的功能。 GPT-2在称为WebText的庞大40GB数据集上进行了训练，作为研究工作的一部分，OpenAI研究人员从互联网上进行了爬网。 为了比较存储空间，我使用的键盘应用程序SwiftKey占用了78MB的空间。 经过训练的GPT-2的最小变体，占用500MB的存储空间来存储其所有参数
转载
2024-01-30 20:48:59
138阅读
在上一篇文章当中花了较大篇幅对群进行了介绍，通过循环群就可以对本文所提到的离散对数问题（DLP） 进行解释。首先来看离散对数问题的一般定义：定义1. 离散对数问题（DLP）给定一个阶为的群，群操作为，有一生成元以及一元素，找到一个满足的整数，满足： 也可表示为：DLP可被用来构造单向函数，单向函数指的是假设有一个函数，已知输入计算是计算简单的，而已知输出计算在计算上是困难的。带入到DLP中，我们可
转载
2024-06-23 06:24:21
188阅读
本文主要基于论文《Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing》对NLP的四个方式和Prompt的相关研究进行介绍和说明。1. NLP发展的四个范式1.1 四个范式P1：非神经网络时代的完全监督学习(Fully Supervised Le
转载
2024-05-20 10:39:57
78阅读
NLP是神经语言程序学（Neuro-Linguistic Programming）的英文缩写。在香港有意译为【身心语法程式学】。N（Neuro）指的是神经系统，包括大脑和思维过程。L（Linguistic）指的是语言，更准确地说是指从感觉信号的输入到构成意思的过程。P（Programming）指的是产生某种后果而要执行的一套具体指令。NLP即指我们思维上及行为上的习惯，就如同电脑中的程序，可以透过
转载
2018-05-29 17:36:00
287阅读
■引言自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的
转载
2023-07-05 14:56:49
12阅读
衡量word embedding质量好坏要通过实际应用来判断；1、fastTextFastText是Facebook开发的一款快速文本分类器. fastText 方法包含三部分：模型架构、层次 Softmax 和 N-gram 特征。 可以用来训练词向量和进行文本分类，是有监
## 如何实现NLP和推荐系统
欢迎来到NLP和推荐系统的开发之旅！这篇文章将指导你从零开始实现一个基本的自然语言处理（NLP）与推荐系统。我们将通过几个步骤来构建这个项目，并附上相应的代码和注释。
### 项目流程
下面是项目的基本步骤：
| 步骤 | 描述 |
|------|------------------------|
| 1 |
原创
2024-09-07 04:29:09
38阅读
# 自然语言处理与GPT的探索之旅
## 引言
自然语言处理（NLP）是人工智能领域的重要分支。它致力于使计算机能够理解、解释和生成自然语言。近年来，基于深度学习的语言模型，如GPT（生成对抗网络），在NLP任务中表现出色，改变了许多应用的面貌。本篇文章将深入探讨NLP和GPT的基本概念，提供一些代码示例，以及如何使用这些工具进行任务处理。
## 自然语言处理（NLP）概述
NLP涉及语音
