认知计算部作为中科闻歌的基础研究部门，认知计算部依托于中科闻歌多年来积累的媒体大数据、高性能云计算平台以及高素质技术人才，致力于将认知计算技术应用到广泛的业务场景中并推动前沿技术发展，研究方向包括但不限于自然语言处理、计算机视觉、认知心理学、数据挖掘等。前言近期，量子技术的发展受到了广泛关注。量子技术是一项革命性的技术，将会深入影响人们的生活，也将会是未来多年重要的发展方向。所谓量子自然语言处理(
转载
2024-06-04 08:23:01
67阅读
近年来，在大量数据上训练的基于 transformer 的大规模深度学习模型在多项认知任务中取得了很好的成果，并且被使用到一些新产品和功能背后，进一步增强了人类的能力。在过去五年中，这些模型的规模增长了几个数量级。从最初的 transformer 模型的几百万个参数一直到最新的 5300 亿个参数的 Megatron-Turing (MT-NLG 530B) 模型（如图所示），客户对于前所未有的大
NLP ——Doc2vec即使利用word2vec对词向量进行平均处理，我们仍然忽略了单词之间的排列顺序对情感分析的影响。即上述的word2vec只是基于词的维度进行”语义分析”的，而并不具有上下文的”语义分析”能力。在一个句子或者文档的训练过程中，段落 ID 保持不变，共享着同一个段落向量。在word2vec的基础上添加一个段落向量。训练单词向量W时，也训练段落向量D，并且在训练结束时，它包含了
转载
2024-01-10 13:59:34
104阅读
自然语言处理主要步骤包括： 1.分词（只针对中文，英文等西方字母语言已经用空格做好分词了）：将文章按词组分开 2.词法分析：对于英文，有词头、词根、词尾的拆分，名词、动词、形容词、副词、介词的定性，多种词意的选择。比如DIAMOND，有菱形、棒球场、钻石3个含义，要根据应用选择正确的意思。 3.语法分析：通过语法树或其他算法，分析主语、谓语、宾语、定语、状语、补语等句子元素。 4.语义分析：通过选
转载
2024-08-28 18:33:05
3阅读
【笔记】GPT 文章目录【笔记】GPT介绍原理预训练过程fine-tuning GPT和ELMO非常相似，把语言模型直接迁移到具体的NLP任务中，因此，更容易迁移学习；不过也有弊端，这种将结构带入下游任务中的模式，不一定对每个任务都适用，GPT主要还是针对分类任务和标注性任务，对于生成任务，比如机器翻译，则它的结构也没办法进行很好的迁移； 介绍GPT在2018年由OpenAI提出，通过在大量的语
转载
2023-12-27 09:26:53
142阅读
编者按：NLG——自然语言生成，是近年AI领域最受关注的前沿方向之一，也是争议和论辩最激烈的领域之一，甚至去年还引发过2位AI大神的隔空激辩。但对于更多关注者来说，可能首要任务还是在于追本溯源，知道NLG究竟是什么？原理如何？能做及不能做什么？所以我们推荐这篇不错的专家专栏，原作者是AI创业公司百炼智能——或者说他们就是NLG领域的纵深前行者，核心创始团队源自北大天网实验室，在AI领域从业多年，而
转载
2023-12-01 12:31:17
59阅读
以前编码问题总能让自己凑或蒙过去，最近要做一个项目服务器端用python写，客户端用c++，工程编译的字符集使用UNICODE。之间通过socket进行通信，通信过程中编码转换问题把我搞得晕头转向，逼着我将编码问题好好研究一番。 首先先谈谈VC中的编码问题，首先编码我们大致可以分为两类：文件编码和内存编码。文件编码即源代码文件的编码，gbk，UTF-8等。内存编码即源代码编译
转载
2024-01-11 22:37:15
52阅读
一．预处理宏1. 通用宏VC6.0 中：Project Setting à C/C++ à Preprocessor definitionsVC2005 中：项目属性 à 配置属性 à C/C++ à 预处理器定义 WIN32 ：指明是 Window 32 位系统的编译器，一般用作平台识别。_MBCS/_UNICODE ：指明该工
转载
2021-07-31 11:15:17
427阅读
随着深度学习的发展，自然语言处理领域的难题也得到了不断突破，AlphaGo项目的主要负责人David Silver曾说“深度学习 (DL)+ 强化学习 (RL) = 人工智能 (AI)”。目前深度学习在自然语言处理上主要有哪些应用？在工程实践中是否会有哪些瓶颈？以下内容是根据达观数据联合创始人高翔在《深度学习与文本智能处理》直播的总结。 一、为什么做文本挖掘 什么是
转载
2023-12-18 16:09:09
71阅读
文章目录bert的优势bert的结构bert的输入bert的预训练任务bert的微调工作 bert的优势bert是Word2Vec的替代，Word2Vec文章一写过，是词嵌入的一种方法，作用是将自然语言转化为词向量。bert使用transformer为主要框架，transformer可以准确把握语句的双向关系。bert是通过自监督学习方法，自监督学习方法指在没有标签的数据集上进行监督学习，学习结
转载
2023-11-27 19:51:18
0阅读
本文，具体介绍了下面5大方面的行业实战评价指标：一、语音识别二、自然语言处理三、语音合成四、对话系统五、整体用户数据指标 一、语音识别ASR语音识别（Automatic Speech Recognition），一般简称ASR，是将声音转化为文字的过程，相当于人类的耳朵。 1、识别率看纯引擎的识别率，以及不同信噪比状态下的识别率（信噪比模拟不同车速、车窗、空调状态等），还有在线/
转载
2024-01-05 15:39:48
459阅读
智能电话机器人公司在介绍电话机器人技术的时候，都会提到三大核心技术：ASR、NLP、TTS，也都会说是公司自主研发的技术。然而，市场上大多数电话机器人公司的这三大核心技术都不是自己的，都是租用或者免费接入阿里、百度、科大讯飞的开放版引擎系统。今天，我们来了解一下智能电话机器人的其中一个技术：自然语言处理，简称为NLP。什么是自然语言处理？自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。
转载
2023-12-09 12:57:41
69阅读
在上一篇文章当中花了较大篇幅对群进行了介绍，通过循环群就可以对本文所提到的离散对数问题（DLP） 进行解释。首先来看离散对数问题的一般定义：定义1. 离散对数问题（DLP）给定一个阶为的群，群操作为，有一生成元以及一元素，找到一个满足的整数，满足： 也可表示为：DLP可被用来构造单向函数，单向函数指的是假设有一个函数，已知输入计算是计算简单的，而已知输出计算在计算上是困难的。带入到DLP中，我们可
转载
2024-06-23 06:24:21
188阅读
前言这些知识点基本是本人在准备春招和秋招时做的笔记，东西比较杂，有的是自己总结，有的是参考网上博客，可能不是很准确，还望各位批评指正，多多交流。问-1：L1和L2正则化的联系和区别？答： 相同点： 1：都可以用来防止过拟合 2：其主要思想都是结构风险最小化：在经验风险最小化的基础上（也就是训练误差最小化，原有的损失），尽可能采用简单的模型，以此提高泛化预测精度。 不同点： 1：L1正则化(L1范数
转载
2024-08-05 09:11:56
80阅读
从这个意义上讲，我们可以说GPT-2本质上是键盘应用程序的下一个单词预测功能，但是它比您的手机具有更大，更复杂的功能。 GPT-2在称为WebText的庞大40GB数据集上进行了训练，作为研究工作的一部分，OpenAI研究人员从互联网上进行了爬网。 为了比较存储空间，我使用的键盘应用程序SwiftKey占用了78MB的空间。 经过训练的GPT-2的最小变体，占用500MB的存储空间来存储其所有参数
转载
2024-01-30 20:48:59
138阅读
目录BERT和GPT简介BERT和GPT核心差异GPT的优势GPT的劣势总结随着近期ChatGPT的火热，引发各行各业都开始讨论AI，以及AI可以如何应用到各个细分场景。为了不被时代“抛弃”，我也投入了相当的精力用于研究和探索。但在试验的过程中，我的直观感受是，NLP很厉害，但GPT并不好用，反倒是BERT更加顺手，如臂使指。同样是大语言模型，那引爆AI浪潮的，为什么是GPT，而不是BERT呢？尝
转载
2024-05-24 15:47:04
42阅读
【pre】在看一篇推文的时候，里面有这么一句话： 诶，看这意思，CV，NLP，RL，GNN是DL的纵向领域？其他三个尚且眼熟，但RL是什么呢？于是我去阅读了1、2，把我觉得有用的简单整理一下。【content】1、AI、ML、RL、DL的关系（1）AI：人工智能（Artificial Intelligence, AI）是研发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新
转载
2024-01-19 16:53:51
188阅读
一．预处理宏1. 通用宏VC6.0 中：Project Setting à C/C++ à Preprocessor definitionsVC2005 中：项目属性 à 配置属性 à C/C++ à 预处理器定...
转载
2013-08-09 16:45:00
212阅读
2评论
■引言自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的
转载
2023-07-05 14:56:49
12阅读
NLP是神经语言程序学（Neuro-Linguistic Programming）的英文缩写。在香港有意译为【身心语法程式学】。N（Neuro）指的是神经系统，包括大脑和思维过程。L（Linguistic）指的是语言，更准确地说是指从感觉信号的输入到构成意思的过程。P（Programming）指的是产生某种后果而要执行的一套具体指令。NLP即指我们思维上及行为上的习惯，就如同电脑中的程序，可以透过
转载
2018-05-29 17:36:00
287阅读
