引子：语言模型简介所谓语言模型（Language Model，LM），即给定一句话的前k个词，我们希望语言模型可以预测第k+1个词是什么，即给出一个第k+1个词可能出现的概率的分布p(xk+1|x1x2...xk)。衡量一个语言模型的好坏，最好的方法就是将其应用到具体的问题当中，比如机器翻译、speech recognition、spelling corrector等。然后看这个语言模型在这些任务
转载
2024-05-02 12:56:29
101阅读
1. 引言1.1 大型语言模型的发展背景与现状发展背景数据量的爆炸增长：互联网的普及和数字化进程加速了信息的产生与积累，为训练大规模语言模型提供了丰富的原材料。大数据时代的到来，使得模型可以学习到更多样、更复杂的真实世界语言数据。计算能力的飞跃：GPU、TPU等高性能计算硬件的发展，以及云计算的普及，大幅提升了处理大规模数据和复杂模型训练的速度与效率，使得训练数十亿乃至数千亿参数的模型成为可能。深
详解词向量 Word2vec 模型1. Word2vec是啥? 在聊 Word2vec 之前，先聊聊 NLP (自然语言处理)。在NLP里面，最细粒度的是 词语，词语 组成句子，句子再组成段落、篇章、文档。所以处理 NLP 的问题，首先就要拿词语开刀。举个简单例子，判断一个词的词性，是动词还是名词。用机器学习的思路，我们有一系列样本(x,y)，这里 x 是词语，y 是它们的词性，我们要构建 f(x
目录一、什么是词向量 1.1 离散表示（one-hot representation）1.2分布式表示（distribution representation）二、如何生成词向量三、如何让向量具有语义信息四、CBOW和Skip-gram的算法实现4.1Skip-gram的理想实现 4.2Skip-gram的实际实现一、什么是词向量 &nb
转载
2024-03-19 12:28:32
189阅读
人工智能基础总目录 词向量模型一 One hot编码缺点PCA/SVD后的问题二 Word2vec1.1 目标函数2.1 主流计算方法1 Skip gram2 CBOW2.2 计算方面的优化方法1 Tree softmax2 Negative Sampling （NEG）三 Glove 模型四 句子向量 Word embedding 是自然语言处理中的重要环节，它是一种文本表示方法，并不具体指某
转载
2024-05-03 14:49:17
105阅读
前言第一次听UML的时候不知道这到底是什么，觉得就跟C++，JAVA这种设计语言类似，后来以为是一个画图软件，直到看了视频才明白-----都不是。正文UML（Unified Modeling Language）它是一种可视化的面向对象语言，描述了一个系统的静态结构和动态行为，用图形方式表现典型的面向对象系统的整个结构，从不同的角度为系统建模，并形成系统的不同视图。 （官方解释：UML是统一建模
在前面几讲中笔者对 word2vec 词向量进行了相对详细的介绍，并在上一讲给出了 skip-gram 模型的训练示例。除了 word2vec 之外，常用的通过训练神经网络的方法得到词向量的方法还包括 Glove（Global Vectors for Word Representation）词向量、fasttext 词向量等等。本节笔者将对 Glo
转载
2024-01-02 12:16:10
102阅读
一、词向量 词向量的表示方法： 1、one-hot representation，就是用一个很长的向量来表示一个词，向量的长度为词典的大小，向量的分量只有一个 1，其他全为 0， 1 的位置对应该词在词典中的位置。但这种词表示有两个缺点：（1）容易受维数灾难的困扰，尤其是将其用于 Deep Learning 的一些算法时；（2
转载
2023-07-04 15:50:21
252阅读
微调大语言模型-ChatGLM-Tuning大语言模型-微调chatglm6b大语言模型-中文chatGLM-LLAMA微调大语言模型-alpaca-lora本地知识库大语言模型2-document ai解读大语言模型-DocumentSearch解读大语言模型-中文Langchain大语言模型的学习，首先来看简单有效的document.aidocument.aihttps://github.co
转载
2024-05-27 17:07:54
115阅读
在读本文前默认读者已经懂得了词向量的基本常识。GloVe瞄准的是word2vec的缺点，我们知道word2vec进行训练词向量时只考虑了窗口内的单词，对于窗口外的词则没有考虑到，GloVe通过构建共现矩阵的方式使得训练词向量时考虑了全局信息，同时GloVe的训练没有采用神经网络，而是计算共现矩阵，使得训练的速度更快，适合大规模语料。GloVe模型分两步：1.构建共现矩阵；2.构建损失函数并训练直接
转载
2023-11-09 14:47:13
129阅读
神经网络怎么把一个词转换成一个向量
原创
2022-08-26 13:56:31
182阅读
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的
本篇开始进行向量代数和空间解析几何的内容的总结。一、定义向量：既有大小又有方向的量称为向量，又叫矢量。 向量由大小（长度）和方向唯一确定的，与起点和位置无关，这样的向量称为自由向量。向量相等：向量相等有两个条件，大小（长度）相等，方向相同。向量的模向量的夹角二、向量的线性运算向量加法 ①平行四边形法则 如图，两个向量相加，做两个向量的平行向量组成平行四边形，即可得到结果向量②三角形法则从向量OA起
Word2vec 是一种计算效率特别高的预测模型，用于学习原始文本中的字词嵌入。 它分为两种类型：连续词袋模型 (CBOW) 和 Skip-Gram 模型。 从算法上看，这些模型比较相似，只是 CBOW 从源上下文字词（“the cat sits on the”）中预测目标字词（例如“mat”）， 而 skip-gram 则逆向而行，从目标字词中预测源上下文字词。这种调换似乎是一种随意
转载
2023-09-28 22:43:00
81阅读
词向量的表示可以分成两个大类1：基于统计方法例如共现矩阵、奇异值分解SVD；2：基于语言模型例如神经网络语言模型(NNLM)、word2vector(CBOW、skip-gram)、GloVe、ELMo。 word2vector中的skip-gram模型是利用类似于自动编码的器网络以中心词的one-hot表示作为输入来预测这个中心词环境中某一个词的one-hot表示，即先将中心词one-h
转载
2024-01-31 18:28:07
94阅读
Google的DeepMind研究实验室公布了其在语音合成领域的最新成果——WaveNet，一种原始音频波 形深度生成模型，能够模仿人类的声音，生成的原始音频质量优于目前Google采用的两种最优文本-语音模型Parameric TTS与Concatenative TTS。WaveNets是一种卷积神经网络，能够模拟任意一种人类声音，生成的语音听起来比现存的最优文本-语音系统更为自然，将模拟生成的
转载
2024-07-12 15:42:38
130阅读
说明通过NER的应用（识别公司名、人名、地名和时间），已经将BERT和Electra进行大规模的计算，以下梳理下其他的应用方向。BERT:BERT是2018年10月由Google AI研究院提出的一种预训练模型。 BERT的全称是Bidirectional Encoder Representation from Transformers。BERT在机器阅读理解顶级水平测试SQuAD1.1中表现出惊
转载
2024-06-09 00:52:08
74阅读
基于神经网络的表示一般称为词向量、词嵌入(word embdding)或分布式表示。神经网络的词向量和其他分布式类似，都基于分布式表达方式，核心依然是上下文的表示以及上下文与目标词之间的关系映射。主要通过神经网络对上下文，以及上下文和目标词之间的关系进行建模，之所以神经网络可以进行建模，主要是由于神经网络的空间非常大，所以这种方法可以表达复杂的上下文关系。词向量 nlp中最常见的第一步是创建一个词
转载
2024-04-16 20:40:20
38阅读
什么是词向量： 词向量（Word Vector）是对词语义或含义的数值向量表示，包括字面意义和隐含意义。 词向量可以捕捉到词的内涵，将这些含义结合起来构成一个稠密的浮点数向量，这个稠密向量支持查询和逻辑推理。词向量也称为词嵌入，其英文均可用 Word Embedding，是自然语言处理中的一组语言建模和特征学习技术的统称，其中来自词表的单词或短语被映射为实数的向量，这些向量能够体现词语之间的语义关
转载
2023-12-25 13:16:38
102阅读
## Java生成词向量的指南
在自然语言处理（NLP）领域，词向量是一种重要的表示技术，它能够将单词转换为数字形式，使得计算机能够理解文本的语义。在Java中生成词向量通常包含以下步骤：
| 步骤 | 描述 |
|-----------|--------------------------------
原创
2024-08-30 03:26:52
35阅读
