YOLOv5代码阅读笔记 - 损失函数 yolov5 中包含了以下三种损失函数：classification loss: 分类损失 localization loss: 定位损失 confidence loss: 置信度损失 总体的损失即为以上三者的加权相加，通过改变权值可以调整对三者损失的关注度。分类预测通常对于分类任务，输出的标签是互斥的。如将某一个生物可能为人、狗或是猫，且该生物只可能是三种
转载
2024-06-05 07:07:19
99阅读
为了表示对前辈的尊敬，关于模型的解释，很简单：12词 => 上下文 Skip-gram上下文 => 词 CBOW Continuous Bag-of-words Model损失函数是L =Σ????(?|???????(?)), w??， 所以word2vec的关键问题：如何构造概率函数?(?|???????(?))。实际上word2vector的损失函数用的是交叉熵。交叉熵是什么意思
转载
2024-03-05 21:41:59
134阅读
这个是非常经典的word2vect 的论文翻译 另外一个作者的 写的非常详细https://www.jianshu.com/p/a1163174ebafhttps://www.jianshu.com/p/ed15e2adbfad 这个是重要的举措negative samplingnceloss 经典 https://www.jianshu.com/p/fab82fa5
转载
2024-05-27 09:18:09
75阅读
聊聊Word2vec1 前言2 什么是Word2vec？2.1 定义2.1.1 分词的原理介绍2.1.2 文本向量化的方式2.2 数学原理2.2.1 CBOW（Continuous Bag-of-Words）原理2.2.2 Skip-Gram原理2.2.3 为什么要有Word2vec 而不是用原来的？2.2.4 Word2vec基础：霍夫曼树2.2.5 Hierarchical Softmax2
转载
2024-05-24 22:22:52
46阅读
架构：skip-gram（慢、对罕见字有利）vs CBOW（快）· 训练算法：分层softmax（对罕见字有利）vs 负采样（对常见词和低纬向量有利） 负例采样准确率提高，速度会慢，不使用negative sampling的word2vec本身非常快，但是准确性并不高·&n
转载
2024-08-11 22:55:46
75阅读
深度学习入门小菜鸟，希望像做笔记记录自己学的东西，也希望能帮助到同样入门的人，更希望大佬们帮忙纠错啦~侵权立删。✨word2vector系列展示✨一、CBOW1、朴素CBOW模型2、基于分层softmax的CBOW模型3、基于高频词抽样+负采样的CBOW模型本篇二、Skip_Gram（关于Skip_Gram的分层softmax和负采样，与CBOW类似）目录一、前言介绍1、朴素CBOW模型原理与代码
在《（一）理解word2vec：原理篇》中，我已经介绍了word2vec的相关应用和原理。在这篇博客中，我主要介绍word2vec的实践。本篇博客的基础实践代码仍然参考刘新建老师的博客，在他文章的基础上，我又扩展了一些功能。我用的实现word2vec的包是gensim（官方github）。gensim是一款开源的第三方Python工具包，用于从原始的非结构化的文本中，无监督地学习到文本隐层的主题向
转载
2024-05-28 19:44:21
104阅读
nlp之 word2vec 训练细节引言单词组合高频词抽样抽样率 也即是删除概率负采样如何选择negative words参考文献 引言举个栗子，我们拥有10000个单词的词汇表，我们如果想嵌入300维的词向量，那么我们的输入-隐层权重矩阵和隐层-输出层的权重矩阵都会有 10000 x 300 = 300万个权重，在如此庞大的神经网络中进行梯度下降是相当慢的。更糟糕的是，你需要大量的训练数据来调
转载
2024-04-19 05:58:33
70阅读
系列所有帖子 自己动手写word2vec (一):主要概念和流程 自己动手写word2vec (二):统计词频 自己动手写word2vec (三):构建Huffman树 自己动手写word2vec (四):CBOW和skip-gram模型 CBOW和skip-gram应该可以说算是word2vec的核心概念之一了。这一节我们就来仔细的阐述这两个模型。其实这两个模型有很多的相通之处，所以这里就以阐
转载
2024-07-03 14:07:22
51阅读
以下是我训练word2vec中的代码，主要包括： 1、模型数据的生成， 2、模型训练，两种训练方式 （1）处理成这样的格式： 二维列表，外边的列表将所有的句子token， 里边每个列表是一个句子的token(过滤掉停用词的词列表) [[w1, w2], [w1,w2]]#vocab就是上述的二维列表
model = word2vec.Word2Vec(vocab, size=200, windo
转载
2024-04-01 16:59:24
119阅读
作者丨玩人@博客已经看了很久的word2vec，但是发现了很多不同版本的解释，再加上原始论文没有提到太多的细节，所以打算直接看一遍源码，一方面可以加深自己理解；另一方面，以后也可以做适当的改进！先给出源码中执行的流程图，按照流程图对代码进行详细的解读，流程图如下:训练部分的流程图如下：讲解将会按照这个训练过程来！一、训练参数注意，这些参数都是「全局参数」，包括以下参数:size: 对应代码中lay
转载
2024-08-05 12:38:37
621阅读
# 导入包
import collections
import math
import random
import time
import os
import numpy as np
import torch
from torch import nn
import sys
import torch.utils.data as Data1.处理数据集# 打开并读取数据集ptb
dataset_pat
转载
2023-11-07 01:16:11
84阅读
训练自己的Word2vec模型为了能够训练自己的Word2vec模型，你需要有一些数据，这里用Lee Evaluation 语料库来进行训练。这个语料库足够小（一共300条数据），而且可以完全加载进内存当中，但是！在实际的应用中你往往不能够直接加载很大的语料库进内存，所以首先来实现一个迭代器来逐行的读取文件：from gensim.test.utils import datapath
from g
转载
2024-05-04 10:07:44
152阅读
深入浅出理解word2vec模型 (理论与源码分析)文章源码下载地址：点我下载http://inf.zhihang.info/resources/pay/7692.html对于算法工程师来说, Word2Vec 可以说是大家耳熟能详的一种词向量计算算法，Goole在2013年一开源该算法就引起了工业界与学术界的广泛关注。一般来说，word2vec 是基于序列中隔得越近的word越相似的基础假设来训
转载
2024-05-12 11:41:55
65阅读
嗨，好久不见啊！今天我们来完成一个word2vec模型训练，学习笔记有挺多人写的，不瞒您说，小白也是看别人的博客学习的。所以这次，小白就直接上手实例啦，一起嘛？ 首先介绍一下模型参数然后去网上找一个喜欢的文学作品，把它的txt下载下来。啊啊，其实你可以找几个拼在一起。我先是下载了一个《小王子》后来发现太小了就又下载了《时生》（顺便安利一下东野圭吾的《时生》），以utf-8编码的形式保存成xwz_s
转载
2024-01-28 15:31:11
152阅读
前言自从Mikolov在他2013年的论文“Efficient Estimation of Word Representation in Vector Space”提出词向量的概念后，NLP领域仿佛一下子进入了embedding的世界，Sentence2Vec、Doc2Vec、Everything2Vec。词向量基于语言模型的假设——“一个词的含义可以由它的上下文推断得出“，提出了词的Distri
转载
2024-05-30 11:12:55
69阅读
文章目录预训练word2vec1 - 跳元模型嵌入层定义前向传播2 - 训练二元交叉熵损失初始化模型参数定义训练阶段代码3 - 应用词嵌入4 - 小结 预训练word2vec我们将实现跳元语法模型，然后，我们将在PTB数据集上使用负采样预训练word2vec。首先，让我们通过调用d2l.load_data_ptb函数来获得该数据集的数据迭代器和词表import math
import torch
转载
2024-06-30 10:41:12
25阅读
教程1：https://mp.weixin.qq.com/s/dBsfygrVkFxMHE1q-q7HRQ 词向量编码：1、独热码：one-hot code2、word2vec：文本生成词向量模型，该方法提出目的就是解决独热码无法体现词语之间的差异性与相似性、丢失了语序信息；产生的数据高维且稀疏。而词向量主要有以下一些特点1、如果单词量为N，那么可以用一个n维的向量来表示每一个
这里先实现skip-gram，本文也是对于该篇文章的翻译，并添加个人的理解与感悟。整体的流程如下：数据准备 —— 数据获取、清洗、使标准化、分词超参数 —— 学习率、迭代次数、窗口大小、词向量维度生成训练数据 —— 创建字典、为每个词生成one-hot编码、生成word2dic和dic2word的索引建立模型 —— 通过前向传播先对词做编码，计算错误率，通过反向传播和梯度下降不断降低loss推理
转载
2024-10-31 06:42:03
61阅读
虽然早就对NLP有一丢丢接触，但是最近真正对中文文本进行处理才深深感觉到自然语言处理的难度，主要是机器与人还是有很大差异的，毕竟人和人之间都是有差异的，要不然不会讲最难研究的人嘞~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~不华丽的分割线~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
