一. python反射的方式来调用方法属性反射主要指的就是hasattr、getattr、setattr、delattr这四个函数，作用分别是检查是否含有某成员、获取成员、设置成员、删除成员。此外还有一个 __import__方法，用来与getattr可以实现一些根据字符串来动态的获取模块、方法、属性的方法，示例如下：1 # 普通的import模块方法：
2 import AA as aa
3
转载
2023-07-04 00:15:08
119阅读
Attention基本公式及其变种
目前的诸多机器学习相关的问题，诸如推荐问题中的序列处理，时间序列的预测，文本分类等问题都会涉及到Attention函数的使用，Attention已经成为了这些问题在建模时的最为核心的模块。
而我们在实践的过程中发现，attention计算方式的不同对于不同的问题会有些许影响,有的时候影响还很大，所以在本文我们看看有哪些常用的attention函数。
原创
2021-07-12 18:22:37
252阅读
#所需要的包：
import torch
from torch import nn, optim # nn:神经网络模块，optim:优化器
from torch.optim.lr_scheduler import CosineAnnealingLR # 学习率衰减:导入余弦退火学习率调度器
from torchinfo import summary#打印网络模型各层信息的库
import tim
转载
2024-07-11 08:37:57
36阅读
文章目录写在前面——定义维度符号输入数据KQV矩阵算法核心attention核心By the way……pytorch 实现 写在前面——定义维度符号字母BUEHDkqDv含义batch 大小组数据长度（例如：一句话有多少个字，一时间序列包含多少天数据）数据表示维度（例如：一个字用多少维数据表示，一天数据包含多少个不同方面的数据）多头attention机制中的头数每个头中KQ矩阵用多少维数据表示
转载
2023-11-03 10:58:36
110阅读
目录什么是Self-Attention（自注意力机制）？一步步理解Self-Attention代码自己实现？什么是Self-Attention（自注意力机制）？ 如果你在想Self-Attention（自注意力机制）是否和Attention（注意力机制）相似，那么答案是肯定的。它们本质上属于同一个概念，拥有许多共同的数学运算。 一个Self-Attention模块拥有n个输入，返回n个输出。
转载
2024-06-18 09:27:44
81阅读
作者：一元，四品炼丹师前言目前的诸多机器学习相关的问题，诸如推荐问题中的序列处理，时间序列
转载
2022-07-30 00:56:12
80阅读
# 学习“Python Attention”机制
在深度学习中，Attention机制是一种非常重要的技术。它能够让模型在处理输入序列时，更加关注那些更重要的信息。本文将指导你如何实现一个简单的Attention机制，并提供每一步需要的Python代码和详细解释。
## 实现流程
为了更好地理解整个实现过程，我们将整个流程分成以下几个步骤：
| 步骤 | 描述
先看self-attentionclass SelfAttention(nn.Module):
def __init__(self, input_vector_dim: int, dim_k=None, dim_v=None):
"""
初始化SelfAttention，包含如下关键参数：
input_vector_dim: 输入向量的维度，
转载
2024-08-14 12:31:59
217阅读
1.tf.multiply（）两个矩阵中对应元素各自相乘2.tf.matmul（）将矩阵a乘以矩阵b，生成a * b3.tf.Variable：主要在于一些可训练变量（trainable variables），比如模型的权重（weights，W）或者偏执值（bias）； 声明时，必须提供初始值； 名称的真实含义，在于变量，也即在真实训练时，其值是会改变的，自然事先需要指定初始值；weights =
转载
2024-03-28 22:43:15
75阅读
attention 总结参考：注意力机制（Attention Mechanism）在自然语言处理中的应用 Attention函数的本质可以被描述为一个查询（query）到一系列（键key-值value）对的映射，如下图。 在计算attention时主要分为三步:第一步是将query和每个key进行相似度计算得到权重，常用的相似度函数有点积，拼接，感知机等；第二步一般是使用一个softmax函数
目录前言Seq2SeqAttention机制的引入Hard or SoftGlobal or Local注意力的计算Self-Attention小结前言之前已经提到过好几次Attention的应用，但还未对Attention机制进行系统的介绍，这里对attention机制做一个概述，免得之后看阅读理解论文的时候被花式Attention弄的晕头转向。Seq2Seq注意力机制（Attention Me
转载
2023-07-17 22:37:11
109阅读
# 实现 "Python GRU Attention" 的步骤
## 整体流程
```mermaid
journey
title 教小白实现Python GRU Attention
section 了解GRU
section 实现GRU模型
section 添加Attention机制
section 训练模型
section 测试模型
```
原创
2024-05-29 05:35:38
120阅读
Transformer一、Transformer1、简介创新、模型效果 通用的模块 注意力机制 应用领域：cv nlp 信号处理 视觉、文本、语音、信号核心： 提特征的方法 提的更好应用NLP的文本任务nlp word2vec 词向量每个词都是一个向量不同的语境中一个词的含义不同 2、Attention 注意力机制权重控制语言：感兴趣的 图像：指定需要关
转载
2023-11-29 01:25:50
865阅读
# Python中的CNN-GRU注意力模型
在深度学习领域，卷积神经网络（CNN）和门控循环单元（GRU）是两种十分流行的模型，它们分别用于处理视觉和序列数据。而通过引入注意力机制，我们可以进一步提升模型的性能。在本文中，我们将介绍如何结合CNN、GRU和注意力机制来构建一个强大的模型。
## CNN-GRU注意力模型
CNN主要用于提取图像或文本数据中的特征，而GRU则用于处理序列数据。
原创
2024-05-31 07:01:51
281阅读
博主在用python的时候遇到的一些函数，就随笔记录下来了，以便日后查阅方便。当然这篇博客是在不断更新的，因为遇到的东西也特别多嘛，嘿嘿。numpy.meshgrid从坐标向量返回坐标矩阵。 在给定一维坐标阵列x1、x2、…、xn的情况下，在N-D网格上对N-D标量/向量场进行向量化计算，生成N-D坐标阵列。>>> nx, ny = (3, 2)
>>> x =
Python 在程序并行化方面多少有些声名狼藉。撇开技术上的问题，例如线程的实现和 GIL，我觉得错误的教学指导才是主要问题。常见的经典 Python 多线程、多进程教程多显得偏"重"。而且往往隔靴搔痒，没有深入探讨日常工作中最有用的内容。传统的例子简单搜索下"Python 多线程教程"，不难发现几乎所有的教程都给出涉及类和队列的例子：import os
import PIL
from multi
18.3.2 实战释放 例18.3中的代码显示了如何创建一个框架（窗口）用以接受文件的释放。你可以通过从资源管理器或查找窗口拖动一个文件到该框架（窗口）上来测试例子代码，并观查显示在窗口中的关于文件的信息。图18.3是运行后的结果。 图18.3
例18.3 文件释放到的目标的相关代码
#-*- encoding:UTF-8 -*-
理解RNN中的Attention机制：使用传统编码器-解码器的RNN模型先用一些LSTM单元来对输入序列进行学习，编码为固定长度的向量表示；然后再用一些LSTM单元来读取这种向量表示并解码为输出序列。采用这种结构的模型在许多比较难的序列预测问题（如文本翻译）上都取得了最好的结果，因此迅速成为了目前的主流方法。这种结构在很多其他的领域上也取得了不错的结果。然而，它存在一个问题在于：输入序列不论长短都
转载
2023-09-29 22:12:56
60阅读
文章目录激活函数1. sigmoid2. relu3. leakyReLu4. nn.PReLU5. nn.ReLU66. Softplus函数7. softmin, softmax, log softmax8. ELU 激活函数1. sigmoidsogmoid函数的梯度范围在 0-0.25， 容易梯度消失2. reluReLU激活函数的提出 可以解决梯度消失问题但是 如果输入激活函数的值总是
变量类型严格意义上讲，python只有一个类型python的标准数据类型有六种
数字类型Number字符串类型 str列表 list元组 tuple字典 dict集合 set数字类型 Numberpython中的数字没有大小限制常见的数字类型的分类
整数（没有小数部分，包含正数，负数，0）
二进制
只有0，1以0b开头的01串八进制
以0o开头的0
