文章目录Encoder-decoder结构Transformer结构Transformer的子结构自注意力机制(Self attention)Mask多头注意力(multi-head attention)位置编码(Positional Encoding)Feed ForwardTransformer详析Transformer整体结构其他问题transformer训练与测试过程的不同mask的原理
转载
2024-02-28 19:41:24
552阅读
通过案例学调优之--Oracle Time Model（时间模型）数据库时间 优化不仅仅是缩短等待时间。优化旨在缩短最终用户响应时间和（或）尽可能减少每个请求占用的平均资源。有时这些目标可同时实现，而有时则需要进行折衷（如在并行查询时）。通常可以认为，优化就是避免以浪费的方式占用或保留资源。
最近在做实时推荐，分成三个阶段来做： 第一步，先利用相似推荐补充到实时数据流第二步，加入实时特征应用到线上推荐模型第三步，针对模型进行实时训练学习改造 实时推荐的各种模型，可以看一下：https://zhuanlan.zhihu.com/p/385709488 1.Lambda架构Lambda架构(见参考文献1)就是上面这种思路的高度抽象，它是著名的流式处理框架Sto
因为视频类似NLP，每帧可视为word，而整个视频序列可视为一个句子。因此本文借助VIT用于解决视频分类任务。
原创
2024-07-08 14:43:43
80阅读
狭义的性能测试：主要用于描述常规的性能测试，是指通过模拟生产运行的业务压力或用户使用场景来调试系统的性能是否满足生产性能的要求。 例如，以实际投产环境进行测试，来求出最大的吞吐量与最佳响应时间，以保证上线的平稳、安全等。广义的性能测试：压力测试、负载测试、强度测试、并发（用户）测试、大数据量测试、配置测试、可靠性
转载
2024-09-29 06:28:57
36阅读
这是一篇比较老的论文了（2011），看的时候还是对里面具体的方法不太理解，希望一起讨论。如果有疑问，希望查看原论文。1.介绍： 2011年左右的时候，行人跟踪很多集中在维持目标的身份上，而在监控识别上需要行人周围存在稳定的边界框。所以作者提出来多目标跟踪系统。此系统提供了较为稳定和准确的头部估计。通过在每帧上实现滑动窗口来执行数据关联。这篇论文将异步Hog检测与同步的Klt跟踪相结合，并使用Mar
前言： transformer在视频理解方向的应用主要有如下几种实现方式：Joint Space-Time Attention，Sparse Local Global Attention 和Axial Attention。这几种方式的共同点是采用ViT中的方式将图像进行分块，而它们之间的区别在于如何 ...
转载
2021-05-12 23:42:00
775阅读
2评论
代码示例代码运行环境：Android , 开发工具AS，用AS创建一个JIN工程，然后copy示例代码覆盖工程的natvie-lib.cpp文件即可 代码逻辑说明：创建一个首次超时时间2S，后续每间隔50毫秒超时的定时器文件符实例，超时20次后停止#include <jni.h>
#include <string>
#include <thread>
#incl
转载
2024-09-11 20:01:57
134阅读
假设一个人总共拥有10个点的注意力，那么对于以下简单的数学公式，可以帮助我们理解分散注意力对学习效率的影响。 1. 10—0=102. 10—2=83. 10—2—2=64. 10—2—2—2=4 如果完成一项工作需要10个点的注意力，那么对于第一个人需要一天的时间，第二个人需要1.25天，第三个人需要1.67天，第四个人甚至需要2.5天
转载
2024-04-24 21:12:03
74阅读
在过去的几年中，自然语言处理（NLP）领域因基于注意力的方法的出现而发生了革命性变化。由于它们在捕获单词之间的远程依存关
原创
2024-05-18 20:49:22
49阅读
使用质量主要从用户的角度进行考虑，根据使用软件的结果而不是软件自身的属性来进行测量，即用户使用产品或系统满足其需求的程度。
原创
2022-10-24 10:38:20
1356阅读
点赞
SQLAchemy模型使用 简介： SQLAlchemy是Python编程语言下的一款ORM框架，该框架建立在数据库API之上，使用关系对象映
原创
2024-09-26 09:59:23
49阅读
之前写过一篇django的模型关系，今天腾出时间把上篇的兄弟篇补上，来学习下django orm, 利用django的模型可以很方便的对数据库进行操作，之前开发人员是必须要具备一定sql基础的，但如果有些开发人员就是不想了解sql呢，在之前，不懂那是万万不行的，但自从有了orm，开发人员就可以在不懂sql的情况下也能完成对数据库的增删改查操作，今天我们就来看看如何实现这些基本的需求，开始前我们先定
原创
2021-03-08 21:52:29
816阅读
AI模型使用： https://huggingface.co/ 超全面的国内国外AI工具导航网站 https://ai-
原创
2024-04-29 10:44:07
18阅读
# PyTorch使用模型
在机器学习和深度学习领域，PyTorch是一个非常受欢迎的框架，它提供了许多便捷的工具和函数来构建、训练和应用神经网络模型。本文将介绍如何使用PyTorch来构建和使用模型，并提供一些代码示例来帮助读者更好地理解。
## PyTorch简介
PyTorch是一个开源的深度学习框架，由Facebook的人工智能研究团队开发和维护。它基于Python，并提供了高度便捷
原创
2023-09-16 13:15:59
55阅读
# Python使用模型的流程
在Python中使用模型，可以帮助我们实现各种各样的功能，如机器学习、数据分析等。下面是一份流程图，展示了使用Python模型的整个过程。
```mermaid
flowchart TD
A(确定使用的模型) --> B(导入所需的库)
B --> C(加载数据)
C --> D(数据预处理)
D --> E(训练模型)
原创
2023-09-10 14:30:39
274阅读
目录 1、逻辑回归2、算法推导3、逻辑参数估计3.1、使用极大似然法进行参数估计3.2、逻辑回归的损失函数4、逻辑回归的梯度下降5、多分类逻辑回归6、逻辑回归的欠、过拟合6.1、解决过拟合和欠拟合问题6.2、LR 正则化6.2.1、L1正则化6.2.2、 L2 正则化6.3 、L1正则化和L2正则化的区别7、LR与最大熵模型的关系8、逻辑回归的优缺点9、逻辑回归面对线性不可分数
之前写过一篇django的模型关系，今天腾出时间把上篇的兄弟篇补上，来学习下django orm, 利用django的模型可以很方便的对数据库进行操作，之前开发人员是必须要具备一定sql基础的，但如果有些开发人员就是不想了解sql呢，在之前，不懂那是万万不行的，但自从有了orm，开发人员就可以在不懂sql的情况下也能完成对数据库的增删改查操作，今天我们就来看看如何实现这些基本的需求，开始前我们先定
原创
2021-04-05 11:50:15
140阅读
补充上述链接中xgboost的优点：一、XGBoost的优良特性同样是梯度提升，同样是集成学习，那么XGBoost比GBDT要好在哪里呢？结合前面的推导过程与相关博客文章（见文末参考资料），可大致总结为以下几点：1、GBDT是以CART为基分类器，但XGBoost在此基础上还支持线性分类器，此时XGBoost相当于带L_1和L_2正则化项的Logistics回归（分类问题）或者线性回归（回归问题）
练习大型深度学习模型需要极大的内存，才能贮存中间层的激活函数输出和权重等。一些模型只能在单个GPU上练习，练习时须将批巨细（batch size）设置得极小；还有一些模型则太大，单个GPU放不下。这些问题会导致在某些状况下模型练习效率极低，甚至无法练习。练习大型深度学习模型首要有两大办法：数据并行、模型并行。当单个GPU的内存可以完整容纳整个模型时，这是可完成数据并行的最简单的状况。但此时，模型练
转载
2024-04-11 22:49:29
56阅读
