1. 降低模型过拟合/欠拟合风险1.1 提高数据数量收集更多真实数据对于图像、文本、视频类型的数据，可以通过网络爬虫或者搜寻公开数据集的方法，得到更多真实数据。创造更多数据对于图像，采用数据扩增的一系列方法：旋转、平移、拉伸、裁剪、加噪声等； 对于数值，采用添加噪声方式mixup使用任意两个类别的数据单样本，进行线性差值，得到新的数据和新的标签。使得原本离散粒度为1的数据集，离散粒度小于1，数据分
转载
2024-05-13 12:17:03
115阅读
# 深度学习模型使用方案
在深度学习领域，模型训练完成后，将其应用于实际任务中是至关重要的。本文将介绍如何使用训练好的深度学习模型，并为您提供一个完整的项目方案，包括代码示例、序列图和表格等。
## 项目背景
某公司希望利用深度学习模型来进行产品图像分类，以提高其库存管理和客户服务的效率。通过训练好的模型，可以实现自动识别和分类库存中的产品，从而节省人工成本和时间。
## 项目目标
1.
原创
2024-07-31 07:31:57
416阅读
PAT常用模板梳理
1.DFS+Dijkstra(description): 最短路径问题，如果约束条件不复杂的话直接写个Dijkstra就可以了。如果约束条件比较复杂的话那么可以先利用Dijkstra把所有搜索到的可疑路径先用图的结构存储起来，然后再采用dfs进行搜索。void Dijkstra(int n){//利用Dijkstra把所有满足cost最小的路径采用pre[N]
训练神经网络模型并不是我们的最终目的，我们想要实现的是用训练好的模型来预测未知图片。深度学习领域框架众多，本文仅讨论TensorFlow框架及其生成的ckpt模型。如何实现网络模型的restore呢？简单来说，restore训练好的模型有两种思路：思路一：恢复网络结构 + 参数1.1 思路解析先从已经训练好的模型的默认图中得到模型的输入输出计算节点，也就是x节点和y（也即logits），然后使用s
转载
2024-10-31 16:32:48
69阅读
【深度学习框架格式转化】【GPU】Pytorch模型转ONNX模型格式流程详解 文章目录【深度学习框架格式转化】【GPU】Pytorch模型转ONNX模型格式流程详解前言PyTorch模型环境搭建(GPU)安装onnx和onnxruntime(GPU)pytorch2onnx总结 前言神经网络的模型通常在深度学习框架(PyTorch、TensorFlow和Caffe等)下训练得到，这些特定环境的深
# 解决Python跑出来的数据太大
## 引言
Python作为一种高级编程语言，广泛用于数据分析、机器学习等领域。然而，由于数据量的增加，有时候在处理大规模数据时，可能会遇到“Python跑出来的数据太大”的问题。本文将介绍如何解决这个问题，并通过具体的步骤和代码示例来帮助新手开发者实现。
## 流程图
```mermaid
flowchart TD
A(开始)
B(读
原创
2023-11-12 09:52:37
91阅读
要求1：bug计分1、第一个bug（1）标题：段晓睿同学输出多余字符，且total与词频之间无换行（2）bug内容：a：测试环境Windows Professional 64bit；cmd；b：测试步骤进入wf.exe文件所在的文件夹;输入 wf -s test.txtc：运行结果1.txttotal 5d：期待运行结果total 5e：运行结果与期待运行结果的差异多输出了一个文件名1.
一. tensorflow框架下的模型封装，固化一般都是使用python在服务器上训练好模型之后，将模型的参数和计算图结构进行固化为pb文件，然后使用C++,JAVA，go，调用，当然也可以在mobile上使用。接下来将分别对应不同的语言和不同的平台给出具体解决方法。1.1 tensorflow下的模型定义以及训练(基于python语言)参考
博客1
博客2 官方文档固化模型可以自己写代码，也可
ArcGIS Pro 简明教程（1）Pro简介
ArcGIS Pro已经发布了相当的一段时间了，截至笔者写这系列文章的时候已经是1.3版本了，已经是相当完善的一个版本，基本上已经完成了原来ArcGIS Desktop（ArcMap、ArcCatalog、ArcGlobe、ArcScene等一系列工具的总称）所有功能的迁移，已经可以彻底的进行独立的工作了。 相信很多ArcGIS骨灰级的用户跟笔者
转载
2023-12-01 19:32:01
33阅读
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xhtml"><head><meta http-equiv="Content-Type" content="text/html; charset=utf-
转载
2012-05-22 15:49:00
66阅读
2评论
今天给大家解读一篇NeurlPS 2022中哈佛大学在时间序列无监督预训练的工作。这篇工作我认为非常有价值，为时间序列表示学习找到了一个很强的先验假设，是时间序列预测表示学习方向的一个突破性进展。本文的核心思路为：无监督预训练的核心是将先验引入模型学习强泛化性的参数，本文引入的先验是同一个时间序列在频域的表示和在时域的表示应该相近，以此为目标利用对比学习进行预训练。论文标题：Self-Superv
# 用Python写入数据到Hive的方案
在实际数据处理和分析中，常常需要将通过Python处理后生成的数据写入到Hive，以便后续的查询和分析。本文将通过具体的示例，说明如何将Python处理的数据写入Hive，并提供代码示例与必要的流程图和关系图。
## 背景
Hive是一个高效的数据仓库工具，能够对大量数据进行批处理和分析。而Python则是当下广泛使用的数据处理工具。结合这两者，可
原创
2024-08-13 08:22:01
318阅读
# 如何读取Python中跑出来的数据并画图
## 引言
在数据分析和可视化领域，Python是一种非常常用的编程语言。Python提供了丰富的库和工具，使得数据的读取和处理变得更加容易。在本文中，我们将介绍如何读取Python中跑出来的数据，并使用常见的画图库进行可视化。我们将通过一个实际问题的解决来演示这一过程。
## 实际问题
假设我们有一份包含电子商务网站每天访问量的数据，我们想要分析
原创
2023-09-09 11:02:03
116阅读
在一个现代Java项目中，我们常常面对许多与字符编码相关的问题。其中，一个典型的问题就是“Java项目跑出来网页汉字是问号”。这常常导致用户无法正常阅读网页内容，因此解决这一问题至关重要。
> **用户原始需求：** 用户希望在浏览器中正常显示汉字，而不是乱码或问号。
### 业务场景分析
在现代企业应用中，很多系统需要支持多种语言，而汉字作为一个重要的语言类别，必须在系统中得到正确体现
许多研究人员认为，基于模型的强化学习（MBRL）比无模型的强化学习（MFRL）具有更高的样本效率。但是，从根本上讲，这种说法是错误的。更细微的分析表明，使用神经网络时，MBRL方法可能比MFRL方法具有更高的采样效率，但仅适用于某些...
转载
2019-11-26 14:07:03
214阅读
Q1.模型思维有什么好处？ 变得更聪明，避免认知偏差，比如对近期发生的事件赋予过高的权重，会根据“合理程度”分配概率，会忽略各种基本比率等； 提高数据处理能力，能够利用更多的数据，来拟合、校准、检验因果关系和相关性； 能澄清相关的假设，更
转载
2024-09-22 13:43:24
111阅读
Strassen的算法是，利用原矩阵构造一些加乘结合的中间量，每个中间量只包含一次乘法计算，将原矩阵乘法转换为这些中
原创
2024-07-24 10:37:29
123阅读
作者 | 小锋子Shawn本文的部分内容来自博文链接[1]，也补充了一些自己阅读到的论文。模型蒸馏在自然语言处理、计算机视觉和语音识别等领域均有广泛研究，这篇阅读笔记只包括与计算机视觉相关的部分论文。模型压缩和加速四个技术是设计高效小型网络、剪枝、量化和蒸馏[2]。蒸馏，就是知识蒸馏，将教师网络(teacher network)的知识迁移到学生网络(student net
指令重排一. 指令重排的分类：编译器优化的重排指令级并行的重排内存系统的重排编译器优化重排序和指令级并行重排序不会影响程序的结果，因此程序员需要着重处理的是内存系统重排序带来的问题。二. 指令重排的原理：1.编译器优化的重排：编译器在不改变单线程程序语义的前提下，可以重新安排语句的执行顺序2.指令级并行的重排：为了提高CPU的执行效率，现代的CPU基本上都支持指令流水线。2.1 指令流水线：一条指
# 如何在 Vue 中获取 Python 生成的数据
在前后端分离的开发中，Vue.js 作为一种前端框架，通常会与后端技术（例如 Python 的 Flask 或 Django 等）配合使用。今天我们将讨论如何通过 Axios 在 Vue 前端获取 Python 后端生成的数据。以下是实现的主要步骤和每一步所需的代码示例。
## 流程概述
以下是实现的步骤：
| 步骤 | 描述
