机器翻译模型训练步骤运行环境：ubantu或centos,python3.6以上 tip：本人在撰写这个的时候是python小白+深度学习小白所以有些地方写的比较细致，前几年写的了一直没发出来，有什么问题欢迎留言交流。后续会出工作和学习中遇到的各种问题及解决方案（暂时只限NLP方向机器翻译方向）一、训练分词模型用sentencepiece进行分词 git地址：https://github.com/
项目链接
https://
github.com/THUDM/cogdl
前言结构化数据的表示学习在近年备受关注和热捧，图神经网络成为处理这一应用场景下的有力工具，基于随机游走、矩阵分解的方法也依旧保持着生命力。这些方法在搜索推荐、分子和药物生成领域获得了很大的成功。但随之而来的问题是，许多论文的代码未开源或者开源代码的风格多种多样，让使用者在使用时碰到各种
一、目的 1、 熟悉Python的工作环境和主要功能； 2、 掌握Python的基本语法规则； 3、 掌握Python基本数据类型的概念和使用。 4、 掌握Python标准库的引用和操作方法； 5、 掌握字符串的建立、基本操作和格式化输出方法；二、内容1、将复数2.3×103-1.34×10-3j赋值给变量A，并分别提取A的实部和虚部。&
转载
2023-07-03 10:33:14
3阅读
tensorflow 2.x的模型训练结束后一般保存为.h5或save_model的模型格式(只能是fp32格式)，如果模型想要部署在移动端，一般需要将模型转换为.tflite格式，这里又分为动态格式、fp32格式、fp16格式和int8格式的tflite【1】。一般而言，如果直接将fp32的h5转换为int8格式的tflite会存在精度下降，为了尽量减少转换过程中的精度下降，可选的方式是在转换前
常用深度学习框架2018.09.13深度学习研究的热潮持续高涨，各种开源深度学习框架也层出不穷，其中包括TensorFlow、Caffe、Keras、CNTK、Torch7、MXNet、Leaf、Theano、DeepLearning4、Lasagne、Neon等。我们参考开源的测试结果，结合自己整理的数据，针对主流的深度学习框架进行简单对比及介绍。框架机构支持语言StarsForksCaffeB
转载
2023-08-30 22:13:37
60阅读
有了前面的基础，现在可以训练模型了。前面的讨论基本上把模型当成了以黑匣子，但是，如果我们不能对模型有进一步的认识，就不能快速地理解我们的使用的系统的运行原理。不仅如此，对模型的理论认知，有助于我们快速地选择模型、模型地训练方法以及一套适当的超参数，在后期还有助于执行错误分析和改善。因此，对模型地理论认知是非常必要。首先让我们从最简单地模型之一--线性回归 - 开始。 线性回归： 线性回
转载
2023-08-30 22:36:26
92阅读
注：此过程是运行在darknet已编译完成后的情况，具体运行环境参考上一篇博文：编译darknet网络-下载git版本时间20210520 一、在darknet主目录下创建yolo-obj.cfg配置文件，拷贝yolov4-custom.cfg的内容到yolo-obj.cfg中，并对部分内容进行修改。修改batch=64，修改subdivisions=64（如果显卡性能较高，可以设置ba
由于百度语音识别 linux版本的sdk默认不支持语音唤醒功能，想要在树莓派3b+上做一个语音唤醒＋识别的小玩意儿，要想实现唤醒的功能，只能另寻他法，然后我在网络上搜索到了这个snowboy，它是一个语音唤醒引擎。snowboy下载地址：https://github.com/Kitt-AI/snowboysnowboy自定义唤醒词网站：https://snowboy.kitt.ai/snowboy
基本网络结构：还是基于Actor-critic网络的一种结构，包含策略网络和价值网络。这里的策略网络为，但输出不再是概率分布，而是一个确定的实数或向量，输出的动作a是确定的，没有随机性，在机械臂的例子中，输出的是二维向量，因为机械臂有两个动作维度。这里的价值网络有两个输入，分别是状态s和动作a，输出的是一个实数，即对动作的评价。我们要做的就是训练这两个网络，让策略函数选取动作越来越好，让价值函数打
我遇到的场景是：样本集有5000万条，接近5个G，那么这样的样本集一次导入训练，我放着一天一夜都没跑出结果，机器性能还特别好，是64位linux有128G内存。针对这样的情况，我想到的是两种思路：1）将样本集分割然后来迭代训练模型，这个对模型结果理论上是没有影响的，一次导入样本集训练，和多次导入样本多次训练同一个模型，最终模型结果应该是一致的；模型保存的针对训练集所训练出来的参数，如y=ax+b的
转载
2023-09-03 11:30:13
128阅读
Scikit-learn提供了广泛的机器学习算法，它们具有统一/一致的接口，用于拟合，预测准确度等。注意：我们不会详细介绍算法的工作原理，因为我们只想了解它的实现。现在，请考虑以下示例：# load the iris dataset as an example
from sklearn.datasets import load_iris
iris = load_iris()
# store the
转载
2023-06-30 15:29:34
487阅读
1. 下载源码 git clone https://github.com/chuanqi305/MobileNetv2-SSDLite2.从 tensorflow 下载 MobileNetv2-SSDLite 的 tensorflow 模型到 ssdlite/ 路径，并解压。cd MobileNetv2-SSDLite/ssdlite/ wget http://download.tensorflo
转载
2023-05-31 00:18:20
227阅读
(一) yolov3训练voc数据集1、下载安装darknet 依次执行如下三条命令git clone https://github.com/pjreddie/darknet.git
cd darknet
make此时，已经编译生成了darknet的可执行文件。2、安装cuda和opencv！！！注意：这一步只针对有GPU配置的电脑，如果没有GPU也可省略这一步。 当然，如果不安装cuda和ope
文章目录一、前言二、预训练+微调1.预训练2.微调3.Pytroch实现三、Rethinking ImageNet Pre-training论文笔记参考文献 一、前言近期在阅读何凯明大神的Rethinking ImageNet Pre-training论文，论文中对比了深度学习提分小trick——pre-training和随机初始化之间对于任务性能的差别，实验证明预训练仅提高收敛速度但不能提高模
->语音识别(Speech Recognition)综述 上一篇文章重点介绍了基于深度学习的语音识别模型，这篇文章将介绍传统的GMM+HMM语音识别模型不了解HMM模型的同学可以阅读一下此文章->通俗理解隐马尔可夫模型（HMM） 文章目录1. 识别过程：2.训练过程： 1. 识别过程：识别过程属于HMM模型中的预测问题，识别一段语音（特征帧序列）的过程如下：穷举当前帧序列对应的所有可能
YOLOX目标检测之入门实战-win10+cpu运行YOLOX YOLOX 是旷视开源的高性能检测器。旷视的研究者将解耦头、数据增强、无锚点以及标签分类等目标检测领域的优秀进展与 YOLO 进行了巧妙的集成组合，提出了 YOLOX，不仅实现了超越 YOLOv3、YOLOv4 和 YOLOv5 的 AP，而且取得了极具竞争力的推理速度。 前
今天终于搞到一台带1080独显的PC，之前一直用CPU训练，效率极其低下。训练tensorflow-yolov3这个网络模型，图集400张，4个分类，要训练十多个小时才能看到检出效果，现在可以尝试使用GPU训练了。之前对GPU训练还不太了解，以为要改代码，现在才知道，其实不需要的。关键就是搭建好cuda环境NVIDIA显卡驱动 （https://www.nvidia.cn/Download/ind
Pytorch训练代码框架前言自己在学习和coding的过程中，感觉每次搞一个模型，需要写一堆的过程代码（大部分是可复用的），有的时候还需要从之前或者各个博客cv一点代码，这样开发起来效率可能比较低，所以整理了一份相对来说比较全面的Pytorch建模&训练框架，一些简单的trick也整理放在了里面，方便取用。因为个人用NLP比较多，这个框架主要也是在预训练+微调这一范式下写的，但是想去掉预
这是我们第二次组队训练，毕竟经验不足，加上水平不够，导致我们各种被碾压。 A - Couple doubi: 这道题是道比较水的数论。但我们都没想出来要怎么做。后来是potaty提议打个表看看，然后lmz打出表后发现了规律。我还没细看，待研究后再补全。 D - Task： 这道题一看就知道是个贪心（现在只要是有deadline的题我都觉得是贪心了）。虽然想出来了
文章目录1.创建数据集文件夹2.过滤3.训练前置准备3.1 创建数据集目录3.2 创建并写入配置文件3.3 修改训练参数3.4 部分训练结果解释 训练自己的数据集，首先需要安装Yolov5及创建数据集，这些部分在之前的文章中已经提到。 Yolov5安装及简单使用： Yolov5安装及简单使用 数据集标注： 数据集标注方法 1.创建数据集文件夹coco数据集官网地址：https://coco
