torch版本太老：升级torch：luarocks
原创
2023-06-21 19:29:19
72阅读
今天在运行网上搜了一下可能是torch版本的原因，我的torch版本是torch-1.8.1+cu102。
原创
2022-12-03 00:36:38
545阅读
机器翻译机器翻译概述典型神经机器翻译模型神经机器翻译 ( Neural Machine Translation, NMT神经机器翻译系统相关技术罕见词处理技术（词表受限问题）解决办法subword 方法beam searchcoverage penalty （翻译覆盖率问题）推敲网络（Deliberation Network）非自回归模型系统鲁棒性低资源神经机器翻译语料资源受限问题多语预训练语言
1，下载并启动zbstudio$ git clone https://github.com/soumith/zbs-torch.git $ cd zbs-torch $ ./zbstudio.sh 2，安装Torch http://torch.ch/docs/getting-started.html3，安装ncclgit clone https://github.com/NVIDIA/n
原创
2022-07-19 11:37:41
211阅读
【导语】：Fairseq是一个序列建模工具包，可对翻译、摘要、语言建模和其他文本作业训练自定义建模，完全使用python实现，主要面向科研人员和开发者。简介Fairseq这个翻译模型由FacebookAI实验室在2017年提出，和以往以RNN为基础的翻译模型相比，使用一种全新的卷积神经网络（CNN）进行语言翻译，结果以9倍于以往循环神经网络（CNN）的速度实现了目前最高准确率。项目地址：https
原创
2020-12-24 18:08:33
794阅读
【导语】：Fairseq是一个序列建模工具包，可对翻译、摘要、语言建模和其他文本作业训练自定义建模，完全使用python实现，主要面向科研人员和开发者。 简介Fairseq 这个翻译模型由Facebook AI实验室在2017年提出，和以往以RNN为基础的翻译模型相比，使用一种全新的卷积神经网络（CNN）进行语言翻译，结果以 9 倍于以往循环神经网络（CNN）的速度实现了目前最高准确率。项目地址：
转载
2021-04-21 23:14:22
201阅读
2评论
谷歌一个月前发了一篇论文Attention is all you need,文中提出了一种新的架构叫做Transformer，用以来实现机器翻译。它抛弃了传统用CNN或者RNN的定式，取得了很好的效果，激起了工业界和学术界的广泛讨论。本人的另一篇博客也对改论文进行了一定的分析：对Attention is all you need 的理解。而在谷歌的论文发出不久，就有人用tensorflow实现了T
https://github.com/pytorch/fairseq/tree/master/examples/wav2vec
原创
2022-07-19 19:41:04
99阅读
情况一： 今天在运行readme的时候出现了一个错误“”： File "/mnt/d/Pycharm_workspace/pretrain/SMILES-BERT/fairseq/data/indexed_dataset.py", line 64, in read_index with open(index_file_path(path), 'rb'
上次分享了FaceBook最近提出的Convolution Seq2Seq模型的一些理论知识，今天跟大家分享一下实际操作经验, 主要包括三个方面内容：1、安装Torch平台，2、配置fairseq环境，3、模型测试与训练。 实验支持：Mac Os/Ubuntu 12+/Centos 7系统
原创
2023-06-23 07:40:30
85阅读
理解Transformer论文中的positional encoding，和三角函数有什么关系关注这个问题有一段时间了，一直没有看到太满意的回答，来讲一下我的见解。首先，需要明确的是，建模位置信息(无论是绝对位置还是相对位置)并不是必须用到三角函数，否则fairseq和BERT中使用的positional embedding也不会奏效了
转载
2021-08-27 14:53:20
922阅读
you-get其实就是一个很小的命令行工具，可以帮助你从Web上下载媒体内容，诸如视频、音频、图像等，通过you-get，你可以：从YouTube，优酷，Niconico等热门网站下载视频/音频。在媒体播放器中流式传输在线视频。无广告播放通过抓取网页下载（感兴趣的）图像。下载任意非HTML内容，即二进制文件。2fairseqhttps://github.com/pytorch/fairseq St
机器之心编辑部LiBai（李白）模型库覆盖了 Hugging Face、Megatron-LM、DeepSpeed、FairSeq 这些所有主流 Transformer 库的优点，让大模型训练飞入寻常百姓家。大模型多了去了，告诉我怎么加速？自 2018 年 BERT 诞生，到 GPT-3、ViT 等拥有数以亿计的参数规模的模型不断涌现，AI 模型参数量的爆发式增长已不足为奇，让炼丹师无暇顾及甚至感
转载
2022-09-21 10:41:32
193阅读
前言来自美国和中国的研究人员发表了一篇题为ESPRESSO: A fast end-to-end neural speech recognition toolkit的文章。在论文中，研究人员介绍了一个开源的、模块化的、端到端的神经自动语音识别(ASR)工具包ESPRESSO。该工具包基于PyTorch库和FAIRSEQ，即神经机器翻译工具包。 该工具包支持跨GPU和计算节点的分布式培训，以及ASR
但是对于具有大量词汇的语言模型来说，神经网络方法在预测单词概率时，必须要计算每一个词的概率，这极大地消耗了计算的资源与时间。因此有许多工作都致力于缓解此类问题，比如层次化softmax、自适应softmax等。论文地址:https://openreview.net/pdf?id=ByxZX20qFQ 代码地址:https://github.com/pytorch/fairseq引言本篇文在自适应s
Facebook的使命是让世界变得更加开放，让每个人都能以最高的准确性和最快的速度使用自己喜欢的语言来发帖子和视频进行互动，语言翻译对此十分重要。雷锋网了解到，今天，Facebook的人工智能研究团队发表了他们的研究成果Fairseq，他们使用了一种新型的卷积神经网络来做语言翻译，比循环神经网络的速度快了9倍，而且准确性也是现有模型中最高的。此外，FAIR序列建模工具包的源代码和训练好的系统都已经
