这个系列我们来聊聊序列标注中的中文实体识别问题，第一章让我们从当前比较通用的基准模型Bert+Bilstm+CRF说起，看看这个模型已经解决了哪些问题还有哪些问题待解决。以下模型实现和评估脚本NER问题抽象实体识别需要从文本中抽取两类信息，不同类型的实体本身token组合的信息（实体长啥样），以及实体出现的上下文信息（实体在哪里）一种解法就是通过序列标注把以上问题转化成每个字符的分类问题，labe
这篇文章介绍Bert，但是暂时还没研究完，所以只能分两部分写。 这篇文章主要介绍bert的思想和创新点，下一篇文章主要介绍bert的结构。BERT的新语言表示模型，它代表Transformer的双向编码器表示。与最近的其他语言表示模型不同，BERT旨在通过联合调节所有层中的上下文来预先训练深度双向表示。因此，预训练的BERT表示可以通过一个额外的输出层进行微调，适用于广泛任务的最先进模型的构建，比
本篇内容：配置好谷歌开源bert运行环境。开源地址：https://github.com/google-research/bert关于BERT的介绍就不多说了，直接看我们将配置的环境：tensorflow_gpu 1.11.0CUDA 9cudnn 7python 3.6注意，这些环境都是一一对应的，不能乱下。如果想下载其他版本，附上对照表链接：配置好后，就可以运行google-bert模型了，当
转载
2023-12-04 22:17:17
334阅读
引言Bert在工业使用中表现相当优异，但是预训练时间非常的长。Bert的作者公开的记录是用了16块TPU训练了三天。 本论文就是针对训练时间上进行的优化，提出了LAMB优化方式，在不损失训练精度的情况下，将BERT的训练时间缩短到了76分钟，如下：背景从上图可以看到，论文作者提出的方法用了1024块TPU，训练时间为76分钟，F1值相对原始的Bert训练有了微小的提升。简单来看，这个缩短的训练时间
转载
2024-05-17 13:43:49
605阅读
本期AI论道想跟大家分享一些关于BERT的模型压缩技术。众所周知，大规模的预训练语言模型已经成为各种自然语言处理任务(NLP)的新驱动力，例如BERT在对下游任务进行微调后，显著提高了模型的表现。尽管这些模型在各种NLP任务上获得了最先进的结果，但是通常内存占用和功耗过高，以此带来很高的延迟，包括训练阶段和推断阶段。这反过来又限制了这些模型在移动和物联网等嵌入式设备上的部署。模型压缩旨在解决这类问
BERT有什么局限性？从XLNet论文中，提到了BERT的两个缺点，分别如下：BERT在第一个预训练阶段，假设句子中多个单词被Mask掉，这些被Mask掉的单词之间没有任何关系，是条件独立的，然而有时候这些单词之间是有关系的，比如”New York is a city”，假设我们Mask住”New”和”York”两个词，那么给定”is a city”的条件下”New”和”York”并不独立，因为”
转载
2024-08-12 18:03:04
183阅读
论文解读：Bert原理深入浅出Bert 自 Google 于 2018 年发表至今，一直给人们带来惊喜，期间也陆陆续续因为Bert出现的原因多了不少新的岗位，甚至公司 JD 上都明确表明必须懂 Bert。它在 11 项自然语言处理任务中均表现出惊人的成绩：包括将 GLUE 基准推至 80.4％（绝对改进率7.6％），MultiNLI 精度达到 86.7％（绝对改进 5.6％）和 SQuAD v1
前段时间仔细研究了下Bert论文：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》。了解到bert其实用的网络结构就是Transformer，因此，又去仔细看了下《Attention is all you need》。对Bert和Transformer有了一个大概的理解。但是其中有个
转载
2024-03-22 14:10:01
936阅读
前不久，谷歌AI团队新发布的BERT模型，在NLP业内引起巨大反响，认为是NLP领域里程碑式的进步。BERT模型在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩，包括将GLUE基准推至80.4％（绝对改进7.6％），MultiNLI准确度达到86.7%（绝对改进率5.6％）等。BERT模型是以Transform
转载
2024-03-21 15:39:47
140阅读
在机器学习和计算机视觉领域，YOLO（You Only Look Once）模型因其高效的目标检测性能而备受关注。不过，很多用户在使用YOLO模型时会遇到一个问题：是否需要使用Python？这种情况往往会直接影响到用户的开发效率和项目进度。本文将围绕“YOLO模型需要使用Python吗”的问题进行详细的复盘记录，分析问题背景、错误现象、根因、解决方案及优化预防措施。
## 一、问题背景
用户在
# NLP Bert 推理使用GPU 超时问题解决方案
## 介绍
在进行自然语言处理（NLP）任务时，使用基于Bert模型的推理过程可能会因为使用GPU而出现超时问题。在这篇文章中，我将向您介绍如何解决这个问题，让您的推理过程更加高效。
## 步骤
下面是解决问题的步骤，您可以根据这些步骤逐步进行操作。
```mermaid
journey
title NLP Bert 推理使用G
原创
2024-03-08 05:12:34
162阅读
花了两天的时间打算在tk1上面跑一下yolo，中间遇到了一些问题，探索后记录下来，也让后来人少走一些弯路吧。 TK1是tegra for kelper1 的简称，是nvidia在针对移动端推出的深度学习运行芯片，为soc架构。更多关于TK1的了解欢迎点击这里。yolo是目前一个非常不错的深度学习模型，依赖的库比较少，只需要装cuda和opencv。关于yol
我们下载下来的预训练的bert模型的大小大概是400M左右，但是我们自己预训练的bert模型，或者是我们在开源的bert模型上fine-tuning之后的模型的大小大约是1.1G，我们来看看到底是什么原因造成的，首先我们可以通过下一段代码来输出我们训练好的模型的参数变量。 下面这段代码可以输出我们下载的官方预训练模型的参数变量 import tensorflow as tf
from te
前言：参考TensorRT官方文档学习的笔记记录 Tensor是一个有助于在NVIDIA图形处理单元（GPU）上高性能推理c++库。它旨在与TesnsorFlow、Caffe、Pytorch以及MXNet等训练框架以互补的方式进行工作，专门致力于在GPU上快速有效地进行网络推理。 如今现有的一些训练框架（例如TensorFlow）已经集成了TensorRT，因此可以将其用于加速框架中的推理。另外
转载
2024-03-27 09:17:03
138阅读
a)是句子对的分类任务 b)是单个句子的分类任务 c) 是问答任务 d)是序列标注任务首先我自己最常用的就是：文本分类、序列标注和文本匹配。 这四个都是比较简单的，我们来看d)序列标注，其实就是把所有的token输出，做了一个softmax，去看它属于实体中的哪一个。对于单个样本，它的一个文本分类就是使用CLS这边，第一个CLS的输出，去做一个微调，做一个二分类，或者是多分类。 a)这个其实本质
转载
2024-08-26 13:19:42
40阅读
注：1.本文基于mmdetection-2.25.1。为啥不用最新版本？3.0的还没试，2.28的有差不多的问题，老板要求用这个版本，所以先用这个演示一遍全流程。2.本文直接用mmdetection里面提供的一个“不建议使用”的脚本来导出onnx格式（ncnn先别急），即tools/deployment/pytorch2onnx.py。为啥不用mmdeploy？一个是也不见得行，另外老板暂时不让用
一名卑微的研究生记录开始接触bert：昨天终于在修好了的服务器上给我们课题组的小伙伴开启了访问权限，今天开始搭建bert的基本环境了，为我接下来的研究方向（知识图谱）拉开序幕。本机：win10 + putty （访问服务器）实验室服务器：linux GTX1080，以及驱动和cuda的配置信息如下图一、安装anaconda1、下载安装包：wget https://repo.anacon
转载
2024-06-13 08:59:54
1117阅读
项目简介Forward 是一款腾讯平台和内容事业群（PCG）研发的 GPU 高性能推理加速框架。它直接加载主流框架模型（Tensorflow / PyTorch / Keras）转换成 TensorRT 推理加速引擎，帮助用户节省中间繁杂的模型转换或网络构建步骤。相对于直接使用 TensorRT，Forward 更易用以及更容易扩展支持更多模型和算子。目前，Forward 除了覆盖支持主流的 CV
转载
2024-03-08 09:33:50
95阅读
一、yolo是什么？ yolo是目标检测模型。目标检测是计算机视觉中比较简单的任务，用来在一张图片中找到特定的物体，目标检测不仅要求对物体的种类进行识别，同时要求我们对物体的位置进行标记。而且YOLO相比于以往的带有建议框的神经网络，速度大有提升。类别是离散数据，位置是连续数据。二、yolo的原理 目标 我们的目的是找出一张图片上物体的位置和种类，这其中包含5个信息：物体的中心位置（x，y），物体
转载
2023-11-07 04:41:17
116阅读
作为一个NLPer，bert应该是会经常用到的一个模型了。但bert可调参数很多，一些技巧也很多，比如加上weight-decay, layer初始化、冻结参数、只优化部分层参数等等，方法太多了，每次都会纠结该怎么样去finetune，才能让bert训练的又快又好呢，有没有可能形成一个又快又好又准的大体方向的准则呢。于是，就基于这个研究、实践了一番，总结了这篇文章。1.使用误差修正，训练收敛变快，
