BORT 阅读笔记

原创

TechOnly 2022-07-19 11:41:06 博主文章分类：自然语言处理 ©著作权

文章标签 神经网络搜索 文章分类 虚拟化云计算

©著作权归作者所有：来自51CTO博客作者TechOnly的原创作品，请联系作者获取转载授权，否则将追究法律责任

《Optimal Subarchitecture Extraction For BERT》

用神经网络搜索的方法寻找一个最优的BERT：

BORT 阅读笔记_神经网络

最终寻到的最优BERT：

BORT 阅读笔记_搜索_02

其中

D是transformer encoder层数

A是attention heads

H是hidden size

I是intermediate layer size对比了普通预训练和基于蒸馏的预训练（下面第二第三列）：

BORT 阅读笔记_搜索_03

上一篇：最简单的全连接神经网络实现

下一篇：fastjson scala，解析 mapObject

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

Programming Abstractions in C阅读笔记：p258-282

《Programming Abstractions in C》学习第71天，p258-p282总结，总计25页。一、技术总结完成第chapter 6的学习。本章主要讲解回溯算法，并通过“maze(迷宫)”和“minimax strategy(极小化极大策略)”两个实际的例子来讲解。回溯算法简单来说就是从某个节点开始，沿着一条路往下走，如果该条路走不通，那么返回选择其它路。在求解的过程中也涉及到递归

回溯算法 Programming 参考资料
《程序是怎样跑起来的》阅读笔记

该书总结双击程序图标后，CPU 会将存储在硬盘中的程序代码读入内存中，内存存放程序的数据和指令。之后CPU会读取从内存中的指令并执行，对数据进行运算与处理。退出程序时，会将内存中需要存储的数据写入硬盘中。内存断电后数据会丢失。程序加载时会生成栈和堆栈用来存储函数内部时临时变量和函数调用时所用的参数的内存区域。堆是用来存储程序运行时的任意数据和对象的。EXE文件中并不存在栈及堆的组。栈和堆需要的

内存空间进制操作码
【阅读笔记】对比度增强-《Efficientcontrast enhancement using adaptive gamma correction with weighting distributi

2013年发表在TIP上的对比度增强算法AGCWD（Efficient contrast enhancement using adaptive gamma correction with weighting distribution）提出了一种自动映射技术，通过亮度像素的伽马校正和概率分布来提高调暗图像的亮度。为了增强视频，所提出的图像增强方法使用关于每帧之间差异的时间信息来减少计算复杂性。该算

自适应概率密度函数图像增强低照度增强
阅读笔记

　　提起“软件工程“一词，很多人都不会感觉到陌生，对编程有所了解的人可能会首先想到程序员以及无穷无尽、成百上千行的程序代码，而对于编程一无所知的人可能就会联想到“”以及各种IT精英，给人一种很高大上的感觉。在报考大学专业之前，我也是属于第二种——对编程一无所知的人，抱有着每天玩弄电脑成为IT精英的态度报考了软件工程专业，结果到了大学才发现“软件工程”并不是玩电脑那么简单，也并没有玩游戏那么有趣，几

学习感想软件工程程序代码编写代码
[阅读笔记]fsnotify源码阅读

fy中的几个public函数Watch，WatchFlags，R

文件描述符 css 封装
SSH阅读笔记

1、SSH单阶人脸段检测器，在不同层检测不同scale的人脸，而不是使用mtcnn中金字塔的方式，从而实现加速。 2、SSH的整体结构，3个module的stride分别为8,16,32，使用不同的感受野，从而实现多尺度；三个Module独立训练、检测，最终结果NMS。 3、检测模块和上下文模块。

图像金字塔 ide 图像缩放
阅读笔记（1）

1.语义搜索所谓语义搜索，是指搜索引擎的工作不再拘泥于用户所输入的关键字，而是准确捕捉到用户所输入语句后面的真正意图，并以此来进行搜索，微软、谷歌和Facebook目前正在做着这样的事。语义搜索技术可以让计算机理解人们信息的概念，而非关键字。 2.内存碎片内存碎片的产生：

其他
【阅读笔记】RAISR

RAISR:RAISR: Rapid and Accurate Image Super Resolution --Yaniv Romano, 2017(211 Citatio

计算机视觉深度学习机器学习卷积插值
AutoPhrase 阅读笔记

论文名：Automated Ph

词性神经网络流程图
BOOT阅读笔记

做了近两年ARM下的驱动开发,常用的各个设备驱动基本都碰过,不过Boot由于任务安排的缘故(公司一直有专人在做),一直没有机会接触,从刚开始接触嵌入式的时候,就一直想弄清楚板子上电后,程序是怎么执行的,不过看了下公司boot源码,就很快放弃了,当时对汇编充满了畏惧,做了1年多的驱动后,再看汇编感觉就没那边痛苦了,最近把boot的资料整理下,把我觉得boot比较核心的部分,完整的看了一遍,现在做个记

笔记职场休闲 BOOT 阅读
Flax阅读笔记

攻击情景描述CSV (Client-side vulnerability)接下来我将以Facebook涉及到的几类漏洞进行描述。下图是一个实例截屏，CNN主页中去。此类应用在现今得到了广泛的应用，像国外著名的YouTube代码以及丰富的跨领域交互，由于这两点，客户端应用程序极容易因对不可信输入未进行充分验证而导致相关的攻击。Facebook教程(Cross Document Messagi

职场休闲 CSV漏洞
阅读笔记（2）

1.求下面函数的返回值（微软） int func(x) { int countx = 0; while(x) { countx ++; x = x&(x-1); } return countx; } 假定x = 9999。答案：8 思路：将x转化为2进制，看含有的1的个数。 2. 什么是“引用”？申明和使用“引用”要注意哪些问题？
ttools阅读笔记

ttools是mgharbi写的关于pytorch的一个帮助库，意思是torch tools。GitHub下载地址先打开docs文件夹看看，source下面一堆rst文件rst文件科普如何打开rst文件结果make出来的网页文件和GitHub上面的东西差不多 make的时候出来一堆文件，不知道干啥的，好像和训练网络有关，改日再看

下载地址
AliCoCo 阅读笔记

论文名：AliCoCo: Alibaba E-commerce Cognitive Concept Net引言基本电商的图谱建设都是Category-Property-Value形式，Category是一颗树，其中Property就是 Category的叶子下的属性。搜索时，问题在于，用户通常不记得一个item的具体名字，而是只记得item的类别类型或者item其他相关信息，（个人理解AliC

ico 搜索基于规则
阅读 docker 阅读笔记

终结篇对于老师让我们阅读指定书籍并写阅读笔记这件事，我相信很多人都把它当作一种负担，很少有人把它作为一种乐趣。以前的我也是这样认为的，但是现在不是了，其实，换个角度想一想，只要不把读书当做一个任务，而是单纯的想读书，那么你会发现读书可以使我们积极思考，可以让我们在

阅读 docker 访问控制性能需求商业
java阅读 java阅读笔记

+= 是右结合运算符枚举类型：变量只能存储这个类型声明中给定的某个枚举值，或者null，表示没有设置任何值。switch，如果case匹配不上会调用defaultfor循环中注意浮点数的判断for(double i=0,i!=10,i+0.1){ sout{i}}Arrays是一个类，包含操作数组的静态方法如toString，sort，equal，binarySearch二维数组实际上是一个

java阅读 java 数组子类
SENet 阅读笔记

最近，有时间了，正好回顾一下这篇论文，做个笔记，因为文中提出的SE block应用太广泛，只要是个网络就可以加个SE block，可以说是业界的长点万金油结构简单，idear最好，没有复杂的数学，全凭实验说话SE block 结构Squeeze: Global Information Embedding名词很专业，操作很简单，实际上就是 global average pooling 全局平均池

池化卷积激活函数 ide github
阅读笔记2

阅读笔记2 中文文献 Title：基于画像分析的高校图书馆精准知识服务研究^[1]^ 引言:描绘研究背景、研究问题、研究意义 1 研究回顾与研究思路 1.1 精准知识服务发展情况及其含义、核心内容；概括前人研究不足，引出本研究； 1.2 研究意义用户画像（用户画像是以用户数据为基础、真实反映用户特征 ...

个性化推荐用户画像数据 sed 信息资源
阅读笔记1：《》

等待编辑 ...

其他
20161228阅读笔记

作者先说20-30岁是人生中一个非常重要几乎决定着你未来的时间段（联想到一句话，很多人30岁左右就死了，因为后面几十年都是对自己前面人生简单的重复），其首要任务是提升自己学习能力和解决难题的能力，一定要练就能解决大多数人不能解决问题的能力，比起个人未来项目延期绩效不好都不是事儿。而拥有高效学习、解决问题能力的特征就是成为团队人群中的Leadership——能帮人解决问题并被人依赖，别人做关键决

动态规划算法贪婪算法算法设计软件设计排序算法
java 安卓定位界面开关

对于手机开发者来说,网络的使用就尤为重要了,在使用网络之前就得做网络的判断,判断当前手机使用的网络是无线网络还是移动网络,告知用户,以免造成一些不必要的麻烦.1.对网络连接的判断要对网络进行判断,首先要获取手机系统权限,再运用安卓sdk中的NetworkInfo去获得当前网络,从而获得当前网络连接类型,由于程序在运行中可能会遇到的多种断开网络的情况,所以,在这里就要注册一个广播实时监听网络的链接状

java 安卓定位界面开关手机系统算法移动网络 ide
java启动分配内存

一、Java内存分配 Java虚拟机在执行Java程序的过程中会把它所管理的内存划分为若干个不同的数据区域。这些区域存储不同类型的数据，这些区域的内存分配和销毁的时间也不同，有的区域随着虚拟机进程的启动而存在，有些区域则是依赖用户线程的启动和结束而建立和销毁。根据《Java虚拟机规范（第2版）》的规定，Java虚拟机管理的内存包括五个运行时数据区域，如下图所示：

java启动分配内存 Java内存分配垃圾回收 Java 常量池弱引用
工业大数据技术架构组成

随着工业互联网、大数据等技术的不断完善发展，工业制造业终端设备全过程数据、产品全生命周期数据、企业全系统数据、产业链供应链全链条数据等各类工业数据的实时获取与高效处理成为可能。工业大数据按来源划分，可分为工业物联网数据、企业信息化数据，以及外部跨界数据。在当前基于工业互联网的分布式数据源环境下，一方面，工业领域物联网传感器在时刻收集工业现场生产设备以及产品产生的海量过程数据，这是当前工业大数据中最

工业大数据技术架构组成大数据人工智能数据物联网
spark INSERT INTO timestamp类型数据

一、前言　　大数据领域的Spark、Kafka、Summingbird等都是由Scala语言编写而成，相比Java而言，Scala更精炼。由于笔者从事大数据相关的工作，所以有必要好好学习Scala语言，之前也学习过，但是没有记录，所以就会忘记，感觉Scala确实比Java方便精炼很多，下面以Scala Cookbook英文版作为参考资料，从头到尾梳理Scala相关知识点，也加深印象。PS：这是在研

java scala 大数据字符串 Scala
iOS bundleID在那

第一步：首先你要有个开发者账号；进入https://developer.apple.com官网，进入自己的MemberCenter ；1>点击APP IDs 进入后点右上角的“+”创建一个自己的Id（这个Id的Bundle identifier名字一定要和自己的项目名Bundle identifier保持一致格式最好是“com.xxx.Name”）点击进去后勾选自己所需的功能 Pu

iOS bundleID在那 Xcode5 push Distrib ide App 钥匙串

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯