梦晨 Alex
量子位 | 公众号 QbitAI

AI大牛何恺明有了最新动向,而且是回归学术界

MIT CSAIL实验室发布公告,3月13日下周一,何恺明将到MIT做学术演讲。

此事引起AI圈广泛关注。在相关知乎问题下,MIT博士@Charles指出,何恺明参加的这个研讨会全是Job Talks(求职演讲)。

博士的尽头是教职?传奇大神何恺明被曝回归学界_回归

杜克大学教授陈怡然也表示,一直听说何恺明在寻找教职,现在终于能确认了。

博士的尽头是教职?传奇大神何恺明被曝回归学界_深度学习_02

求职演讲是学术界一大传统,指申请博士或教职者到校做学术报告,内容是他们自己的研究成果,通常正是在每年三四月份集中进行。

并且进入这个阶段,就代表何恺明至少已经通过了简历筛选,研究成果和能力受到了MIT的认可。

还有网友预测,鉴于之前李飞飞到MIT演讲座无虚席,何恺明这回讲座恐怕也会非常火爆,成为深度学习大型追星现场

但也有网友在评论区补充到,这不代表最终何恺明就会选择去MIT,也可能会去其他学校,但总之在找教职基本可以确定了。

博士的尽头是教职?传奇大神何恺明被曝回归学界_数据挖掘_03

或成为全MIT引用最高的人

虽然不确定何恺明最终的选择,但眼尖的网友已经发现,如果他真去了MIT,被引用次数将成为全校最高

目前,MIT全校被引用次数最高的,是化学与生物医学工程系的重量级教授Robert Langer,次数为38万+。

博士的尽头是教职?传奇大神何恺明被曝回归学界_人工智能_04

图源:谷歌学术

而何恺明被引用次数高达40万+

博士的尽头是教职?传奇大神何恺明被曝回归学界_计算机视觉_05

图源:谷歌学术

尽管不同学科无法直接这么对比,但何恺明的引用次数实在是太引人注目了。

有网友表示,虽然引用量不一定能说明太多问题,不过“引用量是天文数字的一定是大神”。

要论何恺明最高引研究,必须是ResNet。在2021年底突破10万大关,如今已经涨到15万。

ResNet本身虽为计算机视觉领域研究,但其核心思想残差连接已经跨界成为现代深度学习模型的基本组件

开启上一次AI热潮的AlphaGo Zero就是结合了ResNet+强化学习+蒙特卡洛搜索共同完成。

而开启最新AI热潮的ChatGPT,其中的“T”也就是Transformer网络中同样使用了残差连接。

博士的尽头是教职?传奇大神何恺明被曝回归学界_人工智能_06

在计算机视觉上,何恺明的主要贡献还包括Faster R-CNN及后续的Mask R-CNN等一系列研究,在很多年都是目标检测的主流方法。

他的近期主要研究兴趣是无监督学习,21年底提出的MAE,将语言模型的掩码预训练方法用在视觉模型上,为视觉大规模无监督预训练大模型开路。

最近他还将掩码方法引入众多AI绘画应用的基础模型CLIP,把训练速度提升了3.7倍。

在MIT即将进行的演讲中,何恺明准备的主题也是“视觉智能”。

包括他在ResNet、目标检测方面的成果,以视觉无监督学习对未来研究的影响。

博士的尽头是教职?传奇大神何恺明被曝回归学界_深度学习_07

至于何恺明可能要加入的MIT CSAIL (麻省理工计算机科学与人工智能实验室),是麻省理工最大的实验室,也是世界著名的计算科学和AI实验室。

这里云集了众多计算机科学和AI领域的知名人物,包括万维网发明人Tim Berners-Lee,分布式计算和并发算法专家、图灵奖得主Leslie Lamport和Barbara Liskov等等。

当Meta AI有了产品压力

何恺明本科就读于清华大学,博士毕业于香港中文大学,2011年他加入微软亚洲研究院。

自2016年起他加入Facebook AI Research,也就是大名鼎鼎的FAIR,继续研究计算机视觉。

但就在最近一年之内,该部门已发生两次重大调整,都是增强应用型研究,削减基础研究

去年6月,受公司转型元宇宙影响,FAIR被降级为元宇宙部门Reality Labs的下属组织

同时,支持旗下各大APP的算法团队转移进产品工程团队。新架构给了产品团队更大权限,加速技术的应用落地。

博士的尽头是教职?传奇大神何恺明被曝回归学界_数据挖掘_08

今年2月底,扎克伯格面对ChatGPT热潮再次做出调整,宣布成立顶级AI产品团队。

把全公司搞AIGC的都集中起来。

博士的尽头是教职?传奇大神何恺明被曝回归学界_计算机视觉_09

多年前,在LeCun卸掉FAIR管理层、就任首席AI科学家时,还在FAIR的田渊栋、吴育昕等研究员都曾表示,在这一部门没有产品的压力

但近期一系列调整下来,Meta流失不少研究型人才,包括带领过强化学习研究的Edward Grefenstette等至少4位知名学者离职,甚至位于伦敦的AI实验室失去了大部分顶级研究者。

从何恺明回归学术界的动向来看,他还是更倾向于搞基础研究。

One More Thing

就在这段时间,关于学术界与工业界的对比再次成了AI圈热点话题。

一方面,有网友指出工业界大厂的日子不好过,工程、应用型的岗位增加,研究型的越来越少。

博士的尽头是教职?传奇大神何恺明被曝回归学界_人工智能_10

另一方面则是大模型当道,AI科研成本指数级增加,连顶刊Science都在正刊发文表示:学术界与工业界掌握的算力已不在一个数量级。

博士的尽头是教职?传奇大神何恺明被曝回归学界_计算机视觉_11

两者夹击之下,AI大牛回归学术界和离开大厂创业成了同时存在的两股趋势。

回归学术界的代表除了何恺明,代表人物还有谷歌Tensorflow创始成员Pete Warden。国内也有蚂蚁金服原副总裁漆远加盟复旦、商汤原执行研究总监代季峰加盟清华等。

离开大厂创业的代表人物则有谷歌Transformer作者们出走成立Adept AI、Character.AI,以及前两天刚曝出的亚马逊李沐与Alex Smola携手创业。

在《如何看待Kaiming面试MIT教职?》的知乎热议话题下面,一个高赞回答是:

博士的尽头是教职?传奇大神何恺明被曝回归学界_深度学习_12

参考链接:

[1]https://www.csail.mit.edu/event/eecs-special-seminar-kaiming-he-pursuit-visual-intelligence
[2]https://weibo.com/2199733231/4877346375735190
[3]https://www.zhihu.com/question/588205714