从二本到ICLR杰出论文奖，我用了20年

转载

夕小瑶谈人工智能 2023-07-25 19:39:57

从二本到ICLR杰出论文奖，我用了20年_读研

文 | 李梅
编 | 陈彩娴
二本出身，读了两个硕士才在29岁开始读博，39岁才结束博士后研究的付杰形容，他的20年就像个体与系统的博弈：

一些机器学习的文章中，研究者会根据训练初始阶段 Training Curve（训练曲线）的模式来判断一个模型是否值得继续投入资源训练。

常来说，一个机器学习模型在开始阶段的损失下降明显、精度上升明显，最后的结果也往往是优异的；而如果初始阶段的训练损失下降地很缓慢，那么后期结果大概率也不会好转。

当然，也有极少数的例外：一个模型在初始阶段训练不好，但在后期损失会上升，模型的精度也会不断上升。但出于节约资源的考虑，研究者往往会选择在初始阶段就把表现不好的模型「杀死」，然后重新开始。

同样的「大局思维」迁移到社会整体，体现便是：如果存在「上帝之眼」，TA 俯瞰整个社会系统中有潜力推动人工智能发展的种子选手，在可分配资源有限的情况下，类似付杰这样的二本生，在高考结束的那一瞬间，就已经被系统提前淘汰了。

从大局出发，系统的确不应该给予付杰太多的资源去尝试、去试错，因为他在最后大概率也会失败。但是，正如付杰所说：「从个人的角度，我有必须不断尝试的动力：因为那是我的人生。」

虽有点动漫里中二角色台词的味道，倒也很符合他中二少年的气质。

所以，即使路遥多阻，他也要在每次受挫后不断地将自己「重新启动」，去考研，去读博，去争取每一个能让自己变强的机会。在社会的运转中，「系统」与个人无时无刻不在争夺有限的资源。

「很多时候我都是站在一个被淘汰者的角度看着台上的表演。因为我一直失败，也一直在台下，所以我很清醒。」付杰说道。作为被系统淘汰的人，他深知，要想继续向前，只能靠自己的努力，外加因人而异的“适量”运气成分，将模型启动：

「不一定会成功，但坚持是必要的。慢慢来，比较快。」

1 小朋友的科学家梦想

每个小朋友都有梦想，付杰也不例外。

只是，与其他或迫于类政治正确、从而写下自己梦想当培育心灵的「园丁」（教师）或悬壶济世的医生的小朋友不同，当付杰说出“我想当一名科学家”时，他是发自内心这样想的。

故事要从他在幼儿园时说起。

有一天，天真无邪、心灵纯洁、放学回家只知道看电视的付杰守在电视机前，无意中看到本地的科教频道正在播放一个有趣的节目。节目里，一个生物学家正在自动化装置的帮助下筛选各种药物，付杰的眼球被吸引住了！

那时候，他对世界的认知刚刚萌芽，刚开始从大人那得知人人都会衰老与死亡这一令他恐惧不已的事实，天天幻想着要像《西游记》里的孙悟空等神仙一样长生不老，炼成仙丹，消灭衰老与死亡，所以他很关注医药研究。得知国外已有先进技术帮忙筛选药物，他十分开心。

但同时，幼小的付杰也对眼前的装置有自己的思考。虽然可以自动筛选，但做生物实验的速度却非常慢——在我有生之年，科学家究竟来不来得及炼成不老仙丹呀？焦急的付杰捶着小拳头、跺着脚，转眼就开始思考：我是不是应该想想办法，加速科学家的实验速度？

对于七岁的付杰小朋友来说，若人类社会免除衰老与死亡、地球岂不超负荷这样的问题，是不在他的考虑范围之内的。他只觉得世界那样美好，生命那样宝贵，科学研究的目标里一定少不了一个出发点，就是帮助人类减少病痛、延年益寿。

所以，从幼时开始，付杰就开始幻想着成为一名这样的科学家：运用像筛选药物这样的自动化装置等先进技术，帮助生物医学的发展，也就是他在动画片里看到过的“人工智能”（Artificial Intelligence）。没错，付杰在世纪未开始之前就对 AI 有了认知。

「如果我没有『精神被过度刺激』从而大量篡改自己记忆的话，这个故事应该是非常贴近事实的。」付杰告诉AI科技评论。

梦想成为一名科学家的种子很早就埋在付杰的心中。加上他的父亲当时在武汉当地的一所研究院工作，是一位从事与计算机相关工作的高级工程师，所以付杰从五六岁开始就接触电脑，用电脑来玩游戏学习计算机知识。在父亲的影响下，付杰知道计算机将是二十一世纪初最先进的技术，所以早早就立定心意，要学习计算机，尤其是AI。

「高考之后，报志愿的时候我就一定要选计算机专业，我一定要学AI。哪怕我去了二本，我也要学计算机。」顺便提一下，他的QQ名从一开始就叫“AI”。

付杰是土生土长的武汉人。高中时，他就拼命学习，挑灯夜战，挥洒汗水，希望考上武汉排名最靠前的两所学校！

嗯…故事写到这里，忘了说一下：没错，付杰是一个从小志存高远的有志青年，也有着高风亮节的社会责任心，但他并非名列前茅、众星捧月的学霸。最终，因为高考分数不够理想（他再三强调不是高考失误，而是自身实力实在羞于示人），他只考上了武汉的一所二本大学。

但这卑微的起点并没有打击付杰追逐幼时梦想的信心！二话不说，他果断在志愿填写中潇洒地写下了计算机专业，心里宽慰自己：没事没事，高考失败是小事、是小事，丑小鸭能变天鹅、野鸡窝里也能飞出凤凰。

最后，付杰幸运被计算机系录取，乐观的他昂首挺胸就要迈上人生的新道路，朝着他心中的梦想靠近。他没想到的是，接下来的路会这么艰难。

2 二本差生

二本，也许是付杰手里的第一张烂牌。

刚进入大学的付杰，还是一个充满抱负的上进学生，对自己的未来充满激情与信心。他甚至在一开学就跑去教务处问本科能不能三年毕业、提前毕业有什么要求，还计划以后要考研去武汉当地的985名校继续深造。

当年的计算机本科专业主要修读C语言、数据库等课程，但付杰记得，本科那会他就选过一门人工智能的课程，虽然课上所教授的内容与今天的 AI 完全不同。那时的人工智能依赖的更多是专家系统，「人工」的成分更多。付杰认为，这根本不是自己所想象的人工智能，他期待自己能在将来参与到更先进的人工智能研究中去。

然而，很快，付杰手里的牌就变成了「二本差生」。成绩一般、学习没有效果……整个学习过程非常艰难。

「学习方法和态度都不对」——付杰在采访中多次这样反思自己的过去。他坦言自己有些眼高手低，比如，明明本科阶段的内容就是学好课本上已有的知识、巩固好基础知识就行，但他却因为觉得“没用”、逃避做练习题（因为想逃避练习带来的短暂痛苦），导致对计算机知识的掌握程度不够深，后来大四考研时成绩一败涂地。

另外，在二本院校，学习资源和学习氛围整体上都是不尽如人意的。付杰的耳边总是充斥着「60分万岁」这样的论调，他似乎也找不到人去讨论问题和交换信息。

在这样的氛围中，付杰一开始的踌躇满志随着日子的一天天流逝，逐渐被消磨殆尽。

而让付杰在本科彻底滑向谷底的，是初恋女友与他的分手。

他在高中时暗恋过一个女生，高考后女生考上了985大学。大学那会，付杰通过当时的搜狐校友录找到女生，花了很多时间、一门心思地去追她，但他们只在一起不到半年就分手了。他犹记得，那是一个寒冷的冬日，临近春节，他们在学校附近的麦当劳见面。女生坐在他的对面，向他提分手。仿佛临头被泼了一盆冷水的他询问原因，女生对他说出的最后一句话是：「你不够强」。

这四个字犹如萦绕不断的画外之音，给了当时在学业上已颓废至谷底的付杰重重一击，先是当头一棒，后是不断回响的痛苦。「你不够强」——这句话使付杰对自己的价值产生了深深的怀疑，更让从小到大天不怕、地不怕的他产生了自卑心理。

但苦闷的他又一时找不到出路，更没有信心重拾自己，也深知自己无法在短时间内达到与女生相匹配的高度，所以他只想躲避现实，沉迷在虚拟游戏中，学业也更加荒废。

「我很在乎她对我的看法。我真的那么没有价值吗？其实我现在回头看，我当时的确没什么价值，就很烂。」付杰这样回忆道。

3 「我好像不是个废物」

2005年，付杰本科毕业。

那时刚踏入社会的付杰是一个什么样的状态呢？

他给出的描述是：幼稚，没有能力，什么都不行，无助，迷茫。

面对人才市场上黑压压的人群，付杰感到无所适从，简历也没敢投就回家了。后来在家人的帮助下勉强找到一份国企的工作，钱少，稳定，一眼就能看到头。即使付杰认为自己那时候没什么大本事，但日复一日地做网线、搬东西之类的打杂工作，仍然让他觉得有些不甘心，而且他从心底里对这种「稳定」感到害怕。九十年代的下岗潮，曾让付杰目睹了周围亲戚原本滋润的生活急转直下，看起来再稳定的系统也有崩溃的可能。

从二本到ICLR杰出论文奖，我用了20年_读研_02

环境对人的意志的消磨无形但深刻，就好像《肖申克的救赎》里被体制化的（institutionalized）的老人Brooks。彼时的付杰甚至没有了想要「打破」的欲望。当一个人不甘于现状，却又疲于改变也无力改变的时候，或许只能选择逃避。那一年，魔兽世界上线，付杰就钻到了魔兽世界中，沉迷在虚拟游戏中。

在魔兽世界里，很多个玩家组成团队一起协作，这让付杰获得了一种被需要的感觉——原来自己是能做出点贡献的。

而在游戏中遇到的人，更是给他带来了人生轨迹的重要转变。

也许很多人都曾听说过那个广为流传的「曲别针换别墅」的故事：一个外国青年用一枚曲别针跟别人换到一支钢笔，再用笔换到了小件艺术品、烤炉、汽车等等。最终他没花一分钱，换到了一套双层别墅。简而言之，就是通过人际网络关系将小资源置换成大资源。

付杰把他在游戏里的故事与这种过程相类比，只是更多了一些机缘巧合。

某一天，在魔兽世界里，付杰看到一个「猎人」新手玩家在「主城」里问哪里可以买到「弓箭」。付杰是个很热心的人，于是他主动带这个人去买了装备，对方也觉得他人很好，两人就熟络起来。之后他们商量两人共同玩一个账号，这样一来，付杰就拥有了一个「猎人」账号，他们也都可以省点精力，也不必再参与团队里的抢装备冲突，可以经常下副本划水、与人聊天。

阴差阳错地，作为「猎人」的付杰又在魔兽世界里认识了另一位「猎人」新手玩家。这位新手玩家因为没钱充卡，所以偶尔需要卖金币换点卡。付杰见其「可怜」，就在游戏里很让着他。一来二回，两人逐渐成为网络上的朋友，聊得十分投机。刚好那时两人又都在感情上遭遇了相似的挫折，就常常聚在一起讨论怎么追回心仪的女生。

后来，付杰发现，他在网络上认识的这位朋友根本不是穷人！如果付杰是一个女生，这大概率会是一个白富美偶遇高富帅的离奇故事……当然，没有如果。事实是，这位网友来自一个富裕的家庭。他的家庭因为敢闯敢拼，白手起家，很早就达到了家庭资产A9。当时他刚到加拿大念本科，还没开银行卡，所以只能靠卖金币换点卡。

付杰每每谈起这位朋友，都要感叹：如果不是在游戏里，我跟他在现实生活中完全不可能有交集。这位朋友无论是见识还是财富上，都远远超出了当时身处武汉的付杰在二十多年人生里所积累的所有认知。他回忆，与这个朋友的认识，直接改变了他原有的人生轨迹。

「你想，他那么有钱，跟我们普通人家看世界的观点、看法肯定是不一样的对吧。倒不是说他让我发财，而是他让我看到了不一样的世界观，而这种世界观彻底改变了我做选择的态度。」付杰对AI科技评论说道。

由于他们的家底完全是靠自己闯出来的，在那样一种崇尚开拓和挑战的家庭氛围中浸淫数年，这位好朋友对于「成功」的定义给当时在国企「混日子」的付杰带来了冲击。他经常对付杰说：「哪怕你没有十足的把握，你也一定要去尝试，你不去尝试怎么知道自己行不行？」

尝试的机会很快来了。

07年左右，大环境经济出现波动，这位好朋友的公司也在考虑改变一直以来「粗放增长」的模式，决定使用ERP系统（Enterprise Resource Planning，企业资源规划系统）。这位好朋友听闻付杰学计算机出身，便邀请他去考察一下国内做ERP的公司，并以一种非官方代表的身份去签单。

付杰认真地完成了朋友拜托他帮的小忙，最后完成一份报告，得到了这位好朋友及其父亲的肯定。这对付杰的鼓励很大，他开始觉得自己「好像不是个彻底的废物」了。

那年暑假，朋友回国，飞到武汉与付杰见了一面，带他飞。在一番大手笔的吃喝玩乐之中，付杰深感震撼，时时感叹有钱人的生活实在是他难以想象的。

后来，付杰提出想跟这位朋友做生意。他计划先赚上足够多的钱，然后自己设立一个研究院去做学术研究。这个想法在今天的付杰看来当然是很幼稚的，但「幼稚」或许是另一种「信念感」的体现，正如他一路走来做过的许多「幼稚」选择一样。

那段时间，付杰请了一周的假，每天晚上跟着朋友去应酬，在金钱带来的快乐体验之外，他慢慢发觉有些不对劲：「我发现做生意搞应酬很麻烦的。他还教我抽烟喝酒，我就觉得不舒服，感觉我不适合成天应酬，觉得不开心。」

最后，他跟好朋友说自己不适合做生意，想要重新回到校园中，将来去读个博士。朋友的态度无比支持，跟他说：「你尽管去试，哥们支持你」。受到朋友的鼓励，付杰就真的去参加了国内的研究生考试。

4 赶上深度学习的早班车

走到人生的25岁，付杰开始读他的第一个硕士。

当时付杰还没有出国留学的想法，考研的原因一是父母的期望，二是有了硕士学历可以评高级职称来提高工作待遇。同时，他还对做学术研究怀有着信念，因此读研时也报考了计算机专业。

2008年的考研人数与往年比有所下降，研究所的竞争也没有普通高校那么激烈，再加上这次付出了足够的努力，付杰最后上了岸。

由于自己的基础太差，在很长一段时间里，付杰每天断网看书，花了大把时间去补回本科时欠下的「学术债」。

读研的第二年，付杰的又一次「命中注定」的机遇到来。某天，正在逛校内网的付杰被眼前的一条帖子吸引住了：

「你们知道有个东西叫做深度学习吗？」

这是2010年。付杰第一次听说深度学习的概念。彼时，深度学习还尚未成为人工智能研究的主流技术，两年以后，深度神经网络AlexNet在ImageNet挑战赛上一举成名，才宣告了新一轮人工智能浪潮的开始。

但正是在校内网上这不经意的一瞥，改变了付杰以后的学术人生。读研期间，他真的开始了科研的摸索。虽然没有深入探讨，但他很早就形成了对深度学习、神经网络的认知。

读研期间，付杰产生了继续读博深造的想法，并且坚定地想要出国。

曾经的那句「你不够强」，在几年之后仍然如一道阴影笼罩在付杰心头。他不断地想：「如果变强会怎么样？」

研二的时候，付杰开始备考英语，尝试申请国外的博士项目。当时出国留学的人并不多，付杰能获得的资源也有限，他在寄托论坛上搜索留学申请的相关信息，二本背景的申请案例寥寥无几，付杰决定先考出托福和GRE分数再说。同时，付杰有一个在澳大利亚读硕士的高中同学，他愿意帮付杰联系学校里的一个教授，所以学校方面算是暂时有一个奔头。

然而，这次申请并不顺利，所有学校都拒绝了付杰。一位教授的回复邮件中甚至只有一句话：“The chance of accepting you as our student is zero.”（你被我们录取为学生的几率是零。）付杰打开邮件的那一刻直接破防，哭了很久。当时，他暗暗对自己说，如果有一天自己成了教授，一定要给予任何申请者足够的尊重。

这或许与付杰的学历背景有关。他所就读的研究所类似于公司里的下属研究机构，毕竟不同于普通的大学，不太被国外大学所认可。即使付杰表明愿意自费读博，也都没有得到回应。

没有办法，付杰只得重新再读一个硕士。

这个选择当时并不被父母看好，毕竟是条少有人会走的路，付杰自己心里也很没底，但他心意已定。最终付杰申请到了新西兰奥塔哥大学（University of Otago）的一年制硕士。那位澳大利亚的朋友也帮他联系到一个学校，并且拿到了录取Offer，但奥塔哥大学的排名更高，而且能为他提供一年10万人民币的奖学金，所以付杰就选择去新西兰读计算机。这笔奖金，是28岁的付杰所拿到的人生第一笔奖学金。

2011年7月，付杰第一次出国，飞往南太平洋。

由于已在国内读过硕士，付杰的导师 Brendan McCane 教授，给他免去了课程的学习，只需要写出毕业论文即可获得硕士学位。

从二本到ICLR杰出论文奖，我用了20年_读研_03

▲图注：Brendan McCane教授，付杰在奥塔哥大学的硕士导师

在申请硕士项目时，付杰的研究计划是聚焦在深度学习上。在选择硕士论文的题目时，他选择了将深度学习与图像结合起来。

当时，他参与了导师组里的一个项目：对无人机航拍图像进行特征匹配（feature matching）。他们在用无人机在新西兰上空拍摄了许多森林的图片，希望设计算法将这些不同区域、不同高度的图片整合成一张完整的大的图片。图像的特征匹配是图像融合的预处理，匹配做得越精确，融合效果也就越好。由于拍摄时间和拍摄视角的不同，采集到的图像存在差异，因此需要做特征匹配。

对于这样的任务实现，付杰想：能不能利用深度学习自动去设计算法，而不是去人工设计算法？

他决定去尝试实现这个想法，但在当时，深度学习在计算机社区的接受度并不高，也没有太多可以交流的人，他几乎是自己闷着头做。最后文章投出，果然被拒，不过他的硕士导师还是给予了这个工作高度的肯定。最终，付杰的一年硕士以Distinction（优秀）的学位等级成绩和收到新加坡国立大学的读博offer圆满结束。

5 元学习：一直失败，从未放弃

「首先，你们给的奖学金挺多的；第二，我想来这里见见我的前女友。」

在被面试官问到为什么选择新加坡国立大学时，29岁的付杰给出了这样的坦诚回答。

那时，九把刀的《那些年我们一起追过的女孩》正火，付杰被电影情节深深打动。当时，他得知初恋女友在新加坡，在收到新加坡国立大学的offer后常幻想这样的局面：「去到女生的婚礼现场，当神父问现场有没有人反对时，我一定要喊出『我反对』。」

从二本到ICLR杰出论文奖，我用了20年_深度学习_04

不过，在他去到新加坡后，他从其他朋友处偶然得知，女生已嫁为人妇。

那时已时隔多年，付杰在少年时代的遗憾也早已淡然。尽管有这样幼稚的想象，但他再没打扰过故人。

他没有忘记想要读博做研究的初衷，就是用人工智能来减少人类病痛。但让付杰感到意外的是，在读博的这五年，他的科研路上还是有着太多的失败与阻碍。

2012年博士入学后，付杰辗转换了好几位导师。

他的博士项目原属于“Graduate School for Integrative Sciences and Engineering”（集成科学与工程研究院），鼓励交叉学科研究，可以同时选择任何院系的多位教授作为导师。最开始他选择的几位导师都是做脑科学的，因为他当年认为深度学习应该更多地从脑科学里借鉴，同时有一些项目是研究如何在早期识别老年痴呆。可惜他和导师意见不合：有的导师只对脑科学感兴趣，有的导师要求他学会自己去做生物实验（比如去学会养大鼠），而他希望把脑科学和深度学习结合，同时更偏向于深度学习研究。

最后，付杰找到了蔡达成教授（Tat-Seng Chua）作为博士导师，先集中研究深度学习。蔡达成本人在多媒体搜索研究领域享有盛名，虽然当时还没有涉足深度学习，好在蔡达成允许他自由探索深度学习。

从二本到ICLR杰出论文奖，我用了20年_人工智能_05

▲图注：新加坡国立大学蔡达成教授

但研究着研究着，他又慢慢对元学习产生了兴趣。

元学习是一种让机器「学会学习」（Leraning-to-learn）的通用性算法，目标是让机器具备类似人类解决问题的能力，从数据中学习并能将模型很好地泛化到差别较大的任务中。元学习的概念可以追溯到上世纪八十年代，LSTM之父Jürgen Schmidhuber在他的博士论文中提出self-referential learning模式，通过遗传演化算法实现模型的自我学习和进化。但直到最近几年，元学习才真正引起人们的广泛关注，比如Chelsea Finn、Pieter Abbeel和Sergey Levine在2017年提出的元学习算法MAML（Model-Agnostic Meta-Learning）。

尽管有一腔热血，但现实却是困难重重。与蔡达成带的其他学生相比，付杰的进度远远落后。其他学生的研究方向与实验室主方向一致，科研做得也比较顺利。而在当时元学习还未完全发展成熟的情况下，付杰几乎就是孤身一人，且彼时的他也没有学会积极需求与人合作交流。付杰回忆，当时实验室里的人都觉得他有些太「孤傲」了。压力、焦虑、失败，充斥了他读博的前三年经历，他甚至一度想要退学、重新申请一个博士。

但无论有多少沮丧，他都没有想过换一个研究方向，他对元学习这条路的选择非常坚定：「我就要做元学习，我觉得这个东西对整个深度学习领域是会有影响的。」

在后来与AI科技评论的交谈中，他总结，自己当时的确忽视了做研究所必需的一些外部条件，对自己所做工作的可行性也没有全面的考虑。

当时，付杰甚至没有服务器可用，只好去「卖身」，找到一家正在招实习生的电信公司，跟对方一番「画大饼」，说服他们为自己提供研究资金和服务器，而他去实习可以帮他们做网络安全方面的东西。

就这样，付杰在多重阻碍中艰难行进，最后勉强做出了一点成果，比如“DrMAD: Distilling Reverse-Mode Automatic Differentiation for Optimizing Hyperparameters of Deep Neural Networks”这篇论文，被IJCAI 2016录取。

从二本到ICLR杰出论文奖，我用了20年_读研_06

论文地址：https://arxiv.org/pdf/1601.00917.pdf

深度神经网络的性能对其参数的设置非常敏感，当时的深度学习也主要是依靠调参来获得性能提升，付杰设想利用元学习对参数进行自动地调优。这项工作针对深度神经网络中连续参数的优化问题，提出了一种高存储效率的超参数优化方法——蒸馏逆模式自动微分法（DrMAD），大大缩短了超参数的优化时间，是第一个实现对数千个深度神经网络超参数进行自动调优的研究。

但与很多学术牛人耀眼的学术履历相比，付杰读博的这五年可以说是平庸，别人是做一样成功一样，而付杰却「做了好几次都做不好」。大多数时候，他都处于懵懂的探索当中，不知怎么做才是正确的，只是硬着头皮去做。

从二本到ICLR杰出论文奖，我用了20年_深度学习_07

他回头反思那时的自己：一方面是因为自己的学习方法存在问题，很少和别人交流合作，因此比别人徘徊在门外的时间要久很多；另一方面，是因为自己从一开始就选择了一条更难的道路。如今的付杰承认，自己当初选错了方向，但错的不是元学习本身，而是主观愿望与外界条件的不匹配。

「你想研究一个重要的问题，这没有错，但是你得想象一下你自己的知识储备，你的强项在什么地方，看一看当前这个社会能给你提供的理论工具、硬件工具有哪些，你再看是不是自己稍微够一够就能解决一个大问题的其中一个重要的小问题，而且可以沿着这个继续往下做直至解决大问题，而不是死了命一定要把这个问题在当前这个时间节点给解决掉。时机没有成熟，不是你一个人努力可以做到的。有点类似2021年ACM Communications上的The Hardware Lottery里的观点，有一些研究方案可能并不是因为它们全面优于另外的竞争方案，而可能是因为它们与当时的软硬件环境更加适配。」可惜当时的付杰并没有意识到这一点，浪费了许多时间。

然而，如果要问任何一个望从事AI研究的低年级学生能从付杰的这五年中学到些什么的话，那便是他从未想过放弃。最困难的时候，他想的也是再去读一个博士。在群星闪耀的 AI 领域，像付杰这样的故事很少被看见，可能是因为个体在与社会博弈的过程中暂时认输而中途离场。

6 回到最初的梦想

2017年，博士毕业的付杰原本打算直接找一份工作。他当时投了国内多家公司的 AI lab，但没有得到任何回应。他自觉还是因为自己能力不够，所以决定申请加拿大MILA（Montreal Institute for Learning Algorithms）实验室的博士后。

「2017年初的时候，申请 MILA 博士后的人还没有特别多。我的运气很好：如果再晚一点，我应该是申请不到的。」付杰说道。

该实验室由2018年图灵奖得主、深度学习三巨头之一Yoshua Bengio 教授设立和领导，在语言建模、机器翻译、对象识别和生产模型等领域享誉国际。付杰师从实验室的Christopher Pal教授（他的博士导师Brendan Frey师从Geoffrey Hinton，后来创立了Deep Genomics公司），做了三年多的博士后研究，主要方向是自然语言处理。

从二本到ICLR杰出论文奖，我用了20年_读研_08

▲图注：MILA实验室Christopher Pal教授

在博后期间，付杰一开始还是想继续做元学习的研究。但是，他又失败了一次。2017年，他没有出新成果。到了2018年，付杰觉得自己一定要发表出文章来，毕竟还要靠成果「吃饭」，于是开始转向自然语言处理方向。

同时转变的，还有付杰对待科研的态度：

「做研究应该是应该是慢慢地、一点一点地往前面走，而不是一定要做一个特别大的一个项目，那样一旦失败的话，压力会很大，而且其实也就证明那个方式是不对的。」这时的付杰在做学术研究方面的确「长大」了许多。

而且，付杰开始更多地和人展开交流与合作。MILA实验室也非常鼓励合作，大家在办公室的座位都可以自由选择以方便科研交流。付杰的状态一路向好，终于在2019年开始迎来科研的曙光。

他在NLP领域顺利地做出了一些成果，如在2019年被ACL录取的论文中（“Interactive Machine Comprehension with Information Seeking Agents”），付杰与合作者将机器阅读理解模型的数据集重构为交互的、部分可观察的环境，来将其更好地扩展到Web级别的信息检索和问答场景中。付杰与合作者的另一篇被ACL 2020接收的论文（“Rikinet: Reading Wikipedia Pages for Natural Question Answering”），旨在解决通过阅读长文档来回答开放性问题的难题，团队提出RikiNet模型，它可以读取维基百科页面来回答问题，并取得了很好的测试结果。付杰还有一篇合作论文被ICLR 2021接收（“CoCon: A Self-Supervised Approach for Controlled Text Generation”），介绍了一种语言模型生成文本内容控制器CoCon，能够在细粒度级别上用目标内容控制语言模型所输出文本的高级属性（如情感和主题）。