关于阅读论文的一些感想

最近看了一些论文,也和同学在交谈中学习到了一些关于阅读时应该有的态度,这里记录一下。


关于实验部分,受到 语雀用户[@xiaoqi skr~skr(xiaoqizhao)] 的指导,在阅读论文时应该关注这样几个点:

  1. 不要被作者的描述带偏,阅读的时候要留心,作者文字给你的图和给你的表述都是他想让你认为是这样的,你更多需要自己的判断,结合自己的经验。
  2. 甚至你可以对论文提出的观点进行尝试,有用的东西终究会是有用的。但是要注意,提出的方法可能会有局限,多尝试才会有更全面的了解。例如BASNet中使用的SSIM损失,对于MAE的降低确实有帮助,但是似乎也对maxF有一定的负面影响。
  3. 文章提出的各个模块是否进行了分别的实验,是否进行了充分的“组合”实验,一般提出n个模块,就得有对应的个关于模块的实验,也就是消融实验至少要做个,包含基线模型。如果有缺失,那要么是作者忘了:),要么是作者刻意忽略了:(,这都会是论文实验的不足。
  4. 模块提升的性能在0.003(对于显著性检测差不多是这样的)以内,基本可以认为没有提升。因为深度学习的训练本身波动性比较大,结果会带有一定的随机性,但是大的范围还是基本可以固定的。
  5. 关于模块的效果以及最终模型的效果,更合适的比较是在不同的主流backbone上进行消融测试(例如VGG、ResNet、ResNeXt等,主要是考虑以前论文使用过的模型),因为不同backbone特征提取能力有些差异,不同模块接上去后带来的效果也会有所不同,应该进行充分的测试。
  6. 关于后处理方法的使用,也应该进行充分的测试,类似与CRF这样的方法,并不一定会完全带来效果的提升,有时候反而会降低。而且最好的也应该进行不同backbone模型上的测试。

个人的一些想法:

  1. 一等的论文——意,论文的观点和方法都是开创性的,甚至是开创一个领域的,也就是挖坑或者铺路级别的工作。:
  1. 绝佳的意,详实的分析。
  2. 绝佳的意,分析一般。
  1. 二等的论文——意,这样的文章更多是在改进和推动领域的发展,可能是借鉴其他领域的方法思路解决当前领域的问题,可能是自己基于现有的方法进一步的组合或者改进等等:
  1. 还算不错的意,详实的分析。
  2. 还算不错的意,分析一般。
  1. 三等的论文——一般,观点是旧的,效果可能有好坏,这样的文章更多的看作者做实验写论文的态度与技巧了:
  1. 观点一般,实验详实丰富。
  2. 观点一般,分析也一般,也就是水文无疑了。