去做更重要的事情
假如读者的目的只是通过论文来完成老师的毕业标准或者通过保研考核,那么按照上面的内容进行按部就班的循环就已经足以解决读者可能遇到的全部问题了,然而笔者依然在这里希望介绍一些更多的内容,假如说你有志于科研,或者至少有志于通过科研寻求更长远的发展,那么这些内容的了解是必须的。
数量并不重要,在大多数时候是这样的。读者在大多数时候,很容易从各种地方听说所谓的 3/4/5A 的本科生横空出世,从而心生自卑以及焦虑,但是一个反直觉的现实是,数量并不重要。对于一个研究者来说,一年产出两篇论文,大概率还是会被认为水平高超,但是假如是五篇,那么水论文的帽子多半就要扣在你的头上了。
通过充足的合作而挂上部分的论文,从而为自己争取一定的引用量,这种方法固然是可取的,但是对于自己的科研取舍来说,读者需要充分的思考以得出结论,在自己所在的领域,什么是更重要的事情。
The Bitter Lesson 告诉我们,从本质上人工智能给的发展是在数据科学以及摩尔定律的基础上得到的发展,而非人工设置的先验以及方法。而文章中的那句话依然保有启发性:
We want AI agents that can discover like we can, not which contain what we have discovered. Building in our discoveries only makes it harder to see how the discovering process can be done.
在数据科学的基础上开展的最大规模的统计机器学习,也就是预训练,毫无疑问是这个时代中最为重要的内容,也正是因为围绕预训练的见解将直接从数据本身得到。读者在从事任何的领域的时候,有必要清晰的认知到自己所从事领域的边界,频繁思考 The Bitter Lesson 会有助于读者保持清醒,清晰地认识到自己目前所做的事情多半是比较 toy 的研究,从而距离本质相去甚远。这种思考模式可以让你频繁跳脱出当前领域的局限性,并且追求一些真正有意义的工作,从而形成自己的代表作。
在深度学习表层的构成中,数据和方法作为了各自的半边天。当你研究方法的时候,这些方法能否本质上提升计算效率,让模型可以在更短的时间内吃掉更多数据,并且可以有足够的容量,又或者更好的 training recipe;当你研究数据的时候,能否解决当前领域内数据的缺陷。这些内容往往是读者需要频繁关注的,也是领域内任何人都认为重要的。
回到数量本身,一般认为一名出色的研究者需要在他的博士生涯中做出大约三篇代表作,所以不着急,慢慢来,多思考,去做更重要的事情。