AAAI中稿心得

发布时间:2023年12月17日

很幸运我们的一篇工作中稿了AAAI2024,题目是 Self-Prompt Mechanism for Few-Shot Image Recognition. 很高兴能在研二的上学期中稿一篇a会保底,也是我中稿的第一篇工作,成为我申请博士的资本。最重要的是,让枯燥无味的科研,变得开心一些。

idea的由来

确切来说,这篇工作是在研一的暑假完成的,最初的idea来自于自然语言处理的一篇工作,同时我以prompt tuning 的一些工作作为基础,对比现有的 prompt learning 的方法,开创性的提出了自我提示这一概念。具体来讲,我将人类的自我认知、自我反思的能力赋予模型,人类在完成一件任务时,能根据以往的经验对当前采取的策略进行动态的调整。既然人类可以,模型应当也可以,我将人类的这一能力赋予模型,采取二次前向的训练和推理策略,让模型也能根据以往的经验(第一次前向)对当前的任务进行动态的调整(二次前向)。通俗来讲,比如一个人因为忽略的对方的感受,谈了一场失败的恋爱,那么,他在下次谈恋爱的时候,会根据上次恋爱失败的教训更加在意对方的感受,避免再次失败。

科研和感情一样,都需要认真对待。

在这里插入图片描述
以上左图为模型的motivation图,右侧为模型结构图。

最初的idea是在6月成型,修改代码花了我一个晚上,大概是从晚上10点开始到凌晨的三点左右,因为第二天十点要去上海出差一周,参加 IJCAI 的青年学术论坛,所以加班把代码调试好之后匆匆忙忙的上了飞机。有趣的是,尽管经历了6月到8月两个月不断的打磨,独处时的不断思考,idea基本上没有太大的改变,依然还是我半夜睡不着想出来的那个略带幼稚的想法。

对科研的一些思考

之前在知乎上刷到了一个帖子,具体内容我记不清了,大概是这样的一个观点:人类这个物种经历的几十万年的进化,才有了今天的文明,相当于一个被大自然设计好的模型结构(我们的DNA),然而我们需要受到良好的教育(大量数据的训练),才能具备一定的能力(模型的性能)。我认为这个观点是很奇妙的。实际上做科研的过程不过是探索智能的过程,我们并不知道我们的思想源于哪里,并不知道我们是如何思考的,与其说计算机视觉的专家们在设计模型,不如说他们在不断的探究人类自己本身的智能的由来。我们在探究未知的过程中认知自己,我们在认知自己的过程中探究未知,这本身就让人神往,我想这就是科研的意义吧。

史铁生说过,写作是一个需要等待的漫长过程,我觉得科研也是一样,积累到一定的程度之后,成果自然就会慢慢的朝你走来。但是前提是要敢想敢做,敢爱敢恨。

但是更重要的,要经得起失败,科研并非是一帆风顺的,拿我的第一篇工作来说:
投稿 IJCAI,被拒稿。
转投TNNLS,被退稿。
转投TCSVT,审稿了两个月,结果未知,像是石沉大海。
我开始慢慢理解了何恺明在香港中文大学的讲话:科研的95%都是令人沮丧的,甚至能用任何的你所能想到的负面的语言去形容,直到一篇工作的完成,享受5%的喜悦之后,进入下一个循环。
在这里插入图片描述
我觉得科研最快乐的时刻是一篇工作全部完成的时候,是一种发自内心的自我满足,尽管对整个宇宙来说无关痛痒,仍然是对可能并不存在的时空的一种交代,只属于自己的时空。

Success keeps eluding me, yet my passion abides.

我等待,也期待。

文章来源:https://blog.csdn.net/s_m_c/article/details/135045603
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。