AAAI中稿心得

很幸运我们的一篇工作中稿了AAAI2024，题目是 Self-Prompt Mechanism for Few-Shot Image Recognition. 很高兴能在研二的上学期中稿一篇a会保底，也是我中稿的第一篇工作，成为我申请博士的资本。最重要的是，让枯燥无味的科研，变得开心一些。

idea的由来

确切来说，这篇工作是在研一的暑假完成的，最初的idea来自于自然语言处理的一篇工作，同时我以prompt tuning 的一些工作作为基础，对比现有的 prompt learning 的方法，开创性的提出了自我提示这一概念。具体来讲，我将人类的自我认知、自我反思的能力赋予模型，人类在完成一件任务时，能根据以往的经验对当前采取的策略进行动态的调整。既然人类可以，模型应当也可以，我将人类的这一能力赋予模型，采取二次前向的训练和推理策略，让模型也能根据以往的经验（第一次前向）对当前的任务进行动态的调整（二次前向）。通俗来讲，比如一个人因为忽略的对方的感受，谈了一场失败的恋爱，那么，他在下次谈恋爱的时候，会根据上次恋爱失败的教训更加在意对方的感受，避免再次失败。

科研和感情一样，都需要认真对待。

以上左图为模型的motivation图，右侧为模型结构图。

最初的idea是在6月成型，修改代码花了我一个晚上，大概是从晚上10点开始到凌晨的三点左右，因为第二天十点要去上海出差一周，参加 IJCAI 的青年学术论坛，所以加班把代码调试好之后匆匆忙忙的上了飞机。有趣的是，尽管经历了6月到8月两个月不断的打磨，独处时的不断思考，idea基本上没有太大的改变，依然还是我半夜睡不着想出来的那个略带幼稚的想法。

对科研的一些思考

之前在知乎上刷到了一个帖子，具体内容我记不清了，大概是这样的一个观点：人类这个物种经历的几十万年的进化，才有了今天的文明，相当于一个被大自然设计好的模型结构（我们的DNA），然而我们需要受到良好的教育（大量数据的训练），才能具备一定的能力（模型的性能）。我认为这个观点是很奇妙的。实际上做科研的过程不过是探索智能的过程，我们并不知道我们的思想源于哪里，并不知道我们是如何思考的，与其说计算机视觉的专家们在设计模型，不如说他们在不断的探究人类自己本身的智能的由来。我们在探究未知的过程中认知自己，我们在认知自己的过程中探究未知，这本身就让人神往，我想这就是科研的意义吧。

史铁生说过，写作是一个需要等待的漫长过程，我觉得科研也是一样，积累到一定的程度之后，成果自然就会慢慢的朝你走来。但是前提是要敢想敢做，敢爱敢恨。

但是更重要的，要经得起失败，科研并非是一帆风顺的，拿我的第一篇工作来说：
投稿 IJCAI，被拒稿。
转投TNNLS，被退稿。
转投TCSVT，审稿了两个月，结果未知，像是石沉大海。
我开始慢慢理解了何恺明在香港中文大学的讲话：科研的95%都是令人沮丧的，甚至能用任何的你所能想到的负面的语言去形容，直到一篇工作的完成，享受5%的喜悦之后，进入下一个循环。

我觉得科研最快乐的时刻是一篇工作全部完成的时候，是一种发自内心的自我满足，尽管对整个宇宙来说无关痛痒，仍然是对可能并不存在的时空的一种交代，只属于自己的时空。

Success keeps eluding me, yet my passion abides.

我等待，也期待。