还是讲虎鲸,不过是迭代了
1 2 3上链接......
2311.11045.pdf (arxiv.org)
11月18号新出的论文,不同于Orca1,Orca2的论文著作这里有中国兄弟介入了,感觉Orca1好像都是3哥,3哥水论文的速度是真的快...
先说一下我对这篇论文的感受,其实没多有特别大的变革,比起Llama到Llama2的变更还是小的(光是GQA这一项就挺颠覆的)
文章开头照例给他们团队做了一个广告,众所周知的刷榜环节
用一个常见的问题来直观感受一下几个模型回答问题的区别
下图是这些模型的相关top_p,temperature的设定