GLM-4多模态重磅更新！摸着OpenAI过河！

智谱CEO张鹏说：OpenAI摸着石头过河，我们摸着OpenAI过河。
摸来摸去摸了一年，以每3-4个月升级一次基座模型的速度，智谱摸着OpenAI过河的最新成绩到底怎么样？真如所说吗？

听到GLM-4发布的当天，我就去试用了一下GLM-4，毕竟是国内 全自研第四代基座大模型GLM-4！

实际体验

我依次测试了多模态、ALL Tools、个性化智能定制功能。

多模态

首先测试其图片理解能力，上传了一张猫片：

从结果来看，它基本上理解了这个图片的内容。

上传一张更复杂的图片试试呢？图片里有几个人？几个男人几个女人？

我也是学CV的，它答不准的原因在于底层图片识别、图像分割能力的不足，还需要继续努力。

为了测试它到底是不是真的理解图片里的含义，我上传了五环的图片，它成功的告诉我这个是五环，代表世界五大洲的团结和合作，赞！

All Tools

All Tools其实代表的是模型能否理解复杂指令，自由调用WebGLM搜索增强、Code Interpreter代码解释器和多模态生成能力，完成复杂任务。

我首先提了一个问题来验证联网能力：

它通过联网搜索的方式给出了答案：

总体来说，给出的内容还算不错。

我想进一步看看它的信息整合能力如何，于是让它进行表格的整理，这次等待的时间比较长，因为联网搜索了很久···，甚至还超时失败了，最终也没成功。

代码解释（CodeInterpreter）能力如何呢？先问了一下运行环境，但是无法给出准确的内存限制等，只给出了一些支持的代码或者运行库，值得注意的是，在运行的代码里本身不能联网：

为了测试基本的代码能力，我让它进行python得文件读取和保存：

画图能力如何呢？尝试一个主体进行三种风格的爆改：

怎么说呢，虽然在细节方面还不够好，比不上Dalle-3、SD或者MJ，但是已经基本能够满足要求了。可以满足给小朋友或者简单场景的绘画需求。

GLMs个性化智能体定制

这个功能其实瞄准的就是GPTs了，甚至从官方公告上来看，未来GLMs也将开放出开发者权限，并且进行收益分成（但是现在有个问题，GLM本身是不收费的，怎么盈利分成呢？可能的答案是：进行会员收费；回答里嵌套广告）

MaaS平台和API

按照智谱AI官方的说法，GLM-4性能相比GLM-3提升60%，逼近GPT-4（11月6日最新版本效果） 。

据智谱AI CEO张鹏介绍，GLM-4的整体性能相比上一代大幅提升，逼近GPT-4。 它可以支持更长的上下文，具备更强的多模态能力。同时，它的推理速度更快，支持更高的并发，大大降低推理成本。

此次发布的 GLM-4，在多个评测集上性能已接近或超过GPT-3.5，个别项目上几乎持平GPT-4。其中以下四个能力更新，是 GLM-4 最大的亮点：

• 多模态能力：推出了CogView3代，效果超过开源SD模型，逼近 DALLE-3。
• All Tools能力：GLM-4能自主理解复杂指令，自由调用WebGLM搜索增强、Code Interpreter代码解释器和多模态生成能力，完成复杂任务。
• GLMs个性化智能体定制：用户可以通过智谱清言官方网站创建属于自己的GLM智能体，无需编程基础。
• MaaS平台和API：GLM-4登陆了Maas平台，提供API访问，支持开发者内测Assistant API。

数据指标

数据集表现

MMLU(Massive Multitask Language Understanding)：评估大模型的对于知识的理解，目前GLM-4是81.5分，GPT-4得分86.4分，目前能达到GPT4的94% ；

GSM8K(Grade School Math 8K)：测试数学能力，小学数学和初中数学水平。GLM-4得分87.6，达到GPT-4的95%；

MATH：数学测试，涉及到一些较难的逻辑推理，GLM-4得分47.9，达到GPT-4的91% ；

BBH(Big Bench Hackathon)：偏综合测试，比如翻译、语言理解、逻辑推理等内容。GLM-4得分82.3，达到GPT-4的99%水平；

HellaSwag：偏常识测试，GLM-4得分85.4，达到GPT-4的90%水平；

HumanEval：纯粹的编程任务。评测大模型在算法、代码、编程层面的效果。GLM-4得分72，达到GPT-4的100%水平。

指令跟随能力方面，和GPT-4相比，IFEval在Prompt提示词跟随（中文）方面达到88%，指令跟随（中文）方面达到 90%水平，超过GPT-3.5。

对齐能力上，基于AlignBench数据集，GLM-4超过了GPT-4的6月13日版本，逼近GPT-4最新（11月6日版本）效果。

大海捞针测试， GLM-4模型能够在128K文本长度内实现几乎100%的精度召回，并未出现长上下文全局信息因为失焦而导致的精度下降问题。

展望

在 2023 年，智谱 AI 基于 GLM-130B 研发了 ChatGLM，并经过三个版本的迭代，逐渐增加了多模态理解、代码解释、网络搜索增强等新功能。

去年年初，智谱 AI 承诺要在 2023 年底实现逼近最先进的 GPT-4 性能的全栈自主创新的 GLM-4。作为一年前设定的目标，GLM-4 的性能已经有了显著提升。从标准的大模型评估角度来看，整体上已经逼近了 GPT-4。

希望国产大模型能够更进一步，我很担心未来在AI领域，又出现被掐脖子的事情～