OpenAI开发者大会简介

昨天晚上

OpenAI的首届开发者大会召开

Sam Altman也做了公开演讲，应该说

这是继今年春天发布GPT-4之后

OpenAI在AI行业又创造的一个不眠夜

过去一年

ChatGPT绝对是整个科技领域最热的词汇

OpenAI 也依靠ChatGPT取得了惊人的成绩

ChatGPT目前每周有超过1亿活跃用户

超过200万开者使用API等进行开发

与超过92%的财富500强公司合作

在这次备受期待的首届开发者大会上

Altman也带来了一系列全新的AI模型和工具

包括全新的GPT-4 Turbo模型

函数调用增强和JSON模式

开放DALLE-3、GPT-4 Turbo with vision、TTS和Whisper V3等模型的API

增加GPT-4微调、自定义模型

可以允许创建自定义版本ChatGPT的GPTs

即将上线的GPT Store

以及更接近AI智能体的体验的Assistants API

从这些更新的展示中可以明显感觉到

OpenAI 正在努力把 ChatGPT 构建成一个自动化程度更高的 AI 智能体

这个智能体不再是「纸上谈兵」，

而是越来越多地通过操纵现有应用对物理世界产生影响

比如，在活动现场

一位 OpenAI 的工作人员通过语音与 ChatGPT 对话

给在场的每一位观众发放了 500 美元 OpenAI 代金券

好了，接下来我们就来详细介绍一下

这次OpenAI开发者大会的精彩内容

---

GPT-4 Turbo

会上首先亮相的是 GPT-4 的全新版本 GPT-4 Turbo

我们知道

OpenAI 在今年 3 月发布了 GPT-4 初始版本

并在 7 月广泛提供给了所有开发者

Sam Altman 在现场一一解析了 GPT-4 Turbo 的几大亮点

首先，GPT-4 Turbo 比 GPT-4 更强大

支持 128k 上下文窗口

可以在单个 prompt 中处理超过 300 页的文本

更长的上下文意味着模型输出结果更加准确

---

其次

GPT-4 Turbo 能够了解更近、更丰富的世界知识

外部文档和数据库的截止日期更新到了 2023 年 4 月

与之相比

GPT-4 的知识库截止日期为 2021 年 9 月

---

接下来是函数调用更新

函数调用允许将应用程序函数或外部 API 描绘给模型

并让模型智能选择「包含调用这些函数的参数」的 JSON 对象

GPT-4 Turbo 在这方面还做了几项改进

比如在一条消息中能够调用多个函数

用户可以在发送一条消息时请求多个操作

如「打开车窗并关闭空调」。

此外函数调用的准确性也得到提升

GPT-4 Turbo 更有可能返回正确的函数参数

---

与此同时

指令遵循性能得到提升并支持了 JSON 模式

其中在需要严格指令遵循的任务上

GPT-4 Turbo 的表现比以往的模型更好

比如生成特定的响应格式

GPT-4 Turbo 还支持了新的 JSON 模式

确保模型使用有效的 JSON 进行响应

新的 API 参数 response_format 可以限制模型输出以生成语法正确的 JSON 对象

这个模式对开发者在聊天完成（Chat Completions）API 中生成 JSON 非常有用

---

多模态能力也是大会的重点内容

为此 OpenAI 开放了全新的 API

这次GPT-4 Turbo 集成了 DALL?E 3

不仅能够接受并处理图像输入（即 GPT-4 Turbo with vision）

还能够生成标题、分析现实世界的图像、阅读带图表的文档等

对于 GPT-4 Turbo with vision

开发者可以通过 API 中的 gpt-4-vision-preview 来访问

OpenAI 计划为主要的 GPT-4 Turbo 模型提供视觉支持

价格取决于输入图像的大小

例如像素 1080×1080 的图像需要的成本为 0.00765 美元

---

同样地

开发者可以通过图像 API 将 DALL?E 3 直接集成到他们的应用程序和产品中

与之前版本的 DALL?E 类似

这个API 内置了审核的功能

可以帮助开发者保护自己的应用程序免遭滥用

OpenAI 提供了不同的格式和质量选项

生成一张图像的起价为 0.04 美元

---

在文本转换语音领域

开发者现在可通过文本到语音（text-to-speech）API

将文本转化为人类质量的语音

全新 TTS 模型提供了 6 种预设声音和两种模型变体即 tts-1 和 tts-1-hd

其中 tts 针对实时用例进行优化

tts-1-hd 针对质量进行优化

每输入 1000 字符的起价为 0.015 美元

---

有了新版本 GPT-4 Turbo

OpenAI 也没有「忘了」GPT-4

现在，GPT-4 微调正在实验访问阶段

OpenAI 正在创建一个用于 GPT-4 微调的实验性访问程序

不过与 GPT-3.5 微调获得的实质收益相比

GPT-4 微调需要更多工作才能对基础模型实现有意义的改进

未来

随着 GPT-4 微调在质量和安全性方面得到提升

GPT-3.5 微调的活跃使用者可以选择在他们的微调控制中心应用 GPT-4 程序

---

在微调之外

对于那些需要更多定制化功能的组织机构

OpenAI 启动了自定义模型（Custom Models）计划

允许组织机构与 OpenAI 研究人员一起针对特定领域来训练定制化 GPT-4

其中包括修改模型训练过程的每一步

从额外的领域特定预训练

到运行针对特定领域的定制化 RL 训练后（post-training）过程

组织机构对其定制化模型拥有独家访问权

OpenAI 不会提供给其他客户或与其他客户共享

也不会用于训练其他模型

此外提供给 OpenAI 来训练定制化模型的专有数据

不会在其他上下文中重复使用

不过，OpenAI 表示

目前自定义模型的功能有限且成本高昂

---

最后是价格

虽然 GPT-4 Turbo 性能更强了

但是价格却被打下来了

对比 GPT-4

GPT-4 Turbo 的输入 token 价格是其 1/3

为1000 token 0.01美元；

输出 token 价格是其 1/2

为1000 token 0.03美元

同样地

GPT-3.5 Turbo 16K 以及 GPT-3.5 Turbo 4K、16K 微调的价格也都有一定程度的下降

---

那么大家目前如何使用 GPT-4 Turbo 呢？

所有付费开发者都可以通过 API 中的 gpt-4-1106-preview 来试用 GPT-4 Turbo

未来几周

OpenAI 将发布稳定的生产就绪（production-ready）模型

虽然新模型的发布令人激动

但是接下来这一发布

可能会令你联想到十几年前苹果的发布会

这也是众多网友认为的最大亮点

那就是Sam Atlman 发布了 GTPs

让用户们无需代码

结合自己的指令、外部知识和能力创建自定义版本的 ChatGPT

自从推出 ChatGPT 以来

用户们一直期待能够定制 ChatGPT

OpenAI 在 7 月推出了自定义指令

可让用户设置一些首选项

但是这无法完全满足用户

许多高级用户会维护一份提示和指令集列表

并将它们手动复制到 ChatGPT 中

GPTs 的发布能够自动帮用户们完成这项工作了

从现场展示来看，为了创建一个 GPT

OpenAI 允许用户使用一个名为 GPT Builder 的对话式 AI 模型

让用户使用自然语言就能构建自定义的 GPT

---

Sam Altman 现场展示了如何通过自然语言构建自定义 GPT

在这个例子中

Altman 要求 ChatGPT 创建一个可以给创业者提供建议的 GPT

在接收到指令后

ChatGPT 不仅构建了这个 GPT

还提供了头像、命名建议

除了使用内置功能之外

用户还可以通过向 GPT 提供一个或多个 API 来定义定制化 action

与插件一样

定制 action 允许 GPTs 集成外部数据或与现实世界交互

这个功能的目的非常简单

OpenAI要充分挖掘社区开发者的力量

Altman在会上说到

「我们相信最惊人的 GPT 产品将来自社区

无论您是教育家、教练

还是只是喜欢构建有用工具的人

您都不需要了解编码来制作工具并分享您的专业知识」

同时

OpenAI 也会在本月底上线 GPT Store

让开发者们分享、发布自己创建的 GPTs

没错，你是不是想到了苹果商店呢 ？

OpenAI 明确表示 GPT Store 上会有 GPT 的排行榜

活动上

Altman 表示 OpenAI 将向最常用、最有用的 GPT 支付收入的一部分

但是否会向发布 GPT 的创建者们收费还未知

目前

GPTs 可供 ChatGPT Plus 和企业用户试用

在大会上

OpenAI 工作人员现场演示了 GPTs的使用

她构建了一个能与个人行程表联通的 GPT

然后以对话的形式命令 GPT 给 Altman 发信息

结果 Altman 真的收到了

---

在 keynote 环节

Sam Altman 还发布了「Assistants API」，

这是他们帮助开发人员在自己的应用中构建类似「AI 智能体（agent）」体验的第一步

通俗点来说

「assistant」可以理解为一种为某个专门用途构建的 AI

它有特定的指令，利用额外的知识

并能调用模型和工具来执行任务

新的 Assistants API 提供了代码解释器（Code Interpreter）、检索（Retrieval）以及函数调用（function calling）等新功能

可以处理大量以前你需要自己完成的繁重工作

使你能够构建高质量的 AI 应用

这个 API 设计灵活

用例包括基于自然语言的数据分析应用、编码助手、AI 驱动的度假计划器、声控 DJ、智能可视画布等等

Assistants API 基于支持新 GPTs 产品的相同功能而构建

包括自定义指令和工具

比如代码解释器、检索和函数调用

这个 API 引入的一个关键变化是持久和无限长的线程

它允许开发人员将线程状态管理移交给 OpenAI

并绕过上下文窗口限制

使用 Assistants API

你只需将每条新消息添加到现有线程中即可

Assistants 还可根据需要调用新工具

包括代码解释器（Code Interpreter）

它可以在沙盒执行环境中编写和运行 Python 代码

并生成图形和图表

处理包含各种数据和格式的文件

它允许你的 assistants 反复运行代码

从而解决具有挑战性的代码和数学问题等

其次是检索（Retrieval）

它可以利用模型之外的知识

比如专有领域数据、产品信息或用户提供的文档

来增强 assistants

这意味着

你不需要计算和存储文档的嵌入

也不需要实现分块和搜索算法

Assistants API 会根据 OpenAI 在 ChatGPT 中构建知识检索的经验

优化要使用的检索技术

OpenAI 的工作人员现场演示了 Assistants API 的用法

它不仅能列出巴黎旅游建议

还能在地图上将计划中提到的地点按类别标记出来

此外Assistants API 还可以自动阅读文档、调用代码解释器来计算旅行开销

最后就是函数调用（Function calling）

它可以让助理能够调用你定义的函数

并将函数响应纳入其信息中

OpenAI 表示，与平台的其他部分一样

传给OpenAI API的数据和文件绝不会用于训练他们的模型

开发人员可以在他们认为合适的时候删除数据

开发者可以前往 Assistants playground 试用 Assistants API 测试版

无需编写任何代码

地址我会放到评论区中

---

从今天起

所有开发者都可以使用 Assistants API 测试版

相应的定价可以参考OpenAI官网信息

此外，这次大会还包括其他一些更新

首先是Copyright Shield

OpenAI表示

他们致力于通过系统中的内置版权保护措施来保护客户

所以推出了新的版权保护措施

copyright Shield

如果你面临有关版权侵权的法律索赔

他们将介入并且保护客户

并且支付由此产生的费用

这适用于ChatGPT 企业版

和我们的开发者平台的一般可用功能

---

其次是Whisper v3 和 Consistency Decoder

whisper呢是open AI开源的一款语音转文本的模型

在这次开发者大会上

Altman官宣了新的版本Whisper large-v3

它的特点呢

是提高了各种语言的识别性能

他们还计划在不久的将来

在API中支持whisper V3

此外呢他们还在开源consistency decoder

它是stable diffusion VAE解码器的直接替代品

这个解码器可以改进所有与 Stable Diffusion 1.0+ VAE 兼容的图像

并且呢在文本、人脸和直线方面有显著的改进

---

好了以上就是本次开发者大会中

OpenAI发布的精华内容

大家对于这次的发布会有什么看法呢