OpenAI今天发布了ChatGPT API！
总结：
它不仅是一个新的模型，而且是一个新的终点。注意型号名称为“gpt-3. 5-turbo”。 Turbo模型是付费ChatGPT用户（“PLUS”）在一周左右前得到的预览。
是什么让它成为 "turbo "或快速的，仍然是未知数，但我打赌它是某种专家的混合设置，还有其他系统优化。
这也降低了服务成本，这也解释了为什么ChatGPT API现在是davinci API价格的1/10。但我也觉得这部分可能是一个战略决定，在获得观察使用模式和改进模型的机会的同时，削弱竞争。
据观察，现在默认的ChatGPT行为（通过API）是默认的选择退出。这很有用。
返回 API：与 Davinici 模型不同，提示格式有点复杂，因为 ChatGPT 是一个对话微调模型，需要对话输入。提示是一组“轮次”，每个轮次都用“角色”参数标识谁是发言人。
“角色”可以是 "用户"、"系统 "或 "助理"。对于一个典型的对话会话，在一个状态机中考虑这些角色如下。系统角色是一个特殊的角色，因为它为机器人设定了一个 "角色"。
把系统角色看成是把通用的chatgpt对话模型变成特定任务的对话模型的一种方式。如果你熟悉指令微调（使用这个模型不需要知道或理解），这就像 "指令"。
唯一的区别是这是整个对话会话的一个共同指令。因此，你可以节省一些令牌，而不必为每个输入都加上前缀，这很好。
"用户 "和 "助手 "角色是你期望从LLMs获得的典型输入和输出。这里的X并不是纯粹的X，因为它也可以包括提示。
这意味着对于API来说，多种设计模式是可能的，我的建议是让会话保持极度的事务性，并让指令保持在 "系统 "的角色。语法错误纠正的例子应该是这样的。
ChatCompletion API提供了对temperature设置的访问，这是我们在chatgpt用户体验中没有的东西。这很好!
ChatCompletion API的参数与我们在davinci中使用的文本补全的参数基本相同，但有几个明显的例外。流参数可以让你做流媒体。如果你想把文本转为语音，而又不能承受延迟，这就很有用。
有一个 "用户 "标识符选项，我认为这对应用程序构建者非常有帮助。因此，如果你的某个用户行为不端，OpenAI有希望只阻止该用户的请求，而不是你整个组织的请求。不确定他们是否真的实现了这一点。
Logit 偏差也是通过事后惩罚或鼓励某些标记来影响抽样的有用方法。虽然这对 OpenAI 来说是新的，但这并不是一个新想法。
一个问题是你可能想惩罚“up yours”，但不一定是“up”和“yours”的个别标记。目前尚不清楚 OpenAI API 如何处理多词表达式。
模型标识符可以是“gpt-3.5-turbo”和“gpt-3.5-turbo-0301”。我真的希望OpenAI坚持为模型添加日期标识符，因此它可以减少重现性和调试的痛苦。
AFAICT 无法获得 chatgpt 完成的令牌概率。
用ChatGPT模型学习的几个镜头就像增加更多的对话回合一样容易。
一个奇怪的事情是ChatGPT API对积极的肯定反应良好。所以API框架可以定期注入这些内容，以使模型提供更好的答案。
最后，需要再次重复这一点。ChatGPT的API定价是最实惠的OpenAI定价。0.002美元/1K代币与0.0200美元/1K代币的最佳指导模式相比。不费吹灰之力，一堆新的应用程序将由聊天驱动。
详细点击标题