OpenAI不再黑箱,权重全公开!

奥特曼说OpenAI今年夏天要发布一个叫"Open Weight"的AI模型 - 这是本周的大新闻。谁能用简单的话说说这是啥?Deep Seek已经有类似的东西了吗?

想象每个单词都对应一个数字,这些数字之间互相关联,就像朋友关系链,万物在上下文发生关系

把"地球"这个词当作一个标签,它可以和"平的"或"圆的"这些词产生联系。通过调整数字的重要性(加权),AI就能决定哪个更关键

  • 如果你加重"平的"的权重,AI就会给出"地球是平的"这类回答;
  • 如果加重"圆的"的权重,就会选择"地球是球体"这个方向。
训练过程就是设置这些权重的过程。

比如我们问互联网出现之前的事,AI会给这些信息较低的权重;问互联网时代的事就会给较高权重。所以如果只问"战争",可能得到更多现代战争的信息,而不是世界大战或中世纪战争的内容,因为AI会根据权重决定"战争"主要指什么。

这次发布意味着,所有用来生成回答的数字计算过程(对AI很重要)都会公开给大家。

就是说你可以把模型下载到自己电脑上,随意修改调整。但目前OpenAI的其他模型都做不到这点。

Deepseek的模型也是这样: 理论上只要你有技术和钱,就能下载运行这些模型。ChatGPT即将发布的模型也能下载运行(不过普通电脑可能跑不动)。Deepseek是跟着模型一起发布的。

闭源模型会隐藏这些,因为算是公司机密。Llama3.1可能是第一个公开权重的大模型,Deepseek是第一个公开完整推理过程的。他们的精简版模型可能比官网说明更详细,可以上GitHub查看。

开源模型包含训练数据,而开放权重只公开训练结果。但你可以下载到自己电脑上运行,不像其他只能在线使用的模型。