奥特曼说OpenAI今年夏天要发布一个叫"Open Weight"的AI模型 - 这是本周的大新闻。谁能用简单的话说说这是啥?Deep Seek已经有类似的东西了吗?
想象每个单词都对应一个数字,这些数字之间互相关联,就像朋友关系链,万物在上下文发生关系。
把"地球"这个词当作一个标签,它可以和"平的"或"圆的"这些词产生联系。通过调整数字的重要性(加权),AI就能决定哪个更关键。
- 如果你加重"平的"的权重,AI就会给出"地球是平的"这类回答;
- 如果加重"圆的"的权重,就会选择"地球是球体"这个方向。
比如我们问互联网出现之前的事,AI会给这些信息较低的权重;问互联网时代的事就会给较高权重。所以如果只问"战争",可能得到更多现代战争的信息,而不是世界大战或中世纪战争的内容,因为AI会根据权重决定"战争"主要指什么。
这次发布意味着,所有用来生成回答的数字计算过程(对AI很重要)都会公开给大家。
就是说你可以把模型下载到自己电脑上,随意修改调整。但目前OpenAI的其他模型都做不到这点。
Deepseek的模型也是这样: 理论上只要你有技术和钱,就能下载运行这些模型。ChatGPT即将发布的模型也能下载运行(不过普通电脑可能跑不动)。Deepseek是跟着模型一起发布的。
闭源模型会隐藏这些,因为算是公司机密。Llama3.1可能是第一个公开权重的大模型,Deepseek是第一个公开完整推理过程的。他们的精简版模型可能比官网说明更详细,可以上GitHub查看。
开源模型包含训练数据,而开放权重只公开训练结果。但你可以下载到自己电脑上运行,不像其他只能在线使用的模型。