该团队最初使用的是 Grok-0,这是一个拥有 330 亿个参数的原型模型。
根据 xAI 网站的介绍,Grok-0 的性能可与 Meta 的 Llama 2 相媲美,但体积只有后者的一半。XAI 随后对原型模型的推理和编码能力进行了磨练,创造出了 Grok-1。
在性能方面,Grok-1在HumanEval编码任务中取得了63.2%的成绩,在流行的MMLU基准测试中取得了73%的成绩。
网友:
1、该项目显然没有给人留下深刻印象,很可能被取消。他们知道这永远不会给他们带来任何钱,所以他们通过“赠送”给开源人员不会有任何损失。马斯克想让他的“敌人”看起来很糟糕。
2、让我们忽略围绕马斯克的所有争议,而是关注这里每个人都应该同意的一个事实:开源模型是一件好事。
3、据 Alex Heath(The Verge 副编辑)称,Grok 只是经过微调的 Llama
4、有趣的是,由于 Grok 主要用于实时数据,这意味着在那里完成了某种 RAG,这意味着该模型可能最适合 RAG 用例。