Meta开源其类似GPT-3的语言模型 - Reddit

22-05-05 banq

Facebook 刚刚发布了与 GPT-3 相当的语言模型 Open Pretrained Transformer (OPT-175B)。
优点是:模型大小比GPT-3小,只有125M参数的模型,可供任何人使用。

Meta还提供了一个负责任的人工智能准则,并在训练模型时尊重该准则。
有这么一套深入细致的指南来指定实现这些模型,是相当了不起的。
这才是真正的开源,而不是OpenAI在推出时的做法,OpenAI实际上是一个封闭的盒子,没有办法检查他们提供给我们的信息。

我的意思是,我认为这仍然是一个有争议的空间,随着我们推出越来越多的这些更大、更强大的语言模型,限制它们的毒性和偏见将是一个相当重要的挑战,但我认为这绝不是不可能。
在这个意义上,OPT文档做得很好,MetaAI公布了OPT-175的日志。他们在这个模型构建的许多步骤中都是高度透明的。

。今天,我和我的NLP数据科学家朋友开玩笑说:"我们甚至不知道。开放式人工智能可能会给我们一些手动创建的结果!?没有办法仔细检查。他们只是希望我们相信他们。"当然我是在开玩笑,但我们。

是蛋糕上的冰。

我还没有变化来测试OPT。我在等待周末的到来。
 

猜你喜欢