Stephen Wolfram(Wolfram Alpha的创始人)在用简单的术语解释ChatGPT如何工作以及为什么在自动完成方面做得最好。(点击标题)
真正令人印象深刻的部分是ChatGPT对意图的理解(例如,以黑帮说唱的形式写一篇关于冷战的分析),而不是它擅长文本生成,这只是我们多年来一直使用的自动完成。
ChatGPT对意图的理解是我几十年来看到的第一个对谷歌搜索霸权的真实的威胁。
必应正在浪费他们的机会,因为他们倾向于交互式聊天机器人组件。
ChatGPT不会“猜下一个词”,相反,他们通过“注意力”并行处理所有单词,这更接近人类处理信息的方式。
如果我给你一个句子缺了几个字,你能填空吗?我们试试看:
“我们下周末要去海边,希望___”
如果没有其他下文,我敢打赌你能很快想出一个似是而非的单词或短语来填补空白。事情事实上,我敢打赌你能想出几个!
当你这样做的时候,你大脑中的一堆神经元对你在屏幕上看到的东西做出了反应。它们通过突触向其他神经元发送信息,激活它们。通过一长串的神经元激活其他神经元,你的大脑在你所读的内容中识别出了模式:你认出的形状是字母和单词,你认出的单词是它们的含义和与概念的联系--以及它们与你听到和说过的短语的相似性。甚至围绕这些记忆的背景上下文也可能在你的脑海中短暂地亮起。
在一瞬间,你将这些词与各种想法联系起来--也许甚至是记忆中或想象中的图像。
从这一切中,你推断出这句话的其余部分可能是什么。你甚至可能考虑过哪些答案更可能/更常见,哪些更不可能。
这或多或少就是GPT-3和ChatGPT背后的变体等 "人工智能 "语言模型的工作方式。
ChatGPT对开发人员来说是一个改变游戏规则的工具,但秘诀在于如何提问:如果您试图在一个有200行代码的函数中找到一个bug,ChatGPT会很吃力。 但是如果你把函数分解,给予ChatGPT上下文,用问题来指导它,它会做得很好。