为什么GPT-3令人难以置信?有趣而且很重要? -Vox


计算机越来越接近通过图灵测试。上个月,由埃隆·马斯克(Elon Musk)创立的人工智能研究实验室 OpenAI 宣布了其正在研发的能够模仿人类语言的AI系统的最新版本,该模型称为GPT-3。
在随后的几周中,人们有机会使用该程序。如果您关注有关AI的新闻,您可能已经看到一些 头条新闻,称它向前迈出了巨大的一步,甚至是可怕的一步。
在某些方面,GPT-3是一个非常简单的程序。它采用了机器学习中众所周知的,甚至不是最先进的方法。大多数互联网作为数据训练:包括新闻报道,维基文章,甚至论坛帖子等,并给予大量的时间和资源去训练它,GPT-3的崛起成为一个神秘地巧语发电机。就其本身而言,这很酷,并且对AI的未来具有重大影响。
 
GPT-3的工作原理
要了解GPT-3的飞跃含义,回顾一下机器学习中的两个基本概念将是有帮助的:有监督的学习和无监督的学习。
直到几年前,语言AI还是主要通过一种称为“监督学习”的方法进行教学。那就是您拥有大型,经过仔细标记的数据集的地方,其中包含输入和所需的输出。您将教AI如何在给定输入的情况下产生输出。这样可以产生良好的效果:句子,段落和故事在模仿人类语言方面做得很好。但它需要构建庞大的数据集并仔细标记每一位数据。
监督学习不是人类如何获得技能和知识。我们对世界的推论就没有监督学习中精心标记的例子。换句话说,我们做了很多无监督的学习。
许多人认为,一般AI功能的进步将是需要无监督学习的发展,在这种情况下,AI会接触到许多未标记的数据,并且必须弄清楚其他所有东西。由于非结构化数据比结构化数据多(无需标记所有数据),因此无监督学习更易于扩展,并且无监督学习在各个任务上的推广效果更好。
GPT-3 (像其前身一样)是无监督的学习者;它从未标记的数据中收集了有关语言的所有信息。具体来说,研究人员在大部分Internet上使用了它,从流行的Reddit帖子到Wikipedia,再到新闻报道,再到幻想小说。GPT-3使用大量的信息来完成一个非常简单的任务:在一定的初始提示下,猜测接下来最有可能出现的单词。
 
GPT-3可以做的事情
到目前为止,GPT-3已用于各种项目,从在历史人物之间进行虚构对话使用表情符号概括电影编写代码
GPT-3甚至可以正确回答医学问题并解释其答案。
当然,有些事情不应该使用GPT-3:两个人进行随意的交谈并试图获得真实的答案。一个又一个的测试人员指出GPT-3 构成了很多废话。这不是因为它不“知道”问题的答案,而是因为错误的答案在计算机看来似乎是合理的。
AI Dungeon是一款基于文本的冒险游戏,部分由GPT-3驱动
 
为什么GPT-3很重要
GPT-3作为讽刺作家,诗人,作曲家和客户服务代理人的不可思议的能力实际上并不是故事的最大部分。GPT-3本身就是令人印象深刻的概念证明。但是它证明的概念具有更大的影响。
长期以来,我们一直认为,要创建具有一般智能的计算机(在编程,研究到进行智能对话等各种各样的任务中要超越人类的计算机)将很难制造,并且需要对人类有详细的了解思想,意识和推理。在过去的十年左右的时间里,少数AI研究人员一直在证明我们错了,一旦我们赋予计算机更多的计算能力,人文智能就会自然而然地出现。
GPT-3是后者的重点。按照现代机器学习研究的标准,GPT-3的技术设置并不令人印象深刻。它使用的是2018年以来的架构,这意味着在这样一个快速发展的领域,它已经过时了。
 GPT-3令人恐惧,因为与可能的情况相比,这是一个很小的模型,并且以最愚蠢的方式进行了训练。
GPT-3是一个在AI研究人员中引起激烈争论的主题的证据:仅使用现有的深度学习技术,我们能否获得变革性的AI系统,在许多关键领域都超过人类的能力?当我们将越来越多的计算能力注入到简单的机器学习模型中时,人类级别的智能是否需要一种全新的方法?
这些 问题至少要再几年才能解决。即使GPT-3可以在短时间内突然模仿一个人,它也不是人类的智能。
 
人工智能变得更聪明不一定是好消息
在过去的几年中,狭窄的AI取得了非凡的进步。人工智能系统在翻译象棋和围棋之类的游戏,重要的生物学研究问题(如预测蛋白质的折叠方式产生图像)方面都得到了极大的改善。人工智能系统决定了您将在Google搜索Facebook News Feed中看到的内容。他们创作音乐撰写文章,一目了然,就像人写的一样。他们玩战略 游戏。他们正在开发以改善无人机瞄准探测导弹的能力
曾经,我们通过精心教授计算机系统特定概念在AI方面取得了进步。为了实现计算机视觉(允许计算机 识别图片和视频中的事物),研究人员编写了用于检测边缘的算法。为了下棋,他们编写了有关棋的试探法。为了进行自然语言处理(语音识别,转录,翻译等),他们借鉴了语言学领域。
但是最近,我们在创建具有通用学习功能的计算机系统方面做得更好。与其用数学方式描述问题的详细特征,不如让计算机系统自己学习。虽然我们曾经将计算机视觉视为与自然语言处理或平台游戏完全不同的问题,但现在我们可以使用相同的方法解决所有这三个问题。
回答问题,汇总新闻文章或回答科学问题方面,GPT-3并不是世界上最好的AI系统。在翻译和算术方面,它显然是中等水平的。但是它比以前的系统通用得多。仅举几个例子,它就能完成所有这些工作,甚至更多。未来的AI系统可能会更加通用。