使用ChatGPT人工智能回答国外知乎Stack Overflow上问题?


最近,OpenAI开放了发布了他们的ChatGPT人工智能的免费研究预览,这也是最近的热门话题。我创建了一个账户,然后开始问一些简单的问题,看了一些其他人使用它的视频,并利用它来帮助我为我心中的一个有趣的副业编写一些简单的模板代码。然后我想,如果我开始从Stack Overflow上给它提问,会发生什么?我想到的一些问题是:

  • 答案会有多准确?
  • 我提供的答案多久会被选为公认的答案?
  • 我提供的答案有多少次会完全不起作用?
  • 我是否能够回答我以前从未使用过的语言/技术问题?

在这篇文章中,我将回答这些问题,并提供我做这件事的经验、优点和缺点、我一路走来注意到的事情,以及我打算继续做的事情。

我的经验
总的来说,我想说我做这件事的经验是相当积极的。我的目的是帮助人们,回答他们的问题,或者说让ChatGPT回答他们的问题。但这也是一把双刃剑,因为我经常发现自己在回答问题时,如果是自己做的话,几乎不知道从哪里开始,也不知道如何开始排除问题。起初,我尝试尽可能多地回答问题,简单地复制+粘贴答案并提交。这里的想法是想看看盲目复制答案的成功率/失败率。不出所料,成功率相当低。然而,一旦我开始仔细检查ChatGPT提供给我的答案,我的答案被接受的比率就会增加。虽然只是一点点,但还是很明显的。

这发生在过去3天(12月1日至12月3日)。让我们看看这些数据:

  • 我的答案是其中10人(21.7%)的选择答案。
  • 其中7人选择了另一个答案(15.2%)。
  • 我的答案在其中4个问题中是错误的(8.6%)。
  • 对于剩下的25个问题,还没有选定答案(54.3%)。

我获得了392个点赞,增加了247%。我从159个开始,在写这篇文章时,我目前是551个点赞。另外,在写这篇文章时,我本月获得的代表数排名第69位,不错。

优点和缺点
接下来,我想介绍一下我在这几天里经历的一些利弊。

在做了这些之后,我想到了一个缺点,我认为人们会争论的一点,我也同意,那就是在不理解代码的情况下,只是复制和粘贴ChatGPT给我的问题的答案,这对我没有好处。现在,公平地说,ChatGPT在解释代码是什么方面做得非常好(至少在我看来)。它通常会提供至少一两段的解释。

不过,这样做的好处是,它为我打开了许多不同的网络开发/编程领域,我没有想到要去探索。例如,有一个问题是用React的网络摄像头工作。我发现这很有趣,所以我去做了一个简单的演示,用React+TypeScript打开和关闭我的网络摄像头。我还回答了一个问题,有人在他们的Discord机器人上有一个问题。现在我想去建立一个简单的Discord机器人。有几个关于MongoDB的问题,所以现在我有动力回去学习更多关于MERN堆栈的知识,并尝试在那里拼凑一些简单的项目。

因此,虽然我有时可能没有完全理解我提供的答案,但它确实激励我自己出去尝试一些我可能不会去做的事情,并且/或者重新激发我对以前探索的领域的兴趣。

我发现的另一个缺点是,我个人认为很难回答对方提供的问题,例如,一两个React组件的代码,以及解释他们遇到的问题。我发现这很难,因为对我来说,很难只看孤立的代码,而不是在整个项目的大背景下看。这个组件是在哪里使用的?数据/道具的类型是什么,等等。我现在已经习惯于使用TypeScript,所以审查用JS写的React代码有点困难。这真的让我很感激那些不仅在过去回答我的问题,而且还继续定期回答这类问题的人。这绝对是我想要改进的一项技能。

stackoverflow发布暂时禁止在 Stack Overflow 上的帖子中使用 ChatGPT 生成的文本:
总的来说,由于从ChatGPT获得正确答案的平均比率太低,发布由ChatGPT创建的答案对网站和正在询问或寻找正确答案的用户来说是大大有害的。

主要问题是,虽然ChatGPT制作的答案有很高的错误率,但它们通常看起来可能是好的,而且答案非常容易制作。也有很多人尝试用ChatGPT来制作答案,但他们没有专业知识,也不愿意在发布前验证答案是否正确。因为这样的答案很容易产生,所以大量的人在发布大量的答案。这些答案的数量(数以千计),以及这些答案往往需要由至少具有一些主题知识的人进行详细阅读,以确定答案实际上是坏的,这实际上已经淹没了我们基于志愿者的质量策划基础设施。

因此,我们需要减少这些帖子的数量,并且我们需要能够快速处理那些被发布的帖子,这意味着处理用户,而不是单个帖子。因此,目前不允许在Stack Overflow上使用ChatGPT来创建帖子。如果在这个临时政策发布后,有用户被认为使用了ChatGPT,我们将对其进行制裁,以防止用户继续发布此类内容,即使这些帖子在其他方面是可以接受的。