陶哲轩的评分:
- GPT-4o:完全不称职的研究生
- o1-预览:平庸但并非完全不称职的研究生
陶哲轩:
OpenAI的o1新模型的结果比之前的GPT-4o模型要好,但仍然有些令人失望:新模型如果得到大量的提示和引导,能够找到正确(并且书写得很好)的解决方案,但它并没有自己产生关键的概念性想法,并且也犯了一些非平凡的错误。
- 这种体验大致相当于试图指导一个平庸但并非完全无能的研究生。
- 然而,这比之前的模型有所改进,之前的模型的能力更接近一个实际上无能的研究生。
可能只需要再进一步或两步的能力提升(以及与其他工具如计算机代数包和证明助手的集成),就能达到“有能力的研究生”的水平,到那时,我可以看到这个工具在研究级任务中具有显著的用途。
[GPT-o1]当然是一个比以前的迭代版本更有能力的工具,尽管它在处理最先进的研究数学任务时仍然很吃力。
网友评价陶:
他是一个神奇的存在,他知道这个世界上大多数人都想利用他的大脑来达到他们自己的目的(他从小就面临这样境地,无论有意被利用还是无意被利用),但是现在他不想和这些人合作了,他学会了独处,而且会忽略人们关心的东西,也许他误解了o1的机制。
大量的人类智慧被锁在我们所创造的语言中,其中大部分可以用蛮力计算与简单的模式匹配来理解。