您还记得 IBM Watson 在2011年的 Jeopardy! 中获胜吗？
vanilla’ ChatGPT在 Jeopardy! 上的表现如何？
它似乎比 Watson 做得更好——至少在 216930 的 2000 个问题的随机样本上！
ChatGPT 总体准确率为 88%，校准良好，平均精度更高。
Jeopardy的目标是在70%的回答中拥有>85%的准确率。ChatGPT实现了这一目标。
此代码库并未评估原始 Watson 的策略组件。它只是问答组件。请参阅评估代码和分析代码，其中使用了出色的langchain、HuggingFace 的数据集和scikit-learn包。
详细点击标题