从赌桌到聊天框：一个德州扑克高手怎么跑去教AI撒谎
这事得从一个人说起，Noam Brown，这哥们儿是个狠人。他职业生涯的前半截，基本都泡在赌场里，但人家不是去赌博，是去造AI跟人类对着干。
他在2017年搞出来的Libratus，就在一对一无限注德州扑克里头把人类顶尖选手给干翻了。德州扑克跟围棋不一样，围棋你落子之前棋盘上啥都明摆着，但扑克你连对手手里是啥牌都不知道，这玩意儿叫“不完全信息博弈”。你数学再好，算不出对手底牌是红桃A还是对2，这游戏拼的是心理、诈唬和猜别人心思。能在这上面打赢人类，说明AI不是光会算数，它得学会揣摩对手的隐藏意图。
到了2019年，他又搞出个Pluribus，这次更狠，是多人扑克。多人扑克比一对一复杂多了，因为你要同时面对好几个对手，每个人的心思都不一样，你诈唬这个，可能就被那个给算计了。Pluribus能在这种乱局里头杀出来，证明AI已经能在多个智能体互相坑来坑去的环境里找到最优策略。这已经不是在玩游戏了，这是在模拟人类社会里最复杂的博弈场景。
但真正让OpenAI把他挖过去的原因，是2022年的CICERO。这玩意儿玩的是外交游戏Diplomacy，这游戏纯粹靠忽悠。你要跟七个玩家谈判，拉拢盟友，背地里捅刀子，嘴上说的话没几句是真的。CICERO厉害的地方在于，它先把整个游戏局势在脑子里跑一遍，算出最优战略，然后再回头用语言模型把战略翻译成人话，跟其他玩家聊。这套“先想再说”的架构，后来直接长成了OpenAI o1推理模型的骨架。
强化学习不是新东西，但OpenAI把它玩出了花
强化学习这个概念，老一辈AI研究者都懂，就是让智能体在环境里试错，做对了给块糖吃，做错了打一巴掌。但这套方法以前一直不温不火，因为太吃算力，而且很难在现实世界里用起来。OpenAI没嫌弃它老，反而把这块老宝贝擦亮了往桌上一拍。
他们早期拿Dota 2做实验，这游戏比围棋复杂多了，地图上十个英雄，技能道具兵线野怪，变量多得吓人。OpenAI的AI在里头跟人类职业选手对打，一开始被摁在地上摩擦，但靠着海量自我对弈，硬是练出了一身肌肉。这证明了强化学习不怕环境复杂，只要你给它足够多的时间在里头摸爬滚打，它就能找到人类想不到的骚操作。这一步很关键，它给后来所有的推理模型打了个样：复杂环境才是强化学习的主场。
然后他们把强化学习跟人类反馈绑一块儿了，搞出了RLHF。这招绝了，以前的语言模型只会猜下一个词是啥，像个没脑子的复读机。但RLHF让真人去给模型的回答打分，回答得好就奖励，回答得烂就扣分。模型在奖励信号的鞭策下，慢慢学会了什么话人类爱听，什么话叫有用，什么话叫安全。ChatGPT之所以一出来就让人觉得“这玩意儿能跟人聊天”，全靠这套奖励机制在后面拽着它往对的方向跑。
搜一下，再想一下：大模型开始学会“三思而后行”
Noam Brown加入OpenAI之后，带来了一套“搜搜再答”的独门秘籍。在他之前的研究里，有个数据特别吓人：在扑克AI里头，每次行动前多搜几遍、多想几步，带来的效果提升，相当于把模型参数规模硬生生扩了十万倍。十万倍是啥概念？就是你本来骑着自行车，装上搜索功能之后，直接换成火箭了。这个发现意味着，思考比死记硬背重要得多。
他把这套理念带到了o1模型里头。以前的大模型提问，直接吐答案，中间咋想的谁也不知道，像个黑盒子。但o1不一样，它在给出最终回答之前，会先自己跟自己对话，把思路链条写下来，遇到不对劲的地方自己拐回来重新想。这玩意儿叫“测试时计算”，就是不在训练的时候烧钱，在你问问题的时候临时多分配点算力给它思考。效果那是相当离谱，o1在国际数学奥林匹克竞赛的题目上直接干到了金牌水平，之前的模型看这些题跟看天书一样。
这种“先规划后说话”的套路，其实跟人脑的慢思考系统很像。丹尼尔·卡尼曼管这个叫系统二，就是那种需要刻意努力、慢慢推理的思维模式。系统一是直觉，张嘴就来，系统二是深思熟虑，三思后行。OpenAI硬生生把系统二用算法塞进了AI的脑袋里，这哪是修修补补，这简直是给AI做了个脑前额叶切除再移植手术。
模型再大也怕没脑仁，战略推理补上了最后一块智商拼图
以前大家比的是谁家模型参数多，你一千亿，我五千亿，跟军备竞赛似的。但参数堆到一定份上，边际收益就递减了，给再多的书让它背，它也还是不会推理。Noam Brown这帮人的思路是绕开参数竞赛，在推理层面找突破。你参数再多，不如在回答问题之前多花几秒钟琢磨琢磨，这招带来的智商提升肉眼可见。
这就好比考试，一个学霸把所有教材都背下来了，但他碰到没见过的压轴题还是抓瞎。另一个学生书没他背得熟，但掌握了一套解题心法，拿到新题先分析再试错，最后反而能把题做出来。OpenAI现在就是在培养后一种学生。o1模型的推理能力不是靠死记硬背，是靠搜索和规划在有限的步骤里头找出最优解。这种能力放到现实世界里，解决实际问题的时候尤其好使。
而且你细想，扑克和外交游戏里的那一套，本质上就是在信息不全、别人还可能骗你的环境里找活路。这不就是现实世界的常态吗？你找工作、谈项目、跟人合作，哪件事不是信息不对称，哪件事不需要猜别人的心思。OpenAI把在游戏里练出来的战略推理能力，搬到了大模型上，等于给AI装上了一副看透人心和局势的眼镜。这眼镜一戴，AI就不只是个聪明点的百科全书了，它变成了一个能谋划、能博弈的智能体。
自我对弈：让AI左右手互搏，打出天下无敌手
强化学习里头有个杀手锏叫自我对弈，就是让AI自己跟自己玩，一个当红方一个当蓝方，互相往死里打。AlphaGo当年就是靠这招把人类围棋冠军干翻的，它跟自己下了几千万盘棋，积累的经验人类几辈子都攒不出来。OpenAI把这招也学过来了，而且用得更狠。在Dota 2和扑克里头，AI自己跟自己打了无数场，什么稀奇古怪的局面都见过，所以正式比赛的时候人类出什么招它都不意外。
这个过程特别像武侠小说里的左右手互搏，周伯通在山洞里自己跟自己打架，打着打着武功就天下第一了。AI也是这样，自己跟自己打，越打越强，人类选手根本跟不上它的进化速度。而且自我对弈的好处是，它不需要人类给数据，自己就能源源不断地生产训练素材，这对OpenAI来说简直就是印钞机，数据想印多少印多少。
放到推理模型上，自我对弈的作用更微妙。o1在思考的时候，其实也是在跟自己博弈，一个声音说选A，另一个声音说选B，两股势力在内部掐架，最后掐出一个最优答案。这种内部博弈机制，让模型在复杂推理任务上表现出超乎寻常的鲁棒性，就是你怎么问它都不容易掉坑里。
为什么这一套打法别人学不来
大厂都砸钱搞强化学习，但效果差一大截，问题不在算法，在人。OpenAI这群人有个特点，他们不是坐在办公室里看论文搞纯理论，他们是真把AI丢进游戏里跟人类死磕。Noam Brown打牌出身，知道什么叫实时对抗，什么叫心理博弈，这种实战经验是课本上学不到的。他加入OpenAI之后，把那种赌桌上的杀气带进了实验室，搞出来的模型自然带着股狠劲儿。
另外OpenAI的组织结构像个蜂窝，研究跟工程搅在一块儿，搞出啥新点子当天就能上机器跑实验。别的公司可能论文发了一堆，代码还在PPT里躺着，OpenAI这边已经跑完一轮迭代开始下一轮了。这种执行效率，加上一帮脑子里只有技术没有杂念的书呆子，不赢才怪。
而且他们押注的方向极其精准。当年大家都在卷图像识别、卷自然语言理解的时候，OpenAI闷头搞强化学习和游戏AI，看着像是不务正业。但后来ChatGPT一出，大家才反应过来，这帮人早就在底层把推理和规划的事儿摸透了。等到o1出来，别人再想追，发现自己连门都没摸着，OpenAI已经在山顶上搭好帐篷喝着咖啡看风景了。
脑子这东西，迟早得自己长出来
说到底，OpenAI的封神之路，走的是条没人看好的野路子。从扑克的诈唬，到外交的忽悠，再到数学推理的严谨，他们把人类最复杂的那套思维游戏全塞给了AI。强化学习在这中间扮演的角色，就像个严苛的教练，每一步都拿鞭子抽着AI往前走，走对了给肉吃，走错了挨板子。
这套打法教会我们一个扎心的道理：聪明不是记住多少东西，是在信息不全、别人还可能骗你的情况下，照样能做出正确判断。AI已经学会了，你呢？
总结：我们以为AI变聪明靠的是多读书，OpenAI告诉我们，AI变聪明靠的是多挨打、多琢磨、多跟对手玩心眼子。
Noam Brown（诺姆·布朗）
他是谁？
- 美国计算机科学家，目前在 OpenAI 做研究科学家，主攻推理（Reasoning）、自我对弈（Self-Play）和多智能体 AI。
- 是 OpenAI o1 推理模型的核心贡献者之一。
- 2017年：联合打造了 Libratus，这是第一个在“一对一无限注德州扑克”中击败人类顶尖职业选手的 AI。
- 2019年：联合打造了 Pluribus，这是第一个在“多人无限注德州扑克”中击败精英人类的 AI（比两人对战难得多）。
- 2022年：参与开发了 CICERO，这是第一个在外交游戏 Diplomacy（需要谈判、欺骗、合作）中达到人类水平的 AI。
- 2023年至今：加入 OpenAI，把之前在扑克和外交游戏中积累的“策略推理”经验，用到了 o1 等推理模型上。
- 他拓展了 AI 的边界——以前 AI 主要在象棋、围棋这种“信息完全透明”的游戏中称霸，但他让 AI 能在信息不透明、需要 bluffing（诈唬）、谈判、长期规划的复杂场景中胜出。
- 他把博弈论、强化学习、搜索算法和语言模型结合起来，推动了 AI 从“会答题”走向“会推理、会策略性思考”。
这是个把 AI 从“下棋高手”变成“谈判高手和战略家”的人，现在在 OpenAI 负责让 ChatGPT 变得更会“动脑子”推理。