谷歌八子创AI革命核心,却与诺贝尔奖无缘!

banq


8名Google员工发明了现代AI核心Transformer,这里是内幕:一群谷歌的怪咖,靠着脑洞和咖啡,搞出了个能“变形”的超级AI,改变了世界!

2016年的某一天,谷歌的咖啡馆里热闹得像个集市。Jakob Uszkoreit正跟一个叫Illia Polosukhin的哥们儿一边啃三明治一边聊天。

Polosukhin是个乌克兰小伙,在谷歌混了快三年,专门负责搞个能秒回搜索问题的牛掰系统。可他有点抓狂地说:“哥们儿,谷歌搜索得快到飞起,回答问题只能用几毫秒!我们现在这系统,慢得跟乌龟爬似的,根本不给力啊!”Uszkoreit一听,眼睛一亮,拍桌子说:“别急,我有个绝妙的主意!咱们试试‘自我注意力’咋样?”Polosukhin一愣,心想:“这啥玩意儿?听起来有点玄乎,但好像挺带劲儿!”

Polosukhin平时跟另一个哥们儿Ashish Vaswani关系不错。Vaswani是个印度裔小伙,小时候在中东长大,后来在美国南加州大学拿了个博士学位,专攻机器翻译,脑子聪明得跟个外星人似的。他加入了谷歌一个叫“Google Brain”的超级酷团队,这个团队觉得自己搞的神经网络能让电脑变得跟人一样聪明!

Vaswani一直想找个大项目干票大的,正好听说Uszkoreit在隔壁大楼(1965号楼)捣鼓“自我注意力”,他一拍大腿:“这不就是我要的超级大招吗?”于是他二话不说就加入了。

这三个家伙凑一块儿,脑洞大开,写了一份计划书,名字贼拉风——《Transformer:各种任务的迭代自我注意力和处理》!

为啥叫“Transformer”?Uszkoreit说,这名字是“零日”灵感迸发的结果,因为这技术能把乱七八糟的信息“Transformer变形”成电脑能懂的东西,简直就像魔法!

再说了,他小时候超爱玩变形金刚玩具,想起那俩小机器人玩具,感觉这名字倍儿有情怀!

计划书最后还画了张搞笑的卡通图:六个变形金刚在山里互相biubiubiu地发射激光,超有范儿!开头第一句话更是拽得不行:“我们就是最牛的!”

到了2017年初,Polosukhin觉得自己翅膀硬了,跑去创业开公司去了。但这时候,团队又来了新成员!一个叫Niki Parmar的印度妹子,之前在美国软件公司干活,2015年在南加州大学拿了硕士学位,被一堆大公司抢着要,最后选了谷歌。她一加入,就跟Uszkoreit一起搞搜索系统的升级,干劲儿十足!

还有个新来的叫Llion Jones,威尔士人,从小就觉得电脑特“怪”特酷。他在大学学了点人工智能,觉得神经网络特有意思,虽然那会儿大家觉得这玩意儿就是个老古董。

2009年他硕士毕业,正赶上经济危机,找不到工作,穷得靠救济金过日子。后来好不容易进了谷歌,经理就是Polosukhin。

某天,他听同事Matt Kelcey聊起“自我注意力”,Jones觉得挺新鲜,加入了团队。不过Kelcey当时还不信这玩意儿能成,甩下一句:“我看这东西八成不行!”结果这成了他这辈子最大的乌龙预测,哈哈!

这帮人搞的“Transformer变形金刚”项目越来越火,吸引了更多谷歌Brain的牛人加入。

第三波来了个波兰哥们儿Lukasz Kaiser,理论计算机科学家,脑子好使得像台超级计算机。
还有个实习生Aidan Gomez,加拿大小村子出身,每年春天帮家里采枫树做糖浆,超接地气!他在多伦多大学读大三时迷上了AI,跑去跟大牛Geoffrey Hinton混,主动联系谷歌的牛人,硬是凭本科生的身份混进了博士生专属的实习!
Kaiser觉得Gomez脑子活,果断拉他入伙。两人一合计,觉得“自我注意力”这招够狠,决定把项目合一块儿干!

这帮人开始造一个超级厉害的模型,能把英文翻译成德文。他们用了个叫BLEU的测试,比谁翻得更像人类。

从一开始,这模型就表现得不错,Uszkoreit得意地说:“我们从啥也不会,搞出了个能跟最牛的LSTM掰腕子的玩意儿!”不过,离“吊打”还差一口气,项目卡住了。

直到2017年某天,Noam Shazeer这尊大神出现了!

Shazeer是谷歌的传奇人物,2000年就加入公司,搞过广告系统,最近迷上了大语言模型。他嫌老的神经网络慢得要命,某天路过Kaiser的工位,听到Vaswani和Parmar聊得热火朝天,眼睛一亮:“这自我注意力听着靠谱!这帮人脑子够用,干的事儿有搞头!”他二话不说加入,决定亲自上手写代码。

Uszkoreit说,Shazeer简直是个“魔法师”,把他们的代码改得跟开了挂似的!

他自己折腾了一阵,跑回来说:“成了,哥们儿,这玩意儿牛大发了!”团队都惊呆了,管他的代码叫“魔法”和“炼金术”,直接把项目推上了新高度!

Gomez说:“这下我们跟打了鸡血似的!”他们得赶在5月19号把论文交上去,那是AI界最大会议的截止日!

整个硅谷的冬天都过去了,春天来了,这帮人跟疯了一样做实验。

他们搞了俩模型:

  1. 一个训练12小时的普通款,
  2. 一个三天半的“Big”版,专门翻英文到德文。

结果呢?
普通款已经秒杀所有对手,Big版直接打破BLEU分数记录,还快得飞起!

Parmar乐得直喊:“我们用最少时间干翻所有人!”Uszkoreit一激动,跑去他那辆登山探险卡车里,掏出一瓶老香槟就开喝庆祝!

最后两周,简直是地狱模式!大家基本住在1965号楼,因为那儿的咖啡机比1945号楼好使。

Gomez说:“没人睡觉,天天调试代码!”他们像拆玩具似的,把模型拆了又装,试各种花招,看哪个管用。

Gomez回忆:“为啥这模型老出错?哦,忘了加个‘面具’!修好了,继续试下一个!”Shazeer的魔法让模型越来越简洁,Jones直呼:“Noam就是个巫师!”

Vaswani有天晚上累得瘫在办公室沙发上,盯着窗帘上的花纹,感觉像大脑的神经元。

他跟Gomez说:“兄弟,咱们这玩意儿不只是翻译,将来能把语音、图片、视频全搞定,简直跟人脑一样牛!”他感觉他们在搞个宇宙级的大项目!

不过,谷歌大老板们觉得这也就是个“挺有趣”的小项目,没咋当回事儿。

Uszkoreit说:“我们知道这东西能火,但得在论文里藏点彩蛋。”他们在结尾写:“我们超期待注意力模型的未来,能搞定文字、图片、音频、视频,全都行!”这简直是预言!

截止日前几天,Uszkoreit突然发现论文还没名字!Jones灵机一动:“我们不是把LSTM这老古董踹了吗?就靠注意力这招!披头士有首歌叫《你所需要的只是爱》,咱们就叫《注意力就是你所需要的》咋样?”大家一听,哈哈大笑:“英国佬,你这名字也太骚了!”但最后真用了!

最后五分钟,Parmar在1965号楼的厨房里把英法翻译的数据塞进论文,赶在截止前两分钟发出去,惊险得像拍动作片!

谷歌还赶紧给这技术申请了专利,不是为了藏私,是怕别人先抢。

论文交上去后,反馈还行:俩评委说“挺好”,一个说“非常棒”。最后被安排在晚上展示海报。

12月6号那天,会议现场挤爆了!科学家们围着他们问东问西,聊到嗓子都哑了。

晚上10点,保安都来赶人了!最爽的是,LSTM的发明者Sepp Hochreiter跑来点赞,Uszkoreit乐得心花怒放,毕竟他们刚把人家的技术给“干掉”!

不过,Transformer没立刻火遍全球。Shazeer甚至跟谷歌高管提议,把整个搜索系统换成Transformer,Kaiser听了都觉得太疯了!

结果,OpenAI这家小公司先嗅到机会。

他们的研究员Ilya Sutskever(认识Transformer团队)让手下Alec Radford研究这技术,搞出了第一个GPT!OpenAI的CEO 山姆奥特曼后来感慨:“谷歌压根没意识到这论文有多牛!”

Uszkoreit说:“我们知道Transformer能干大事,可能2019年就能搞出ChatGPT那样的东西!但谷歌为啥没抢先?说来复杂……”Gomez跟媒体吐槽,谷歌这大公司太官僚,没跟上潮流。不过谷歌2018年还是开始用Transformer,先搞翻译,又弄了个叫BERT的模型,慢慢用在搜索上。

但跟OpenAI和微软比,谷歌动作慢了。

谷歌CEO皮查伊说:“我们先让别人试试水,成功了我们再上!”结果,八个作者全跑了

  • Polosukhin搞了个区块链公司Near,市值40亿刀;
  • Parmar和Vaswani开了Essential AI,融资800万;
  • Jones在东京搞Sakana AI,估值2亿;
  • hazeer的Character AI值50亿;
  • \Gomez的Cohere值22亿;
  • Uszkoreit的Inceptive值3亿。
  • Kaiser没创业,跑去OpenAI搞了个神秘的Q*项目,保密得连提都不能提!

谷歌后悔没?肯定啊!但皮查伊说,AI圈子流动正常。

Parmar也给谷歌说好话:“谷歌给了我们自由发挥的环境,没这环境,哪来的Transformer?”

这八个人背景五花八门,六个不是美国人,还有个是逃难家庭的孩子。他们在谷歌的偶遇、午饭聊天、走廊八卦,硬是搞出了个改变世界的“变形金刚”!

Uszkoreit在柏林办公室说:“创新就是一群对技术狂热的人,凑一块儿玩得开心,解决大问题,奇迹就来了!”

更神奇的是,他爸Hans Uszkoreit,当年还跟他争论Transformer靠不靠谱,现在也用Transformer开了家AI公司!这父子俩,简直是AI界的传奇!

网友热评:
1、为什么发明Transformer的谷歌员工没有得到更广泛的认可?他们不应该获得诺贝尔奖吗?
他们把诺贝尔物理学奖颁给了神经网络的欣顿,把化学奖颁给了Alphafold团队。

2、几乎所有人都离开了,开始了新的冒险。他们在AI领域都非常活跃。
为了获得诺贝尔奖,你必须以某种方式对科学做出贡献。看看Demis Hassabis -使用AI将蛋白质生物学进步了世纪。

3、“注意力就是你所需要的一切”背后的团队基本上为我们今天在AI中看到的一切奠定了基础。
变形金刚是GPT,Claude,Gemini等模型的支柱,现在甚至是图像和音频模型。
考虑到他们的影响有多么巨大,原作者们的低调有点疯狂。

一个很大的原因可能是没有计算机科学的诺贝尔奖。最接近的是图灵奖,但即使是图灵奖也往往是几年后才颁发的,并不总是能吸引公众的注意力。

此外,一些原作者离开了谷歌,或者进入了不太显眼的角色,所以他们在当前的人工智能炒作周期中并不是前沿和中心。

但就影响力而言,他们100%应该得到更大规模的认可。他们的工作从字面上改变了AI的方向。

4、谷歌这大公司啊,以前牛得跟个巨无霸似的,觉得自己稳坐江山,谁都撼不动!结果呢?人工智能(AI)这把大火烧过来了,差点把他们的老底儿给掀翻!他们的搜索引擎生意,原本是印钞机,现在却被AI搞得摇摇欲坠,像是被一辆高速列车撞了个措手不及!谷歌一开始还傻乎乎地坐在屁股上,啥也没干,眼看着AI把他们的商业模式搅得天翻地覆,差点就“全村搬迁”了!

为啥谷歌后来才急得跳脚?全因为OpenAI的山姆·奥特曼(Sam Altman)这哥们儿,像是拎了个大火箭筒,冲着谷歌的屁股“biu”地放了一把大火!这把火烧得谷歌终于醒过神来,发现自家的搜索引擎已经半只脚踏进“退休养老院”了!他们愣是拖了好久才看清这局面,赶紧开始搞AI,拼了老命想追上趟儿。说真的,谷歌得给山姆·奥特曼写封感谢信,上面得写:“兄弟,谢了!要不是你给我们屁股底下点把火,我们还蒙在鼓里呢!”