AI浏览器自动化正在从"玩具"变成"生产力工具"。Hermes这套三浏览器并行方案覆盖了远程调试、隔离会话和真实用户环境三种场景,分别对应ChromeCDP、Chromium托管实例和原生Chrome三种技术路径。本文拆解这套浏览器自动化架构的设计逻辑、工具链分工和实战选择策略,帮你搞懂AI到底怎么操控网页,以及为什么你的下一个自动化脚本可能需要同时开三个浏览器。
Hermes祭出三浏览器并行方案
很多人以为AI操控浏览器就是打开一个网页、点个按钮、截个图完事。真这么干的人,十个有九个在半路上被Cookie过期、登录态丢失、iframe嵌套或者跨域限制给绊倒。还有第十个,他连浏览器都没启动成功。
Hermes的做法直接上了三套独立的浏览器环境,每套都有自己的"人设"和"KPI"。第一套是Dedicated ChromeCDP Instance,跑在9222端口上,专门干脏活累活。第二套是Hermes自己托管的Chromium或Chrome,负责日常网页搜索和内容抓取。第三套直接操控用户电脑上正在运行的原生Chrome,利用已有的登录会话和插件生态。三套系统互不干扰,各管一摊,像三个性格迥异的员工在同一个办公室里各司其职,而且谁也不看谁脸色。
这套设计的聪明之处在于"隔离"二字。你的个人Chrome里可能存着二十个网站的登录态、三个广告拦截插件、两个密码管理器、还有那个你忘了什么时候装的、现在每天弹窗八次的奇怪扩展。让AI直接动这个环境,等于让一个实习生去翻老板的抽屉,而且抽屉里还放着公司的公章。Hermes把高风险操作锁进独立的ChromeCDP沙箱,把日常任务交给隔离的托管浏览器,只在必要时才"借用"你的真实浏览器。这种分层思路本质上是在"效率"和"安全"之间画了一条清晰的界线,而且这条线是用防火墙画的。
ChromeCDP Instance的启动方式也很有意思。它通过macOS的LaunchAgents目录里的一个plist文件实现开机自启,远程调试端口9222常年待命。这意味着Hermes不需要每次都重新启动浏览器,而是像调用一个常驻后台的服务一样随时取用。对于需要反复执行的自动化工作流,这种"热启动"机制省掉的时间累积起来相当可观。想象一下,如果你每天要让AI执行五十次网页操作,每次冷启动浏览器花三秒,一年下来就是十五个小时。十五个小时够你看完三季美剧,或者学会做一道像样的红烧肉。
ChromeCDP扛起自动化脏活累活
ChromeCDP(Chrome DevTools Protocol,Chrome开发者工具协议)是这套架构里的"重体力劳动担当"。它直接通过远程调试协议跟浏览器内核对话,能拿到最原始的DOM结构、最完整的页面截图、最细粒度的元素定位。普通用户按F12打开开发者工具看到的那堆面板,ChromeCDP全都能 programmatically 操控,而且速度比人眼快得多。
这套工具链的核心成员包括browser_cdp、browser_console,以及偶尔出场的Browser Harness。browser_cdp负责发送底层协议命令,比如"给我这个元素的坐标""执行这段JavaScript""截取当前视口的PNG"。browser_console则专门处理控制台输出,把网页里的报错、日志、网络请求状态实时回传给Hermes。Browser Harness更像一个编排器,把多个CDP操作串成完整的工作流,相当于给散兵游勇配了个指挥官。
ChromeCDP的真正威力在于它能穿透普通自动化工具够不着的地方。普通工具看到iframe就头疼,ChromeCDP能直接钻进去操作嵌套页面的DOM。普通工具截个图只能看到视口内的内容,ChromeCDP可以控制滚动、拼接长图、甚至逐帧录制页面变化。对于需要反复执行的固定流程,比如每天定时抓取某个后台数据面板,ChromeCDP的稳定性和可复现性远超其他方案。它就像一个不知疲倦的质检员,每天凌晨三点准时到岗,从不请假,从不抱怨咖啡太苦。
这套方案也有代价。ChromeCDP的学习曲线堪比攀岩,协议文档厚得像电话黄页,而且更新频率比你的手机系统还勤快。一个看似简单的"点击按钮"操作,背后可能要经历"查找元素→计算坐标→发送鼠标事件→等待页面响应→验证结果"五个步骤。而且CDP协议版本跟Chrome版本强绑定,升级浏览器时稍有不慎就会踩到兼容性地雷。你刚写好的脚本,Chrome更新个小版本就可能直接报废。这种"版本焦虑症"是每一个CDP开发者都必须面对的日常。
托管浏览器包揽日常网页任务
如果说ChromeCDP是"特种部队",那Hermes-managed Chromium/Chrome就是"常规部队"。这套环境由browser_navigate、browser_snapshot、browser_click等工具驱动,专门处理搜索、页面提取和普通网站交互。它的座右铭大概是"我不需要最锋利的刀,我只需要最稳的手"。
它的设计哲学是"够用就好"。你不需要知道DOM树长什么样,也不需要写JavaScript注入代码。告诉它"打开这个网址""点击那个按钮""把页面内容抓回来",它就能按部就班地执行。这种抽象层屏蔽了底层复杂度,让AI可以把更多算力花在理解网页内容上,而不是跟浏览器协议斗智斗勇。对于AI来说,这相当于从"自己造轮子"降级为"直接开车",虽然少了点操控感,但胜在省心。
托管浏览器的另一个优势是"干净"。它运行在隔离环境中,没有你的个人Cookie、没有你的插件、没有你的浏览历史。这意味着AI在操作过程中不会意外泄露你的隐私,也不会因为你的某个插件弹窗而卡住。对于需要访问大量外部网站的任务,这种"无菌环境"反而比你的个人浏览器更可靠。你的个人浏览器里可能装着那个你三年前为了看某个直播装的插件,现在它已经变成了一个定时炸弹,随时可能弹出一个全屏广告把AI的操作流程打断。
不过"干净"也是一把双刃剑。如果任务需要登录某个网站,托管浏览器里没有你的登录态,AI就得自己想办法。要么你提前把账号密码交给它,要么它得走一遍完整的登录流程。对于支持OAuth或者短信验证码的网站,这一步就可能让整个自动化链条断裂。想象一下,AI正在执行一个紧急任务,突然弹出一个"请输入短信验证码"的窗口,而你的手机在另一个房间充电。这种场景下,托管浏览器的"干净"反而成了最大的绊脚石。
原生Chrome接管高权限场景
第三套方案直接操控用户电脑上正在运行的原生Chrome,通过computer_use功能在后台"遥控"鼠标和键盘。这套打法的目标很明确:利用你已有的登录会话、插件生态和浏览习惯。它不走寻常路,因为它根本不在乎路在哪里,它直接飞过去。
想象一下这个场景。你需要AI帮你从某个只有你能访问的内部后台系统里提取数据。这个系统用了企业SSO单点登录,还绑定了硬件Token,甚至还要扫脸。托管浏览器和ChromeCDP都束手无策,因为它们没有你的身份凭证,也没有你的脸。但你的原生Chrome里已经保存了登录态,AI只需要通过computer_use点击几下,就能以"你的身份"进入系统。这时候AI不是在"模拟"你,它就是在"成为"你。
capture-and-click是这套方案的核心交互模式。AI先截取当前屏幕,识别出可交互元素的编号,然后下达"点击3号元素""在5号输入框里填入某某内容"之类的指令。执行完再截一张图验证结果。这种"观察→行动→验证"的循环虽然慢,但胜在通用性强。它不依赖任何特定的浏览器协议,理论上可以操控任何桌面应用。从Chrome到Excel,从Slack到Photoshop,只要屏幕上能看到的,它都能点。
这套方案的短板同样明显。它占用你的屏幕,干扰你的正常操作,而且速度受限于人类的视觉反应时间。更重要的是,它把你的真实浏览器暴露在AI的直接控制之下,一旦AI的决策出现偏差,后果就是真金白银的损失。所以Hermes只在"非你不可"的场景里才会启用这套方案。这就像你只有一把万能钥匙,你会把它交给谁?答案很明显:只交给最值得信任、而且非用不可的那个人。
实战选择:三条路径各归其位
面对一个具体的浏览器自动化任务,Hermes的决策逻辑像一张倒金字塔。最底层是托管浏览器工具,覆盖80%的日常场景。中间层是ChromeCDP,专门处理需要精细DOM操作和重复工作流的高级自动化。最顶层是原生Chrome,只在需要你的登录态或真实视觉验证时才会出动。这个金字塔不是用石头砌的,是用妥协和权衡砌的。
这个分层模型的精妙之处在于"降级容错"。如果ChromeCDP因为协议版本不匹配而罢工,任务可以降级到托管浏览器继续执行。如果托管浏览器因为登录态缺失而卡住,再考虑是否值得动用原生Chrome。每一层都是上一层的"保险丝",确保整个系统不会因为单点故障而彻底停摆。这种设计思路在工程领域叫"优雅降级",在普通人嘴里叫"留条后路"。
跨浏览器验证是另一个容易被忽视的细节。Hermes在最终验收环节常常先用Chrome跑一遍,再用原生Safari核对一遍外观差异。这个习惯源于一个血淋淋的教训:某个页面在Chrome里看起来完美无瑕,到了Safari里按钮错位、字体崩坏、布局全乱。对于面向用户的产品,这种"最后一公里"的验证往往能救命。毕竟,你的用户里总有几个固执的Safari党,而且他们通常是你的老板或者你的客户。
三条路径的选择本质上是在"控制力""安全性""便利性"三个维度上做权衡。ChromeCDP控制力最强但门槛最高,原生Chrome最便利但风险最大,托管浏览器卡在中间当"万金油"。没有绝对的最优解,只有最适配当前任务的组合。就像你去超市买刀,切菜用菜刀,砍骨用砍刀,削水果用水果刀。你不会用砍刀削苹果,也不会用水果刀砍排骨,对吧?
浏览器自动化正在改写人机协作边界
Hermes这套三浏览器架构暴露了一个更深层的趋势:AI操控数字世界的方式正在从"API优先"转向"界面优先"。过去,AI要跟某个系统交互,前提是那个系统提供了API接口。没有API?对不起,此路不通。现在,AI可以直接"看"网页、"点"按钮、"填"表单,绕过API的限制直捣黄龙。API是后门,界面是前门,而AI现在学会了自己敲门。
这种转变的冲击力远超大多数人的想象。全球有数十亿个网页没有开放API,但它们都有可视化的用户界面。一旦AI掌握了"像人一样浏览网页"的能力,这些沉默的数字资产瞬间就变成了可编程的资源。从政府公示信息到企业内部系统,从电商后台到社交媒体管理面板,AI的触手可以伸到以前根本够不着的地方。这相当于给AI配了一副眼镜和一根手指,让它能看懂并操作人类设计的所有界面。
当然,这条路还很长。验证码、双因素认证、动态加载、反爬虫机制,每一道关卡都在考验AI的"拟人化"程度。Hermes的三浏览器方案本质上是在用"工程复杂度"换"场景覆盖度"。它还没有解决所有问题,但它证明了"AI+浏览器"这个方向值得持续投入。未来的浏览器自动化可能会走向更智能的形态。AI不再需要人工指定"点击第3个按钮",而是自己理解页面语义、自主决策操作路径、自动适应布局变化。
到那一天,"浏览器"和"AI"的边界会彻底模糊。你的浏览器不再是一个被动展示网页的工具,而是一个能主动替你完成数字任务的智能代理。它会在你睡觉的时候帮你抢演唱会门票,在你开会的时候帮你盯着股价,在你度假的时候帮你回复那些"紧急但不重要"的邮件。三条浏览器路径的分工协作,预示着一个更宏大的图景:AI正在学会以人类的方式与数字世界互动。这个过程中,技术细节会不断迭代,但核心逻辑已经清晰——让AI拥有"眼睛"和"手指",比让它背下所有API文档更有价值。毕竟,世界上绝大多数数字界面,都是为人类设计的,而不是为API设计的。
Hermes用三套浏览器实例构建了分层自动化体系:
- ChromeCDP处理精细DOM操作与重复工作流,
- 托管浏览器覆盖日常搜索与内容提取,
- 原生Chrome仅在需要登录态或视觉验证时介入。
这套架构在控制力、安全性与便利性之间实现了动态平衡,并通过跨浏览器验证确保最终交付质量。浏览器自动化的终极形态,或许是AI彻底模糊"工具"与"代理"的边界——到那时候,你还得亲自打开浏览器吗?