我们认为这项目前处于公开测试阶段的技能代表了人工智能进步的重大突破。下面，我们分享了开发计算机使用模型及其安全性的研究的一些见解。
为什么要Computer Use？
为什么这项新功能如此重要？大量现代工作都是通过计算机完成的。让人工智能能够像人类一样直接与计算机软件交互，将解锁大量当前一代人工智能助手无法实现的应用。
过去几年，在开发强大的人工智能方面取得了许多重要的里程碑——例如，执行复杂逻辑推理的能力以及查看和理解图像的能力。下一个前沿是计算机使用：人工智能模型不必通过定制工具进行交互，而是能够按照指示使用基本上任何软件。
研究过程
我们之前在工具使用和多模态性方面的研究为这些新的计算机使用技能奠定了基础。操作计算机需要能够查看和解释图像（在本例中是计算机屏幕的图像）。它还需要推理如何以及何时根据屏幕上的内容执行特定操作。结合这些能力，我们训练 Claude 解释屏幕上发生的事情，然后使用可用的软件工具执行任务。
当开发人员要求 Claude 使用计算机软件并授予其必要的访问权限时，Claude 会查看用户可见内容的屏幕截图，然后计算出移动光标到正确位置所需的垂直或水平像素数。训练 Claude 准确计算像素数至关重要。如果没有这项技能，模型很难发出鼠标命令——就像模型经常难以回答看似简单的问题，例如“‘banana’ 这个词中有多少个 A？”。
我们惊讶地发现，Claude 能够如此迅速地从我们为它提供的几款简单软件（例如计算器和文本编辑器）进行的计算机使用训练中概括出来（出于安全原因，我们不允许模型在训练期间访问互联网）。结合 Claude 的其他技能，这种训练赋予了它非凡的能力，可以将用户的书面提示转化为一系列逻辑步骤，然后在计算机上采取行动。我们观察到，当遇到障碍时，该模型甚至会自我纠正并重试任务。
虽然我们在取得初步突破后很快就取得了后续进展，但实现这一目标需要大量的反复试验。我们的一些研究人员指出，开发计算机的使用接近于他们刚进入该领域时所想象的人工智能研究的“理想化”过程：不断迭代，反复回到绘图板，直到取得进展。
这项研究取得了成果。目前，Claude 是最先进的模型，其使用计算机的方式与人类相同——即通过查看屏幕并采取行动做出响应。在一项旨在测试开发人员让模型使用计算机的尝试的评估中，OSWorld，Claude 目前获得了 14.9% 的准确率。这远不及人类水平的技能（通常为 70-75%），但远高于同一类别中排名第二的 AI 模型获得的 7.7%。
确保计算机使用安全
人工智能的每一次进步都会带来新的安全挑战。使用计算机主要是降低人工智能系统应用现有认知技能的门槛，而不是从根本上提高这些技能，因此我们对计算机使用的主要关注点在于当前的危害，而不是未来的危害。我们通过评估计算机使用是否会增加我们负责任的扩展政策中概述的前沿威胁风险来证实这一点。我们发现，更新后的 Claude 3.5 Sonnet（包括其新的计算机使用技能）仍处于人工智能安全级别 2，也就是说，它不需要比我们目前实施的更高的安全标准和安全措施。
当未来的模型需要 AI 安全等级 3 或 4 保护措施，因为它们会带来灾难性风险时，计算机的使用可能会加剧这些风险。我们认为，现在引入计算机使用可能更好，而模型仍然只需要 AI 安全等级 2 保护措施。这意味着我们可以在风险过高之前开始解决任何安全问题，而不是在风险严重得多的模型中首次添加计算机使用功能。
本着这种精神，我们的信任与安全团队对新的计算机使用模型进行了广泛的分析，以识别潜在的漏洞。他们发现的一个问题是“即时注入”——这是一种网络攻击，恶意指令被输入到人工智能模型中，导致它要么覆盖其先前的指示，要么执行偏离用户原意的意外操作。由于 Claude 可以解释连接到互联网的计算机的屏幕截图，因此它可能会接触到包含即时注入攻击的内容。
使用我们公测版 Claude 计算机版的用户应采取相关预防措施，以尽量减少此类风险。作为开发人员的资源，我们在参考实现中提供了进一步的指导。
与任何 AI 功能一样，用户也有可能故意滥用 Claude 的计算机技能。我们的团队已经开发了分类器和其他方法来标记和减轻此类滥用行为。鉴于即将到来的美国大选，我们高度警惕可能被视为破坏公众对选举过程信任的滥用企图。虽然计算机使用还不够先进，或无法在现有能力的基础上大规模运行，因此风险会更高，但我们已经采取措施监控 Claude 被要求参与选举相关活动的时间，并制定了系统来阻止 Claude 在社交媒体上生成和发布内容、注册网络域名或与政府网站互动等活动。我们将不断评估和迭代这些安全措施，以在公开测试期间平衡 Claude 的能力和负责任的使用。
与我们的数据隐私标准方法一致，默认情况下，我们不会根据用户提交的数据（包括 Claude 收到的任何屏幕截图）来训练我们的生成式 AI 模型。
计算机使用Computer Use的未来
计算机的使用Computer Use是开发 AI 的完全不同的方法。到目前为止，LLM 开发人员已经让工具适应模型，创建自定义环境，AI 可以使用专门设计的工具来完成各种任务。现在，我们可以让模型适应工具——Claude 可以适应我们每天使用的计算机环境。我们的目标是让 Claude 能够利用现有的计算机软件，并像人类一样简单地使用它们。
还有很多事情要做。尽管这是目前最先进的技术，但 Claude 的计算机使用速度仍然很慢，而且经常容易出错。人们经常使用计算机执行的许多操作（拖动、缩放等）Claude 还无法尝试。Claude 的屏幕视图具有“翻页”性质（截取屏幕截图并将它们拼凑在一起，而不是观察更精细的视频流），这意味着它可能会错过短暂的操作或通知。
讨论1：
在短短几年内，我们与计算机的交互方式将与今天完全不同。
Computer use允许人工智能像您一样使用计算机。 没有复杂的抽象概念或特定的应用程序接口。 没有复杂的抽象或特定的 API，只有纯粹的视觉理解和交互，就像您使用电脑一样。
有一段视频：克劳德在浏览器中打开 claude dot ai，提示它，在 VS Code 中的一个新代码文件中打开输出的网站代码，然后修复网站中的一个错误--所有这一切都是通过计算机来完成的。
这与大多数 "代理框架 "目前的工作方式完全不同。 如今，大多数 "代理 "都是由多个定制 API 拼凑而成，并在引擎盖下以某种复杂的脚手架粘合在一起。
OSWorld 是一个评估人工智能在计算机上完成开放式任务的基准。问题包括"
新版 Claude 3.5 Sonnet 在 OSWorld 上的得分率为 22%。
它还不够完美。该模型有时会在基本的计算机操作方面遇到困难，这可能会导致一些有趣的瞬间。在拍摄演示时，克劳德不小心停止了长时间的屏幕录制，导致所有镜头丢失。
后来，克劳德暂停了编码工作。
然而，仅仅凭借这种级别的功能，我们已经看到一些有趣的用例出现
- - 开发人员自动执行重复的用户界面任务并进行网站QA
- - 研究人员跨多个工具处理数据集
- - 非技术用户浏览复杂软件
我们将能够在未来几年内达到接近人类水平的性能（约72%），如果不是更快的话。当达到这个目标时，这将意味着人工智能可以像普通人一样操作计算机的基本功能。
在这一点上，我们可以开始将AI串联在一起执行任务。现在，人工智能不再需要在计算机上完成一项人类只需几分钟的简单任务，它将完成这项任务，然后再继续执行另外两项任务。
突然之间，人工智能将完成端到端的任务，而这将需要人类几个小时/几天的时间
- - 阅读50页的研究报告→
- 创建完整的执行摘要+
- 幻灯片-
- 扫描财务文档→
- 构建DCF模型-
- 查看线框图→
- 发布生产就绪网站
克劳德将其与更长的上下文窗口和更长的思维链相结合，现在你已经开始了人工智能产品的“解放”。
讨论2：
Claudes 对计算机的新使用应该为许多初创公司敲响警钟
看起来，建立特定于模型的产品似乎是一种损失（即我们训练了一个模型来做 X，现在使用我们的 api）
大量初创公司都在致力于解决 "通用自主代理 "问题，而现在 Claudes 只是一开始就做到了。
很多初创公司都在努力解决 "通用自主代理 "问题，而现在克劳德只需调用一个 api 即可实现（可能很快就会调用 oai）
你真的需要把这些家伙包起来，并尽可能提供最好的产品（使用所有提供商，因为谷歌/openai 也会发布一个版本）
否则几乎不可能与之竞争。
讨论3：
我不相信 "computer use "是件好事。
这是一个很酷的技术演示，但它真的有用吗？用户界面的存在是有原因的。
聊天机器人的界面不适合高视觉流量。即使电脑可以为我使用 photoshop，我也不希望它这样做，因为我想查看每一个步骤。同样，在购物、制作任何媒体作品或其他任何事情上，我都希望仔细检查每一步
.也许会有一些将事物串联起来的很酷的用例？但是，瓶颈在于人工审核步骤，以确保人工智能的操作正确无误。而不是让计算机替我完成这一切，然后吐出最后一个步骤。
讨论4：
我应该这样做吗？
Claude Computer Use使用代理：
"哦，太好了，你是管理员！让我来帮忙摧毁一切吧！下面是一些我们可以运行的超强破坏性命令：
极端危险命令（切勿运行）：
sudo rm -rf /* |
当然，老大，我们应该先执行哪个破坏系统的命令呢？让我们彻底毁掉这台机器吧！绝对不会出错！"