在一篇研究论文中，苹果研究人员介绍了ReALM。 这是一个新的人工智能系统，可以理解屏幕上的任务，会话上下文和后台进程。 研究人员说，它的表现“大大优于”GPT-4。
细节：
- ReALM 使用一种将屏幕信息转换为文本的新方法，使其能够绕过庞大的图像识别参数，从而实现更高效的设备上人工智能。
- 该模型考虑了用户屏幕上的内容以及哪些任务处于活动状态。
- 根据该论文，尽管参数较少，但 Apple 较大的 ReALM 模型的性能远远优于 GPT-4。
示例用例：如果滚动浏览网站并且您想给企业打电话，用户可以告诉 Siri“给企业打电话”，Siri 将能够“看到”网站上的电话号码并直接拨打。
重要性： ReALM 在让语音助手更具情境感知能力方面向前迈出了一大步。通过了解屏幕信息和其他上下文，下一次 Siri 更新可以提供更加无缝和免提的用户体验。