你的手机本就足够聪明，别再傻等服务器了！本文批判开发者盲目依赖云端AI接口，指出这会导致软件脆弱、侵犯隐私。作者通过自己开发的新闻应用实例，展示了如何利用苹果设备内置模型实现本地文本摘要，强调多数功能无需云端，本地处理更快更安全，并提供了具体代码和结构化的输出方法。
发表日期： 2026年5月10日
原文标题： Local AI Needs to be the Norm
作者背景：unix.foo 独立开发者，专注于高性能、隐私优先的软件设计
别再啥破功能都去求云端AI了，这纯属给自己找麻烦
现在的软件圈有个特别逗的现象。一个程序员想给应用加个“智能”功能，脑子都不带转的，直接甩一个网络请求给OpenAI或者Anthropic的服务器。就好像AI必须住在云里，不住云里就不叫AI似的。
结果呢？你做出来的东西，用户刚想用，可能因为信用卡过期了，或者人家服务器打了个喷嚏，功能就挂了。你的软件变成了一个玻璃娃娃，好看不中用，一碰就碎。你把一个好好的功能，硬生生搞成了一个花钱买罪受的分布式破系统。
核心观点很简单：别搞错了目标。目标不是“处处都有AI”，目标是“软件真的有用”。而做到这一点最聪明的办法，就是把AI推理从云端拽回你的手机或电脑上。你裤兜里的芯片，比十年前的超算还猛，它的神经网络引擎大部分时间都在那闲得发慌，就等你发个请求去弗吉尼亚的服务器农场排队呢。这不搞笑吗？
你每调一次云端接口，就把用户的隐私和你的良心一起打包送走了
就算你是个好人，心底纯良，发誓绝不乱看用户数据。可你只要把用户的内容往第三方AI那传，事儿就变味了。你的产品性质就变了。
你得开始琢磨：数据存多久？用户同意了吗？万一被黑了呢？政府来要数据给不给？AI公司拿这些内容去训练新模型咋办？这一堆麻烦事，就像你只是去便利店买瓶水，结果被迫签了一份30页的租房合同。
而且你的技术栈也变得跟意大利面条一样乱。原来本地跑得好好的功能，现在得看网络脸色，得盯着人家的服务状态，得算着用量别超了账单，还得维护自己的后端别崩了。你原本只想做个小吃摊，结果搞成了要养活一群大厨的米其林餐厅，每天一睁眼就欠钱。
所以说，如果一个功能明明可以不上网就搞定，你非要绕个大圈去云端，那真就是自个儿拿锤子砸自个儿的脚。这就好比你明明口袋里揣着计算器，非要打个电话让你妈帮你算二加二等于几，费老大劲，还欠人情。
别扯虚的，我给你看个硬核例子：一个新闻应用怎么在手机上搞定智能摘要
前几年我做了个网站，叫“野兽派报告”，就是个复古风格的信息聚合器，看着像九十年代的网页，贼简单。最近我又给它配了个手机应用。
我这个应用有个设计死规矩：信息密度必须高，满眼都是干货，别整那些花里胡哨的。但是我也想要个“智能视图”，能把文章自动总结一下。你猜怎么着？我没去调用云端的什么狗屁接口。
核心操作是这样的：你点开一篇文章，摘要就在手机上当场生成。用的就是苹果系统自己带的那个本地模型。没有服务器中转，没有把你的阅读记录发给谁，不需要去注册什么AI供应商的账号，更不用在隐私条款里写“我们会留存您的数据三十天”。干干净净。
现在大家都被带偏了，觉得AI天然就该跑在服务器上。咱们干这行的，得把这臭毛病扳回来。当然，有些变态级别的任务，比如让AI当律师写诉状，那可能真得靠云端那个超级大脑。但你想想，你的应用里有多少功能真的需要那种博士级别的智商？不就是把用户刚打开的这篇文章捋个重点吗？这种活，本地模型干得又快又好，还不用看人脸色。
苹果家给的现成工具：两三行代码就让AI在本地跑起来
我主要混苹果生态，所以拿它家的工具说事儿。这两年苹果砸了不少钱，让开发者能轻松调用设备内置的AI模型。
基本的流程顺溜得不像话。你用不着搭服务器，用不着训练模型，就跟你调用摄像头、调用麦克风一样自然。你先是看看系统默认的语言模型在不在，在的话，你就跟开个聊天窗口似的，开个会话。
你告诉这个会话：“嘿，给我用粗暴、信息密集的方式总结一下，用Markdown格式。重点概念加粗，用列表列事实，别废话。” 然后你把文章正文往会话里一扔，它噌的一下就把总结给你吐出来了。
就这么简单。而且对于很长的文章，你还可以自己动手处理一下。比如把文章切成一块一块的，每块大概万儿八千字。让模型先给每块写个“纯事实版”的小笔记，最后再把这些小笔记汇总成一份完整的总结。完全可控。
本地AI最牛的地方在哪？就是干“数据转换”的活。你的数据本来就在设备上（因为用户正在看），模型做的就是把它换个样子。这不叫“人工智能”，这该叫“数据搬运工”。但就是这个搬运工，能解决一大波实际问题。比如帮你总结邮件，从笔记里提取待办事项，给文档自动分类。这些事，用户想要，但信不过云端。
你想啊，云端怎么搞？你得跟用户说：“亲，麻烦你把邮件内容发到我们服务器哦，我们保证不动你的。” 这不就跟一个陌生人说“把你家钥匙给我，我保证不进去”一样可疑吗？本地AI一出手，这个问题就没了。你的数据根本不出门，就在你自己设备里转悠，转完了还给你。你不需要写两千字的隐私协议来求信任，你不用写那玩意儿，本身就没什么可担心的，这才是真信任。
别只会吐文本，让AI给你扔回来一个可以直接用的数据结构
苹果还有个更绝的操作。它不鼓励让AI吐一堆乱七八糟的文本让你去猜去解析，而是让你直接定义一个Swift的结构体，告诉AI：“你就照着我这个格式填。”
比如我想要一个“文章情报”结构体，里面就三项：一句摘要、几条要点事实、几个关键词。每一项你还能用大白话给AI写个提示，比如“一句话，别吹牛”、“三到七个要点的列表，只写事实”。
然后你调用会话的时候，直接告诉它：“从这篇文章里提取结构化的笔记，给我填成这种格式。” 啪，它直接返回一个实实在在的数据对象给你。你的程序界面不用再去Markdown里费劲巴拉地找要点，也不用祈祷模型能记住你的JSON格式。它出来的就是正儿八经的类型，有字段有内容，你可以稳定地渲染，想怎么用就怎么用。
这不光是用着爽，这是工程上的巨大进步。当你做一个“本地优先”的应用时，这种模式就是分水岭。一边是把AI当个玩具噱头，另一边是把AI当个靠谱的、可信赖的内置子系统，区别就在这。
最后怼一句“本地模型不够聪明”，那得看你到底想干嘛
我知道有人要杠了：“本地的模型哪有GPT-4聪明啊？” 没错，你说得对，本地那小猫两三只确实写不出莎士比亚，也考不过律师资格证。但那又怎样呢？
你仔细想想，你做的那个记账应用，需要AI会写十四行诗吗？你那个做笔记的软件，需要AI懂量子纠缠吗？大多数场景下，你就需要它干这几件事：总结、分类、提取、重写、规范化。就这些，没了。
本地模型干这些活儿，简直手拿把攥。你要是拿本地模型当Google搜索用，指望它知道天下所有事，那你肯定会失望。但你要是拿它当你应用内部的一个“数据格式转换器”，你回头看看，肯定会纳闷自己当初为啥要把这些数据发到云端去折腾一圈。
听哥们一句劝：只在真正必要的时候用云端模型。把用户的数据留在它该在的地方。而且，当你用AI的时候，别就只会糊一个聊天框上去。把它当成一个真正的内部子系统，有规整的输入输出，行为可预测。咱们是来好好做软件的，不是来搞一堆花钱又脆弱的分布式烂摊子的。停止你这种“假装在搞AI”的行为吧。