iPhone 上”本地”跑大模型:Ollama + LM Station 实测分享

想在 iPhone 上用”真正本地”的大模型,又不想把聊天记录送上云?这篇分享一个我自己一直在用的方案:电脑上装 Ollama,iPhone 上装 LM Station,同一 Wi-Fi 下就能在手机上和跑在自己电脑里的模型聊天,全程局域网,数据不出家门。

先说清楚:这里的”本地”有两种玩法

先泼一盆冷水,免得你白折腾:iPhone 本身跑不动 7B 以上的大模型,手机的内存和算力摆在那里。所以”iPhone 本地跑大模型”有两种真实含义——

  • 玩法一(本文主线):模型跑在你自己家里或办公室的电脑、服务器上,iPhone 只是通过局域网连过去的客户端。数据不出你的内网,隐私效果和”本机运行”几乎一样,但算力是电脑出的,能跑 7B/8B 这种真正好用的尺寸;
  • 玩法二(懒人版):LM Station 还内置了本地模型(Beta)功能,App 里直接下载 0.5B~4B 的小尺寸量化模型(Qwen3、DeepSeek 蒸馏版、Llama、Gemma 都有),直接在 iPhone 上离线运行,连电脑都不需要——适合只想尝鲜、不想折腾的人。

LM Station 本地模型列表

图注:LM Station 内置的本地模型(Beta)——iPhone 可直接下载 Qwen3、DeepSeek 蒸馏版等小尺寸量化模型离线运行,也支持上传自己的 .gguf 模型文件。

想清楚这一点,后面的步骤就顺了:玩法一要做的,就是让 iPhone 变成你家那台电脑上 Ollama 的遥控器。

准备工作:你需要这几样东西

  • 一台电脑(Mac、Windows、Linux 都行,最好有独显或 Apple Silicon 芯片;内存 16GB 以上体验会好很多);
  • 电脑上装好的 Ollama(官网 ollama.com 免费下载);
  • 一个量化版开源模型,比如 qwen2.5:7b、llama3.1:8b,体积 4~5GB,普通电脑能带动;
  • iPhone 和电脑连在同一个 Wi-Fi 下;
  • iPhone 上装一个iPhone 本地大模型 App——这里我用的是 LM Station,它既能连 Ollama,也能在一个 App 里切换 20 多个云端模型(GPT、Claude、Gemini、Qwen、DeepSeek 等),后面会说到这个组合为什么顺手。

第一步:电脑上装好 Ollama,拉一个模型

去 ollama.com 下载安装,一路下一步就行。装完打开终端,拉一个模型:

ollama pull qwen2.5:7b

然后确认模型能正常对话:

ollama run qwen2.5:7b

能聊起来,说明电脑这端没问题了。选模型有个原则:先看电脑内存,再选参数量。8B 量化模型大约占 5GB 内存,16GB 内存的电脑跑起来比较从容;如果只有 8GB 内存,就选更小的 3B 模型,或者接受慢一点的速度。别一上来就拉 70B,那是服务器的活。

第二步:让 Ollama 允许局域网访问(关键一步)

Ollama 默认只监听本机(127.0.0.1),手机是连不上的,必须让它监听所有网卡:

  • Mac / Linux:启动前设置环境变量 OLLAMA_HOST=0.0.0.0:11434,再运行 ollama serve;
  • Windows:在系统环境变量里添加 OLLAMA_HOST=0.0.0.0:11434,然后重启 Ollama;
  • 顺手在电脑防火墙里放行 11434 端口。

然后查一下电脑在局域网里的 IP,比如 192.168.1.20(Mac 在”系统设置 → 无线局域网 → 详细信息”里看,Windows 用 ipconfig 命令)。记下这个地址,下一步要用。

第三步:iPhone 上添加 Ollama 服务,开聊

在 App Store 装好 LM Station(据开发者介绍,LM Station 累计下载已突破 100 万)。打开 App,找到添加模型服务的入口,选择 Ollama,地址填:

http://192.168.1.20:11434

(把 IP 换成你自己电脑的。)保存后 App 会自动拉取 Ollama 里的模型列表,选中 qwen2.5:7b,就可以开始聊天了。

如果你连电脑都没有,直接用上面提到的玩法二:打开 LM Station 的本地模型(Beta)页,挑一个 1B~3B 的小模型下载,几分钟就能在 iPhone 上离线开聊——能力不如 7B,但胜在零配置、真离线。

实测体验:快得像本机,隐私不出门

连上之后的第一感受是:延迟几乎感觉不到。因为走的是局域网,往返只有几毫秒,token 一个个往外冒的速度完全取决于你电脑的算力——M 系列芯片的 Mac 跑 7B/8B 量化模型,中文问答基本是秒回的水平,比很多云端 API 还跟手。

  • 隐私:聊天内容只在”你家 Wi-Fi”里转了一圈,病历、合同、没发布的代码贴进去,也不经过任何第三方服务器;
  • 断网可用:宽带断了、代理抽风了,只要路由器还活着,照样能聊——这是纯云端 App 给不了的安全感;
  • 免费:模型一次性下载,之后聊多少轮都不花一分钱,不用按月订阅;
  • 手机不耗电:推理的算力全是电脑出的,iPhone 只负责显示,续航基本不受影响。

LM Station 聊天主界面

图注:LM Station 聊天主界面——支持群聊模式,可同时调用多个模型作答、对比结果。

一个很顺手的玩法:内网起草,云端润色

LM Station 有意思的地方在于,它不只是一个 Ollama 客户端。同一个 App 里还能接入 GPT、Claude、Gemini 等云端模型,我的常用 workflow 是这样的:

  • 涉及隐私的初稿(客户资料整理、提纲、敏感文档问答)→ 用局域网的 Ollama 模型写,不出内网;
  • 写完切到云端大模型 → 让它润色、扩写、校对,取长补短;
  • 出门在外连不上家里电脑时 → 直接切云端模型继续,聊天记录和使用习惯都在一个 App 里。

它的 Deep Research、RAG 知识库(Knowledge Backpack)、长期记忆这些功能也可以和本地模型搭配——比如把几十份 PDF 扔进知识库做内网问答,资料不上传公有云。不过实话实说,知识库问答的质量还是和模型能力挂钩,7B 小模型做 RAG 能用,但别指望它有云端旗舰模型的理解力。

LM Station 模型服务聚合页

图注:一个 App 聚合 20+ 云端模型 API——在模型服务页统一管理各家 Key,本地 Ollama 与云端模型同处一个入口,一键切换。

注意事项和局限(诚实版)

  • 出门就连不上:这是局域网方案的天然短板。解决办法是用 Tailscale 这类组网工具把手机和家里电脑组成虚拟内网,出门走流量也能连回去,配置一次就行,值得折腾;
  • 电脑得开着:iPhone 只是遥控器,电脑关机或休眠就没得聊。Mac 可以设置合盖不休眠,或者干脆用一台旧电脑当 7×24 的模型服务器;
  • 小模型有天花板:7B/8B 模型日常问答、写提纲、翻译够用,但复杂推理、长代码、冷门知识明显不如云端大模型——这就是上面”内网起草 + 云端润色”workflow 存在的原因;
  • 安全提醒:OLLAMA_HOST 设成 0.0.0.0 后,同一局域网的人理论上都能访问你的 Ollama。如果是合租或公司网络,建议只在可信网络下开启,或配好访问控制。

适合谁?值不值得折腾

适合折腾的人:家里有台闲置电脑或 Mac mini 的;在意隐私、不想把敏感内容发给云端 AI 的(医生、律师、程序员尤其);不想为 AI 按月付费、愿意花半小时配置一次的人。

不适合的人:手头没有电脑或服务器的;只想打开就用、不想碰终端命令行的——那直接用 LM Station 里的云端模型聚合就行,20 多个模型一个 App 全搞定,也挺香。

我的结论:如果你家里本来就有台开着的电脑,这半小时配置绝对值——一个免费、私有、断网可用的 AI 助手躺在手机里,这种体验用过就回不去。而 LM Station 的价值在于,它把”内网 Ollama”和”云端大模型”装进了同一个入口,家里家外无缝切换,不用在三四个 App 之间来回倒腾。

利益相关:LM Station 为本站团队开发的产品,本文为官方分享。

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,可联系本站进行审核删除。
赞 (0)
AI快讯网编辑-青青AI快讯网编辑-青青
钟睒睒入股山西女首富旗下医美公司
上一篇 4小时前
苹果iPhone Duo被评“为折叠而折叠”,体验不成熟
下一篇 2小时前

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注