Splash 1.4 推荐,苹果芯片本地推理引擎又交卷了
在 Mac 上本地跑大模型这件事,Strata 一家独大了几个月,十月二十日晚上局面起了变化,开源项目 Splash 发了 1.4 版,开发者在推文里放话,相同机器相同模型下比 Strata 快三成以上。小众软件第二天以一句卷起来了报道此事,这个卷字用得精准。本地推理这个方向今年彻底热了,苹果的统一内存架构天然适合把模型装进来,缺的就是趁手的软件。竞争是好事,一个月前这条路还没得选。我核了两个仓库与版本发布说明,先把口径摆正,快三成是开发者推文的单方说法,版本说明里只有自家基准,这层先讲清楚再看货。
主要功能
Splash 是 Apple Silicon 专用的本地推理引擎,Apache 二点零开源,主语言 C 加加,主打给编码代理供货。它在本机起一个兼容 OpenAI 与 Anthropic 接口的服务,流式、工具调用、结构化输出、图像与 PDF 输入都支持,Claude Code、Codex、OpenCode 这些代理指过来就能用,另内置一个聊天页,拿来做日常问答也顺手,不装第三方客户端也有个兜底。代理跑起来后,本机就是自己的模型服务商,断网、出差、保密环境三不误。仓库九月中创建,一个月一千七百星,热度说明需求是真。所属团队 Inco AI,官网就一句口号加联系邮箱,神秘得很,代码倒是敞亮。系统要求不低,M3 或更新芯片,系统二十六点四以上,四比特模型建议三十六G 统一内存起步,二十四G 机型只能跑小杯变体。
1.4 更新了什么
这版的技术清单相当扎实。新支持 Qwen 系列的稀疏注意力模型,配自动草稿加速,两者搭配着吃性能红利。模型加载改成 SSD 流式,混合专家架构下专家权重与溢出缓存放磁盘,按需读,这条对内存紧张的用户是刚需,三十六G 的机器也能伺候大杯模型。上下文用静态 YaRN 扩到最高一百万 token,原生之上翻了近四倍,一百万 token 什么概念,一部中型项目的全部源码加文档,一次装下还有富余,长上下文是刚需。解码端加了自适应草稿验证。官方自测基准挑两条,M5 Pro 上三十二K 输入的预填充每秒一千三百余 token,缓存命中的首 token 延迟一百七十一毫秒,两条都按自称口径听,听归听,量级摆在那。版本说明结尾专门致谢 Strata 启发了部分设计,火药味没那么重,竞争归竞争,认可归认可。
对手是什么体量
Strata 这边的坐标要摆出来。MIT 开源,跨 Windows、Linux、macOS,仓库近三万星,是 Splash 的十七倍。它十月的零点二测试版刚降了门槛,内存显存合计二十七点六G 就能跑,装了图形界面安装向导与中文界面,生成端官方自测提速最高百分之十三,最新补丁已到零点二点二。两家的更新节奏都是按天算的,你方发版我方跟进,用户隔几天刷新一次页面就有新东西。两家的路线差异清晰,Strata 走跨平台大众路线,Splash 深耕苹果芯片榨性能,Mac 用户眼下是渔翁,坐收两家互相追赶的红利。许可证一个 Apache 一个 MIT,商用都无障碍。
解决了什么需求
本地跑模型的刚需人群就那几类,隐私敏感的、想省 API 费的、断网环境的,三类人这一个月都被照顾到了。编码代理吃上下文胃口越来越大,一百万 token 的窗口意味着大项目代码能整个塞进去,这是 1.4 最实用的一步。隐私场景多说一句,代码不出机器,敏感项目的合规压力小很多,这是云端接口给不了的。预算账也算得过来,本地跑一次的成本是电费,代理重度用户一个月省下的接口费够升级一根内存条。选型建议直白,Windows 与 Linux 用户没得选,Strata。高配 Mac 用户两个都装,拿自己的常用模型各跑一遍,基准是别人的,体感是自己的。都免费开源,试错成本只有时间。免费。开源。先跑基准。
一句收尾,引擎大战的好处最后都落到用户手里,快慢且不论,有得选就是赢,赢的还有得挑,挑完还能换。
来源
- 小众软件报道 https://www.appinn.com/splash-1-4/
- Splash 仓库 https://github.com/incoai/splash
- 1.4.0 发布说明 https://github.com/incoai/splash/releases/tag/1.4.0
- Strata 仓库 https://github.com/Niko1221/Strata
- Strata 0.2 报道 https://www.appinn.com/strata-0-2-beta/