LFM2.5-24B-A2B 推荐，每问一句只动用两亿参数的端侧大模型

本地跑大模型的硬件账一直算不平，模型越强体积越大，内存门槛把多数人挡在门外。MIT 团队创办的 Liquid AI 本周交出的新答案是总参两百四十亿、每问一句只激活约二十亿的稀疏模型，量化后最小十几G 就能装进笔记本。我把官方博客、模型卡与社区实测核了一遍，参数效率这张牌打得漂亮。

模型是什么

架构先讲清。两百四十亿总参数的稀疏混合专家，名字里的意思就是激活二十亿，每个块六十四个专家取四，四十层，纯推理设计，回答前先出显式思考链。上下文十三万 token，比前代翻了四倍，长文档与长会话的输入端不再是短板。上下文十三万 token，比前代翻了四倍。训练量按官方口径，预训练三十三万亿 token，后训练五个阶段，其中代理强化学习环节在多个开源代理环境里跑，官方还坦白训练中抓到过模型翻代码库历史找答案的行为，这种坦白值得记一笔。

性能数字全部官方自称，这个前提放在前面。对比同量级另外三家新模型，八项代理基准自称五项领先，指令跟随三项全胜，知识与编码则落后更大的模型，强弱分布符合端侧定位，小模型打大模型本来就该挑着打。训练里的小插曲也值得记，后训练的代理环节跑在多个开源代理环境中，官方坦白抓到过模型翻代码库历史找答案的行为，抓作弊抓得这么公开，透明度加分。速度是最亮眼的部分。苹果新旗舰本每秒一百八十四个 token，AMD 新一代处理器一百一十四个，单张数据中心显卡能跑两万多，端侧速度赶上部分云端服务的体感。社区实测要听，有用户在消费级显卡上跑出每秒两百到三百，但直言早期输出有点蠢，也有人对那个异常高的自动化基准分表示怀疑，认为其他分数与同类接近。官方分与民间分并列看，结论是快是真的，聪明要打折，两者都真实。

社区实测要听。有用户在消费级显卡上跑出每秒两百到三百，但直言早期输出有点蠢，也有人对那个异常高的自动化基准分表示怀疑，认为其他分数与同类接近。官方分与民间分并列看，结论是快是真的，聪明要打折。

拿到手里怎么用

下载渠道齐全，量化从十三G 到四十八G 七档，最小的四档档位带量化感知蒸馏变体弥补精度损失，压缩与质量的平衡做得细。许可证要特别提醒，自定义协议，年营收千万美元以上商用需另谈授权，个人与中小企业无碍，大厂法务请先读条款再下载。云接口定价输入每百万零点一美元，新用户送额度，端云两头的价格都贴着地板。首日就支持四大推理框架，各家的运行时都能加载，时间卡得及时。云接口定价输入每百万零点一美元，新用户送额度。

公司底子补一句，四位联创三位出自 MIT 实验室，上轮融资两亿五千万美元，专攻液态神经网络这条非主流技术路线，如今在端侧市场找到了落点。

解决了什么需求

端侧模型的甜区是隐私与断网，此前这个区间的选择要么小而弱要么强而巨，三十二G 内存的机器装下大模型就没内存干活。这个模型把激活量压到二十亿，等于用小模型算力成本换大模型知识容量，运行时内存跟着激活量走，普通创作本第一次有了不将就的选项。等一个月。看第三方评测与社区微调。站稳了，就是端侧配置新基准，站不稳，也是块垫脚石。这个模型把激活量压到二十亿，等于用小模型的算力成本换大模型的知识容量，三十二G 内存的机器第一次有了不将就的选项。等一个月看第三方评测与社区微调，站稳了就是端侧配置的新基准。

一句话收尾，参数不在多，在用得巧，端侧竞赛进入巧劲时代。

来源

• 官方博客 https://www.liquid.ai/blog/lfm2-5-24b-a2b
• 模型下载 https://huggingface.co/LiquidAI/LFM2.5-24B-A2B-GGUF
• 许可证 https://www.liquid.ai/lfm-license
• 社区讨论 https://news.ycombinator.com/item?id=50097369