RunInfra 与 Ornith 推荐，代理向开源模型加一个推理平台
开源模型圈新来一位双面选手。十月十九日上榜的 RunInfra，一面是托管开源模型的推理平台，一面是自有开源模型系列 Ornith 的出品方，发布标语写着为代理而建的开源模型。先看模型，再看平台。我核了模型卡、平台页与公司背景，成绩单看着亮眼，自称口径也标得清楚，逐层拆开讲。
一体两面先分清
平台这面，一个接口钥匙同时兼容 OpenAI 与 Anthropic 的开发包，在售八个模型，自家 Ornith 之外还有 GLM、DeepSeek、Nemotron、Qwen 的版本，按 token 计费。模型这面，Ornith 系列已发两代，一点零是九十亿参数稠密模型，由 Qwen 三点五同规模继续预训练而来，许可证 MIT。一点五是三千五百亿总参的混合专家架构，每 token 激活约三十亿，原生上下文二十六万，可扩展到约百万，这个型号的模型卡未标注许可证，引用前自行确认。平台另列有一千二百二十亿的大杯，独立模型卡未查到。双面结构的好处是利益一致，自家的模型跑自家的平台，优化两端都使劲。
训练方法与成绩
官方自称的差异点在端到端自我改进，一点五代把任务生成、脚手架构建、解题回放放进同一个强化学习循环联合优化。基准数字全部为官方自测、五次运行取平均，自称口径，捡重点列，代码修复基准得分七十九，终端任务两个口径六十七到六十八点五，研究生级问答八十九点二，数学五百满分边缘的九十九点八。五个基准数字全列出来会刷屏，模型卡里表格齐全，引用哪个查哪个。对比基线选了同量级的几款主流开源模型，胜负表放在模型卡里，感兴趣的自己对着看，第三方社区的评价是水平介于某两代旗舰之间，听听就好。
本地怎么跑
一点五三千五百亿这个型号，官方口径全精度约需七十G 显存，推荐两张八十足跑满长上下文，最低一张八十足能跑起来，两张是体面配置，一张也能跑，长上下文会打折扣。运行时要新版推理引擎，社区已有苹果芯片的量化版，约十九个G 就能装进一台高配 Mac。纯本地玩家量力而行，跑不动就上平台，这是它一体两面设计的内在逻辑。
平台细节与透明度
平台侧的卖点有两处工程味。会话感知路由，重复请求分发到持有上下文的热副本，省重复灌上下文的钱。缓存命中价约为正常输入的十分之一，这个数字对重上下文的代理场景是实打实的省，自称最高命中率九成八，按自称听。订阅制的编码套餐十美元每月起步，二十多个编码代理可用。合规口径 SOC 二类二报告需签保密协议，默认零数据保留。最讨喜的是透明度页面的自曝，平台公布的性能基准自我申报、细节不足以独立复现，九月还主动撤回过一条归因声明，撤回这条要单独点名，自家基准自己打脸式修正，圈内少见，敢把丑话写在官网上，这份坦率在行业里算清流。
解决了什么需求
重度用编码代理的个人与团队，账单压力真实存在，开源模型加低价托管是一条现成的省钱路，省下的钱够再雇半个实习生。Ornith 的代理向优化意味着工具调用与长任务的稳定性优先，这正对编码代理的胃口。试用路径给一条，十美元月付档跑两周自己的真实任务，账单对比会说话。背景方是自称 GPU 内核优化实验室的 RightNow AI，开源仓库里还有代理执行层与小型模型等项目，技术储备不止一个点，孵化器与芯片厂商的背书都是自称口径。风险提示照旧，基准自测加新起品牌，先在低价档试跑自己的真实任务再决定要不要迁移。
一句收尾，模型圈的信任要靠透明挣，这个敢自曝短板的新玩家至少开了个好头，跟不跟，让它再跑两个版本。
来源
- 官网 https://runinfra.ai
- Ornith-1.5 模型卡 https://huggingface.co/ornith-ai/Ornith-1.5-35B-A3B
- Ornith-1.0 模型卡 https://huggingface.co/ornith-ai/Ornith-1.0-9B
- GitHub 组织 https://github.com/ornith-ai
- 母公司 https://www.rightnowai.co