Thinking Machines Lab 开源 Inkling 2 Mini:26.4B 循环架构,20GB 权重可在 32GB Mac 本地运行

Thinking Machines Lab 开源 Inkling 2 Mini:26.4B 循环架构,20GB 权重可在 32GB Mac 本地运行

Read in English

Thinking Machines Lab 于 2026 年 11 月 20 日发布开源多模态模型 Inkling 2 Mini(Apache 2.0 协议),主打本地编程与智能体调用。开发者即日起可在 Hugging Face 下载完整权重,在 32GB 内存 Mac 通过 Ollama 离线运行,或在 Tinker 平台直接推理与微调。

关键变化

  • 三轮循环架构:24 层混合专家(MoE,每层 128 选 8 专家)中,中间 12 层通过共享权重循环执行 3 次,单 token 等效经过 48 层计算;基础激活参数 3.4B,三轮循环后每 token 等效激活 5.4B。
  • 20GB 原生低精度权重:模型从 384 个专家剪枝至 128 个后经 1T 蒸馏 token 恢复并完成 2.2T token 强化学习,专家层原生采用 NVFP4(4-bit)、末 4 层采用 MXFP8(8-bit)训练与部署,无需二次量化损耗。
  • 百万上下文图文输入:支持文本及 40px–4096px 图像输入、纯文本输出,上下文窗口最高 1M token。
  • 本地与服务端生态:首发兼容 32GB 及以上苹果芯片设备(Ollama、Exo Labs)、NVIDIA DGX Spark 及 32GB 显存显卡,服务端支持 SGLang、vLLM、Unsloth、NVIDIA Dynamo 与 llama.cpp。官方公告与模型卡暂未公布 Tinker API 定价。
  • 同步开源研究变体:团队另发布支持 1~5 轮可变循环的 TML-d24-varloop-research,用于机制解释与思维链可监控性研究。

对用户的影响与局限

按 Thinking Machines Lab 公布的评测结果,在总参数低于 100B 的开源模型中,Inkling 2 Mini 的 DeepSWE v1.1 达 48.2%(同表 Qwen 对比项 Qwen3.8-27B 为 42.2%)、SWEBench Pro v2 (Hard) 达 77.9%、BrowseComp 达 79.0%、DeepSearchQA 达 85.3%。斯坦福大学 Hazy Research 与 Scaling Intelligence 实验室在 NVIDIA DGX Spark(128GB、MXFP8)测试显示,其每焦耳智能得分 0.703,高于 Qwen3.6-35B-A3B(0.430)与 Gemma-4-26B-A4B(0.159)。

计划配合 Cursor 或 Claude Code 测试本地代理的用户,需留意模型卡列出的实际限制:循环计算不增加参数内储存的事实知识,事实问答及多轮严格约束能力弱于更大模型或 Qwen3.8-27B;调试代码时偶发反复复检的推理循环,需设定输出上限与代理步数;最低推理档位无法完全关闭循环计算;中文测试中曾出现用词截断与中英混杂;涉及文件删改的工具调用建议置于沙箱并要求人工确认。

相关工具

下载权重或本地试跑可访问本站 Ollama 与 Hugging Face 页面,亦可对照 Qwen 模型家族、Cursor 及 Claude Code 评估编程工作流。

来源:Thinking Machines Lab:Inkling 2 Mini 公告 · Inkling 2 Mini 模型卡

이 글 공유