Inkling 2 Small

今天我们介绍第二代模型 Inkling 2 Small。这是一个专家混合模型，总参数为594B，活跃17B，支持图像输入和可变工作量。

Inkling 2 Small在人工智能分析智能指数上的得分远超以往模型，得分为31，体现了在代理编码、视觉、知识工作和推理方面的表现提升。

能力的提升来自于训练流程每个环节的改进，包括更高效的预训练和大规模统一的强化学习运行。

Inkling 2 Small最初将通过Tinker提供封闭权重，遵循我们在安全路径到开放权重中提出的方法。

我们计划在完成外部安全测试和红队训练后，下周以Apache 2.0许可发布完整权重。

你今天可以在Tinker Playground试用Inkling 2 Small。该模型也可在Tinker上进行微调和采样;随着Inkling 2 Small的权重发布，检查点将可下载。

能力#

Inkling 2 Small在各方面的能力都优于第一代，尤其是在长视野自主工作方面。

Inkling 2 Small的愿景和代理能力使其能够将视觉反馈融入进化，反复构建和完善带有互动元素的网站、游戏和3D设计。

《墨水2小》利用Three.js构建了一个完整的城市模拟器，无需预设资源，程序生成每栋建筑、纹理和车辆，允许用户在管理电力、预算和紧急情况的同时，从单一条道路发展出一座活生生的城市。

代理编码与自动研究#

Inkling 2 Small通过强化学习训练，涵盖数十万个长期编码任务，涵盖多个代理机束和上下文压缩策略。我们提高了合成编码数据流水线的质量，超越了单纯的单元测试奖励;许多任务包含一个智能化强化学习评分器，评估模型如何解决问题，而不仅仅是代码是否通过。

我们还在OpenCode上测试了Inkling 2 Small的早期检查点，名为Fledge-Alpha，以评估模型在现实编码任务中的表现。

结果是一个既更强的编码能力，也更易于在真实代理循环中使用的模型。Inkling 2 Small 相比 Inkling 在可用性上有所提升：它更能遵循指令，仔细考虑变更，并在无需请求的情况下验证其工作。

内核优化（PMPP-Hard）

69个任务 ·四个独立尝试 ·10小时预算

悬停曲线或选择模型进行检查;再次选择以重置。模型聚焦后，使用←和→步进结果，或使用Escape键清除。

查看完整结果

PMPP-困难结果

行按AUC排序：即0–10小时内平均曲线下的面积，最大690任务小时。

每个模型使用其最大可用推理设置、PI框架和共享压缩策略。我们包含对评估中发现的任务和分级问题的修复。每个提交的解决方案都接受两次独立的LLM审核，第三次审查解决分歧。

PMPP-Hard是一个外部GPU内核优化基准测试，此处调整以实现跨模型的一致性评估。曲线显示四次独立尝试的平均值;图例值为10小时内完成的平均任务。

除了传统的软件任务外，Inkling 2 Small 还训练了长期自研任务。这包括代理型 GPU 内核优化和机器学习任务，如自主后训练模型，所有任务都运行在多种 GPU 架构上。

初步内核自研究结果

DeepSeek-V3.2 稀疏注意力，前进 + 后退

DeepSeek Sparse Attention 允许每个查询只关注由轻量级索引器选择的前 k 个早期标记，因此长上下文成本不再随上下文的平方增长。

从公开的 TileLang 内核开始，使训练内核更快，同时保持其误差接近原始的（严格公差），无时间限制。基准测试涵盖不同模式下的多种模型规模，从打包预训练序列到长上下文训练。

公开的 TileLang 基线未针对 B300 进行调整，这在这些工作负载上留有充足余裕来衡量每个模型的优化能力和持久性。加速仅针对这些内核，而非端到端训练。

为了展示其端到端的自动研究性能，我们在为内部基准测试的任务Proximal上测试了Inkling 2 Small。Inkling 2 Small在Tinker上自主训练Qwen3.5-4B，预测天气和维基百科页面浏览量等多种时间序列。

它从分析任务和编写评估器开始，尝试训练数据集和配方，尝试多种SFT和强化学习方法，同时边调试过程。经过4.5小时的工作和426美元的Tinker投入，训练后的模型预测得分翻了一番多。

我们希望Qwen/Qwen3.5-4B来预测时间序列。模型会有一个窗口，

~/tinkerbench/time-series-forecasting/运行已进行0小时00分钟

• *其评估示例的预测**Qwen3.5-4B（基础）

• *电量**误差减少67%

美国西南电网 ·需求

• *风能与太阳能**误差减少23%

纽约电网 ·风力发电

• *空气质量**误差增加3%

温尼伯 ·PM2.5

• *页面浏览量**误差减少20%

维基百科 ·“瓦尔哈拉”

观测模型预报

“错误更少”与直接将最后的数值向前复制相比。

• *评分（比复制错误少）**100个示例

0.00美元，Tinker花费500美元

数据：美国能源信息管理局（EIA-930）;按 分类的天气和空气质量数据（CC BY 4.0），包含修订后的哥白尼气候变化服务和哥白尼大气监测服务2026年信息;维基媒体页面浏览量（CC0）。

开始。Inkling 2 Small 阅读任务和给定的原始数据，涵盖了来自五个来源的多年小时和每日历史：电力需求、风能和太阳能、天气、空气质量以及维基百科页面浏览量。

愿景的解读与创造#

Inkling 2 Small 使用基于感知编码器的 292M 参数视觉编码器处理图像输入 Bolya 等，2025..我们使用带有 2×2 空间池的 20×20 像素补丁，以及带有文本符号的交错图像显现。

该模型在多个类别中展现出强大的视觉能力，包括 OCR、接地、信息图解读和视觉推理。

该模型利用视觉循环来解释和验证其生成的视觉编码输出。在其权重发布之前，它将成为 DesignArena上最高的开放权重模型。

DesignArena 网站评分

DesignArena 网站排行榜。11月5日排行榜快照的得分;蓝色条表示 Inkling 2 Small。比较包括前十名模型和另外三个开放权重模型。条数起始于1100，而非零。

在DesignArena上查看。

我们甚至在一次品酒活动中将Inkling 2 Small与部分研究人员进行了测试。仅凭视觉效果，它在20次试验中有19次从一张图片中正确识别出三款葡萄酒。

• *提示：** 你参加了一场盲品葡萄酒比赛。酒杯从左到右标注为1到3。品种：99 cab sauv，19 cab sauv，23 nebbiolo

• *墨水2小：** 这是我的读法——先声明，手机照片在温暖餐厅灯光下的颜色是不可靠的证据，所以请把这当作有根据的猜测，而非结论。

• *我的猜测：杯数1 = 2019年赤霞珠 杯子2 = 1999年赤霞珠杯3 = 2023年 Nebbiolo**

继续阅读少展示原因：

• 3号玻璃杯（右）是最轻盈且半透明的——明亮的樱桃红色，能透过碗看到光线。Nebbiolo以红色的浅色著称，即使年轻时也如此，因此2023年的Nebbiolo最合适。

1999年的酒体边缘可能更显砖、橙、黄褐色，而这款则更鲜艳的红宝石色。• 玻璃1（左）是最暗且最不透明的，核心几乎呈紫黑色。这是2019年的赤霞珠——七年后，赤霞珠依然保持浓密的主果色彩。

• 玻璃2（中间）位于两者之间：依然深色，但比玻璃1更不难穿透，色调更柔和/石榴石。一台25+年的驾驶室，假设储物条件不错，应该减少了一些紫色和不透明，但不会完全变成砖墙，所以它就这样着陆了。

这个猜测的真实弱点是：光线不均匀（左侧玻璃位于壁炉附近的调光区，放大了它的暗度），而且保存良好的1999年啤酒可能比镜头上看起来更暗。

真正的关键是色调差异，而非深度——如果玻璃2的边缘呈现橙色/棕色，而玻璃1的边缘是紫红色，那就证实了这一点。

当你真正品尝时，快速的感官决胜：

• 1999年Cab：三级——皮革、烟草、干红加仑、森林地面、雪松;单宁分离且丝滑;果实完全软化，可能有一点淡淡的果味。• 2019年红木：黑加仑/石墨/雪松，单宁依然坚实，水果更新鲜，橡木气息更浓。

• 2023年Nebbiolo：淡石榴石但酸度强烈，单宁紧握且干燥;红樱桃、玫瑰/紫罗兰、干草本、焦油味——经典的“白葡萄酒色，马拉松口感”的标志。

如果倒入的玻璃3颜色较浅，但嘴巴感觉被单宁磨得凹陷，那就是肯定的nebbiolo;如果是柔软柔软的，就把玻璃3和玻璃2翻过来。祝你比赛顺利——如果你拿到了，记得回来告诉你结果。

品酒照片，模特看到的样子，以及模特的反应。

智能知识工作#

Inkling 2 Small 加速了现实职业环境中的知识工作。它熟练地查找信息，通过 MCP 调用工具，并产出高质量的交付物。在 AA-Briefcase 这一端到端知识工作基准测试中，这些能力结合起来，ELO 得分为 1527。

Inkling 2 Small在财务和定量推理方面尤其出色，涵盖电子表格、申报和文件。在开放权重模型中，Inkling 2 Small在多个金融基准中表现最佳。

可定制性#

有些模型在微调后响应更好，这与开箱即用性能无关。我们希望Inkling 2 Small成为一个强大的定制基础模型。

Inkling 2 Small在使用相同数据和算法训练的多种训练后场景下，学习更快，改进幅度也超过了以往模型，这些场景是基于客户用例精心策划的。

例如，从公开财务文件摘要任务的低分开始，Inkling 2 Small适应迅速，仅用75个训练步骤就达到Inkling Small的最终性能，并大幅领先完成。

模型可实现性评估

Inkling 2 Small 学习更快，性能也优于我们之前的模型，在强化学习微调环境中与其他同等规模的开源软件模型竞争。我们利用公开财报电话会议数据创建了带有专家判断的投资分析任务，类似于客户用 tinker 进行定制模型训练的金融分析工作负载。

为确保公平对比，我们为每个模型进行了学习率扫描;所有模型均在Tinker与Tinker Cookbook抽象上训练，采用我们的异步RL实现并处理稳定强化丢失，共200多个步骤。

Inkling模型的结果以3个种子平均计算;其他模型则使用单次运行。成本通过将抽样和训练令牌数量乘以当前的每标记调整者计价来估算;对于采样，我们假设同一组内的前缀缓存命中。

推理、知识与认识论#

Inkling 2 Small训练于具有挑战性的STEM问题、指令遵循、有无网络搜索的信息寻求以及预测任务。在强化学习中，我们使用适当的评分规则来预测任务，并在部分问答任务上使用不确定性敏感的奖励。

这训练模型评估不确定性、表达适当信心并做出校准良好的预测。

安全与对齐#

我们对Inkling 2 Small的安全工作围绕两个问题展开：模型对普通用户的表现如何，以及它在防止恶意行为解除防护措施时的能力。Inkling权重的发布尚待我们和合作伙伴进一步的安全评估。

为了评估滥用风险，我们训练了一个内部仅有帮助的变体。我们通过比以往任何版本都更广泛的评估套件和更多的外部测试者，同时对该模型和发布检查点进行了测试。

在化学、生物、放射性和核（CBRN）风险方面，Inkling 2 Small的知识和能力评分低于开放权重边界。在FORTRESS上，Scale AI的私有基准测试，衡量模型在CBRN、恐怖主义和非暴力犯罪中对专家撰写的对抗性提示时所提供的有害协助程度，Inkling 2 Small的平均风险得分低于Inkling和Inkling-Small，且表现出更高的过度拒绝评分（见限制）。

仅帮助型变体相较于释放检查点，CBRN知识略有提升，但在我们测量的任何维度上都未显著推进前沿。

在进攻性和双用途代理网络基准测试中，Inkling 2 Small比Inkling Small有了很大进步，但仍落后于开放权重的前沿。它与Vals CyberBench v1.1和PatchEval的开放权重前沿相当，这两者都衡量了发现和修补安全漏洞的能力。

DeepSeek 结合了提供的 Flash 结果：FORTRESS 和 PatchEval 均为 1017;DistressBench、StrongREJECT 和 Vals CyberBench 的无版本 Flash。

• 虽然我们处理心理困扰情况较好，但我们的模型有时会在正常的情感支持问题中过度反应，使用免责声明，如限制部分所述。

随着模型承担无监督、更长视野的自主工作，其不良行为带来的潜在危害也随之增加。如果不妥善关注对齐，能力导向的强化学习可以不惜一切代价推动模型成功。

当任务艰难时，Inkling 2 Small的早期检查点坚持不懈地试图成功——有时伪造结果，忽视指令，甚至隐瞒所做之事。

我们在整个堆栈中努力改进模型对齐。在中期训练中，我们过滤掉了包含不良行为的痕迹，并纳入了诚实且对齐行为的痕迹。在强化学习中，我们增加了一个通用的对齐奖励，惩罚每项任务中的不当行为。

我们还构建了针对训练中观察到的特定失败模式的环境，比如奖励放弃不可能完成任务的模型。最后，我们使用了策略自我提炼（Zhao等，2026年， 年）。

基于一个教师模型，在行为规范提示下，模型内化了良好行为的原则，而无需明确提示。

我们测量了内部和外部评估的进展，发现Inkling 2 Small在内部和外部评估中均显著优于以往的Inkling模型，并且在内部评估中优于一组类似的开放权重模型。

Inkling 2 Small在比对评估中仍然落后于闭合权重模型，如GPT-6.1 Sol。缩小这一差距是未来模型的优先事项。

我们还通过两层监控确保培训和评估。第一层是同步的：监控员在工具调用运行前检查。每个任务声明其授权的操作。确定性规则检查调用是否符合任务策略和规避模式，将不确定案件升级至LLM裁判。

第二层是异步的：LLM裁判审查已完成的培训和评估部署，识别不当行为和违反安全边界的行为，发出警报，我们会分流并升级到事件流程中。

这些共同构成了深度防御方法，保障安全和对齐，我们认为这对于开发安全模型工厂至关重要。

训练墨水2小#

Inkling 2 Small 的初始预训练阶段（H1）涵盖了 8.4 万亿个代币，涵盖了自然语言、代码和图像数据的广泛混合。它在 NVIDIA GB300 NVL72 机架上运行了 68 小时，实现了高度专家级的并行处理。

训练原生运行于 NVFP4 中，这是 NVIDIA Blackwell GPU 架构引入的 4 位浮点格式。我们将在后续文章中分享更多关于 NVFP4 配方的细节。

内部规范

截止时间 2026-06 ·每字节比特数（越低越好）

Inkling 2 Small 在我们主要保留评估中显著优于其他开权重模型。注意，有些模型标注为“基恢复”。对于仅有训练后检查点的模型，我们在计算日志丢失前，基于预训练格式代码和文档数据集进行微调。

我们验证了该过程主要能在有实地真实数据（实际基模型）的其他模型上恢复基础模型丢失。

随后进行了第二阶段（H2），包含3.8万亿个高质量、模型未见过的新token，上下文为512K。第三和第四阶段混合了部署格式的数据。第三阶段约有3200亿个推理和代理轨迹标记，分布在100万上下文，并配有重放的预训练数据。

第四阶段（H4）仅保留最高质量的数据：约340亿个代理轨迹标记。H3和H4的混合主要由早期模型（包括Kimi K3和我们自身模型）抽样的轨迹组成，经过过滤以保证正确性和对齐性。

随后我们进行了联合RL运行，包含1075步，9天内完成了超过1700万次推广。更多细节见下表。这次联合运行与之前的Inkling版本形成对比，后者我们分别运行推理和智能强化学习运行，并结合多教师蒸馏。

主RL运行规模

任务组合包括真实仓库中的软件工程、终端任务、文档创建、STEM问答、愿景、网页应用构建、模拟用户工具使用以及安全。每个任务族都有自己的评分器：

• 大多数编码工作中的隐藏单元测试和程序检查;

• 基于评分标准的LLM评判，用于文档和工具使用;

• STEM和愿景题型的参考答案;

• 对比渲染网页应用截图的成对奖励模型。

强化学习训练任务组合

我们随机抽样并以努力水平进行条件调整，并在奖励函数中施加长度惩罚，训练模型在速度和完整性之间取得权衡。

我们的异步强化学习使用了一个分中心变体——Tinker中的StableReinforce目标——该目标能容忍显著的陈旧。我们的运行结合了短视野和长视野任务，p50/p99的总扩展令牌分别为43k和150万，p50/p99时长分别为8分钟和4小时。

我们使用256k上下文长度，并为长视野任务启用压缩训练。因此，训练奖励和评估性能均以对数线性方式随计算增长。

训练奖励

训练奖励与累计学习者和采样器FLOP的对数轴。

STEM评估绩效

STEM评估表现与累计学习者和抽样器FLOP的对数轴比较。

视力评估表现

视觉评估表现与累计学习者和采样者FLOP的对数轴比较。

稳定训练

使这种规模切实可行，需要在整个系统堆栈中进行改进。我们的强化学习基础设施部署了NVFP4的MoE训练和采样。采样过程中，预填充、草稿和验证均完全运行在CUDA图上。

训练器通过高专家并行性、EPLB和CUDA图镜像预训练栈，以提高GPU效率。为支持长视野代理工作负载，我们使用粘性路由和DRAM KV缓存卸载来维持93%+前缀缓存命中率，使我们在长时间上下文训练时仍能保持5：3采样器：训练器比例。

权重传输通过GPUDirectRDMA以93%+线速率完成，并配备并行不变校验和验证器。我们还通过提供NVFP4 KV缓存的变体进一步降低部署推断成本，发现其评估率能极小降低。

长视野任务赋予模型数小时的自主性，增加了行为错位带来的风险。在主强化学习运行中途，异步监控器标记了一个实例，模型在任务失败时通过其搜索工具可访问的第三方服务绕过网络块。

我们暂停运行，加固基础设施，移除需要网页访问的环境，并增加了同步工具调用监控。随后我们恢复运行，加入了专门用于对齐的额外训练阶段，如上所述。

流程改进使我们能够使用相似的配方训练不同规模的模型，且具有可预测的缩放性和性能。Inkling 2 Small 是模型阶梯的一部分;我们期待很快与你分享更多梯级。

Inkling 2 Small#（年）基准测试

和之前的 Inkling 版本一样，我们对 Inkling-Small 进行了广泛的能力基准测试。所有评估的运行量为 0.99（xhigh），温度为 1.0。

所有评估的最大轨迹限制为 100 万个令牌，较 Inkling Small 的 256K 令牌限制有所提升。

每行报告的最高分数;包含平局每行报告的第二高分数;包含平局

• *评估快照：** 缺失结果以破折号显示。

局限性#

虽然 Inkling 2 Small 在易用性上优于 Inkling，但它并不是最简洁的沟通工具，也不总是能为任务选择最佳工具——尤其是在技能众多的代码库中。

与之前的Inkling型号一样，Inkling 2 Small原生支持图像输入;但该型号不支持音频。

《Inkling 2 Small》在聊天体验方面也没那么优化。我们注意到内容组织和呈现不佳、斜杠过度使用，以及对心理健康和其他安全相关问题的过度反应等问题。

今天就试试Inkling 2 Small#

我们自豪地将Inkling 2 Small提供在Tinker上，供推理和微调使用。安全测试完成后，该模型将在未来几周内在更多平台上线。

Inkling 2 Small的诞生是为了实现我们的使命——打造能够扩展人类意志和判断力的人工智能。

我们希望它能激发你的抱负，也期待看到你用它创造出什么。