Prismml

PrismML，让大模型在端侧高效运行的 AI 技术。

PrismML 发布 Bonsai 2 27B：更小、更快、更省电的旗舰本地模型

Prism ML 发布新一代三值量化模型 Bonsai 2 27B，基于 Qwen3.8 27B，面向本地设备与边缘部署。核心指标：模型仅 5.9GB，比全精度版本缩小 9 倍以上，综合 20 项基准得分 83.9，保留 Qwen3.8 27B 98.2% 的性能（上一代保留约 95%）；在 RTX 5090 上可达 143 tokens/秒。定位本地助手、多模态 agent、计算机使用和长任务执行等原本依赖云推理的场景。以 Apache 2.0 协议免费开放下载。信息增量在于 27B 级多模态模型三值量化后性能差距进一步收窄，以及本地高效部署的具体数据。

收藏12 天前

Bonsai 2 27B：体积缩小 9 倍、近乎无损的模型压缩方案

Prism ML 发布 Ternary Bonsai 2 27B：基于 Qwen3.8 27B 的三元量化（{−1,0,+1}）多模态模型，有效位宽 1.76 bits/权重，总占用仅 5.9GB，约为全精度版本的 1/9，却保留 98.2% 的聚合基准性能（83.9 vs 85.4）。 262K 上下文，支持图像+文本多模态输入，Apache 2.0 开源。RTX 5090 上推理吞吐 143 tok/s，RTX 4090 能耗 0.714 mWh/token，比全精度 8B 模型能耗低 40%。相比上一代 Bonsai 27B（保留率 95%），本次在 agentic/编码/视觉/长程任务上差距进一步收窄，团队认为这使低比特模型可实际承载编码 agent、工具调用、本地文档分析等任务，并扩展到数据中心级部署。

收藏12 天前

Prismml

PrismML 发布 Bonsai 2 27B：更小、更快、更省电的旗舰本地模型

Bonsai 2 27B：体积缩小 9 倍、近乎无损的模型压缩方案

Bonsai 27B（1比特大模型）：首款能在手机上运行的 27B 级模型

1-Bit Bonsai Image 4B Image Generation for Local Devices

1-Bit Bonsai Image 4B Image Generation for Local Devices

Bonsai: The First Commercially Viable 1-Bit LLM

Bonsai: The First Commercially Viable 1-Bit LLM

Ternary Bonsai: Top Intelligence at 1.58 Bits

1-Bit Bonsai, the First Commercially Viable 1-Bit LLMs

登录芦苇

热门话题